Video: BIG DATA | Что изучать | Зарплаты в России, США и Германии | ИТ в Берлине (Noviembre 2024)
Una cosa que me impresionó en la Cumbre de Tecnología Empresarial Bloomberg de ayer fue el enfoque en el manejo de datos de nuevas maneras, en otras palabras, el manejo de lo que a menudo se denomina "big data".
Algunas de las conversaciones trataron sobre el valor de los grandes datos, y si realmente era una "oportunidad de un billón de dólares", mientras que otras trataron los desafíos específicos que las organizaciones individuales y la industria en su conjunto enfrentan para desplegar más ampliamente estas nuevas técnicas.
Gerard Francis, Director Global de Bloomberg Enterprise Solutions, Bloomberg LP comenzó el día sugiriendo que lo más importante que las empresas pueden hacer es "capitalizar el valor de los datos al usarlos", y centrarse en el acceso, la calidad y el flujo de datos dentro de una organización. En los paneles posteriores, se habló mucho sobre las nuevas herramientas que se ocupan de los datos, así como los problemas específicos en el almacenamiento, la gestión y la búsqueda de personas para tratar los datos.
En un panel general sobre tendencias empresariales, Dwight Merriman, presidente y cofundador de MongoDB, dijo que la capa de datos del seguimiento de la aplicación está teniendo "la mayor interrupción y cambio que hemos visto en 25 años". Dijo que las empresas han estado utilizando bases de datos relacionales durante 25 años o más, lo que la convierte en la tecnología más antigua de la pila. Pero ahora están sucediendo cosas con el almacenamiento basado en archivos como Hadoop y las nuevas tecnologías de bases de datos, a menudo agrupadas como "NoSQL". Hizo hincapié en que Big Data no se trata de "big", sino de la forma de los datos, los tipos de datos y el movimiento hacia el tratamiento de datos en tiempo real.
El director de información de Google, Benjamin Fried, estuvo de acuerdo en que la mayoría de las empresas no tienen problemas de "big data". Muchos de los conjuntos de datos, con datos como recursos humanos y datos financieros, no son tan grandes, dijo. Lo importante es la flexibilidad que necesita para manejar adecuadamente los datos.
¿Qué es Big Data de todos modos?
Ese concepto, esa flexibilidad es tan importante como el tamaño de los datos, se hizo eco en otro panel más tarde en el día. Allí, los participantes acordaron que las empresas han estado lidiando con aplicaciones con muchos datos durante mucho tiempo, pero la escala ha cambiado recientemente. Por ejemplo, Mark F. Bregman, vicepresidente senior y director de tecnología de Neustar, señaló que algunas empresas ahora están "almacenando todo" con la esperanza de que resulte valioso.
"Grande se define mejor como complejidad", según Gary Bloom, CEO y presidente de MarkLogic. Señaló que muchas de las llamadas aplicaciones de "big data" involucran muchos tipos diferentes de datos, pero no el tipo de volumen que normalmente se escucha en las aplicaciones de "big data".
Citó un ejemplo de tráfico aéreo que combina datos meteorológicos, datos de aeropuertos, datos geoespaciales, datos de vuelos, datos de reservas de aerolíneas y datos sociales. Señaló que lidiar con datos heterogéneos fue realmente difícil de hacer con las bases de datos relacionales tradicionales, haciéndose eco de los comentarios anteriores de Merriman de MongoDB de que este era el "primer cambio generacional en la base de datos en 25 años" desde que pasamos de la unidad central a la era de las bases de datos relacionales.
Señaló que muchas personas hablan sobre los datos de las redes sociales, pero realmente deben combinarse con otros datos para tener realmente algo en lo que pueda capitalizar. La combinación de estos datos es "el valor real".
Por supuesto, algunas aplicaciones involucran mucha información, y Bregman dice que la heterogeneidad es solo un factor. Citó datos DNS, que pueden generar fácilmente 8 TB de información al día, y la necesidad de almacenar tales cosas en Hadoop. Bregman y los demás señalaron que cuando se trata de "capitalización de datos", el valor real no está en los datos sin procesar, sino en los análisis cuando se convierte en algo que puede usar. Los otros en el panel estuvieron de acuerdo.
El CEO de Streambase, Mark Palmer, dijo que combinar grandes cantidades de datos con análisis de transmisión era importante en muchas aplicaciones; y habló sobre el valor adicional que podría crearse combinando análisis tradicionales y en tiempo real.
Pero estuvo de acuerdo en que la complejidad de los datos es un problema. Citó cómo Vivek Ranadivé, quien dirige Tibco (que ahora posee Streambase), compró un equipo de baloncesto en parte para descubrir cómo la tecnología puede mejorar la experiencia del fanático. Nuevamente habló sobre "combinar diferentes tipos de datos", comenzando desde una transmisión de Twitter pero también aprovechando otros tipos de datos.
Bloom señaló que todo depende de la aplicación, diciendo que "la latencia está en el ojo del espectador". Algunas aplicaciones necesitan analizar los datos en el cable antes de que lleguen a la base de datos, mientras que otras no.
Bregman planteó el problema de que, en lugar de ser difícil mover los recursos informáticos, ahora es mucho más difícil mover los datos. Señaló que para muchas aplicaciones, el "bloqueo" es la ubicación de los datos. Una vez que almacena sus datos en una nube pública, es muy difícil moverlos. Como resultado, dijo, muchas organizaciones desean almacenar cantidades masivas de datos en sus propias ubicaciones, y luego poder pasar a diferentes proveedores para la funcionalidad de cómputo. Al tomar prestado un término de Bloom de MarkLogic, habló sobre cómo las organizaciones podrían necesitar un "centro de datos centrado en los datos" como un lugar donde guardar grandes cantidades de datos.
¿Es Big Data una 'oportunidad de un billón de dólares'?
Otro panel discutió las oportunidades y los desafíos que traen los grandes datos, reflexionando sobre un comentario de Porter Bibb, socio gerente de MediaTech Capital Partners. Bibb dijo que en realidad hay más de un billón de dólares en beneficios para las corporaciones que usan las nuevas técnicas. Hasta la fecha, dijo, "ni siquiera hemos comenzado a aprovechar el potencial que ofrece esta tecnología".
Bibb habló sobre la importancia de que las organizaciones alineen su estrategia de datos con la estrategia comercial, y le preocupaba que la mayoría de los sistemas corporativos y gubernamentales estén desalineados.
En esa primera sesión, Scott Weiss de Andreessen Horowitz dijo que "Hadoop es como el almacenamiento criogénico", por lo que el moderador Jason Kelly de Bloomberg Link le preguntó al arquitecto jefe de Cloudera, Doug Cutting, quien fue uno de los creadores de Hadoop en primer lugar, cómo veía ese.
Cutting dijo que Hadoop está permitiendo a las personas trabajar con más datos. Dijo que las organizaciones están sacando datos de la cinta, en lugar de hacerlo en línea y utilizable. Los clientes pasan de trabajar con 90 días de datos a cinco o 10 años de datos en un "archivo activo".
Varios de los problemas específicos de tratar con todos estos datos surgieron nuevamente en este panel. El CEO de Snaplogic, Gaurav Dhillon, habló sobre la "gravedad de los datos", diciendo que no tiene sentido tomar datos que están en las instalaciones de Hadoop y moverlos a la nube. Pero al mismo tiempo, si hay datos en la nube, como el análisis de flujo de clics, no tiene sentido mover eso en las instalaciones. Como resultado, dijo, estaba viendo muy pocas "oportunidades transfronterizas" para mover los datos.
Cutting dijo que no creía que hubiera realmente una escasez de científicos de datos. En cambio, dijo que hay muchas personas que entienden las matemáticas y los negocios, pero simplemente no tienen las herramientas. Puede aprender los conceptos básicos de las herramientas y lo que hacen en un par de semanas, dijo, pero comprender su negocio lleva años. Sin embargo, hay muchas personas que sí entienden eso.
Dhillon también reflejó preocupaciones sobre la legislación que trata sobre qué información se puede almacenar dónde. Dijo que algunos mercados verticales requieren que la información se almacene en las instalaciones, pero estaba preocupado por cosas como los requisitos para no mover datos fuera de su país de origen. Mucho de esto es una reacción exagerada a cosas como las revelaciones de Snowden y las violaciones de datos, dijo, y señaló que "una prisa por legislar nunca es buena".
Cuando se le preguntó si estaba preocupado porque las infracciones de Snowden y Target estaban haciendo que los clientes tuvieran miedo de los datos, Cutting dijo que le preocupaba que tanta gente estuviera preocupada. La tecnología asusta a mucha gente, dijo, y fue un fracaso de la industria hacer que los clientes se sintieran cómodos con la idea de que sus datos no se estaban utilizando. "No tienes que ser espeluznante", dijo.
Al final, hubo una gran discusión sobre las valoraciones, y Bibb sugirió que la reciente inversión de Intel en Cloudera fue un "gran problema", ya que valida lo que la empresa está haciendo. Dijo que otras grandes empresas como Oracle, IBM, Microsoft y Amazon estaban rondando por las empresas de análisis predictivo. "La fiebre del oro apenas está comenzando".
Dhillon dijo que las valoraciones reflejan lo que las empresas de fontanería aportan al mercado de big data. Dijo que estaba contento de ver a esos tipos de "pick and pala" obtener buenas valoraciones, pero dijo que temía un poco que las valoraciones se adelantaran al mercado.
Bibb dijo que pensaba que los grandes datos podrían estar sobreexpuestos en los medios, pero que están subexpuestos en el "c-suite" (es decir, CEO, CFO y otros altos ejecutivos). Dijo que tiene un "enorme potencial económico que aún no se ha descubierto ".
