Quiero entender la revolución del Big Data y no soy técnic@

El interés por entender la información disponible ha existido siempre (Small Data)

Cuanta más información se tiene sobre algo, más fácil es tomar una buena decisión.
Por ejemplo, saber el número de ventas que se han hecho por producto, en qué momento y a que clientes dentro de tu propio negocio te ayuda a tomar decisiones como reforzar equipos, ampliar stock o dirigir mejor tu publicidad para conseguir nuevos clientes.

Este tipo de trabajo en empresas medianas y grandes se llama Inteligencia de Negocio y podríamos decir que es Small Data. Principalmente lo que se hace es recoger todos los datos que genera la empresa, limpiarlos y prepararlos para que especialistas de mercado puedan entender lo que están haciendo los clientes o usuarios cuando lanzan determinados productos.

Sin embargo, la posibilidad de guardar y comprar altos volúmenes de datos para enriquecer la información de futuros clientes puede reformular la estrategia de la empresa y afectar a sus sistemas, forma de trabajo y al personal de la compañía.

Al tener mas datos, se necesitaba más infraestructura para limpiar, preparar y trabajar sobre la información y esto suponía un coste muy alto para el departamento de Tecnología debido a la cantidad de recursos necesarios y al proceso de transformación al que se tiene que someter la empresa.

Como se solucionó el incremento de costes que suponía la necesidad de analizar cada vez más datos

Teniendo en cuenta la historia reciente, me voy a centrar en dos movimientos que creo que han sido determinantes para el estado del Big Data hoy: la tecnología desarrollada por Google y la publicación de sus trabajos describiéndola y al hecho de que diferentes organizaciones implementasen versiones Open Source de tecnología similar.

Hagamos memoria. En el 2004, Google preocupado por la cantidad cada vez mayor de documentos a indexar, publica un paper describiendo una solución, MapReduce. En el 2005, nace Apache Hadoop como proyecto Open Source, basado en esa publicación. Lo que permite este software es utilizar muchos ordenadores de coste bajo realizar una única tarea, que es distribuirla entre ellos. Es decir, esos ordenadores podrían funcionar como si fuesen uno, permitiendo analizar volúmenes de información MUY altos, dada la capacidad de paralelizar el procesamiento.

La primera empresa en utilizar Hadoop en producción fue Yahoo, pero a partir del 2011, empresas como Oracle, IBM y Microsoft lo incluyeron dentro de su portfolio de productos.  

En la siguiente tabla y de forma simplificada, os dejo 5 proyectos muy relevantes que están permitiendo esta apuesta tan fuerte por Big Data, permitiendo trabajar con los datos de forma rápida y más efectiva. Como se ve en la tabla, los proyectos van dando respuesta a los retos que han ido surgiendo tras el incremento brutal de la cantidad de información disponible.

 

 

Entonces, ¿qué es Big Data?

Podríamos decir que una de las aplicaciones de Big Data es dar un paso más en la analítica de negocio o Business Intelligence, puesto que se permite trabajar con volúmenes de información más altos, distintos formatos, procesarlos con mayor velocidad (llegado al Tiempo Real) y menor coste.

Big Data permite capturar y procesar mucha de la información que generan hoy las personas: compras a través de tarjeta, uso del GPS, uso de redes sociales, análisis de fotos, datos del móvil, el estado físico personal a través de los fitbit y la información que generan las máquinas como los coches auto-conducidos, casas inteligentes, botones que comunican a Amazon el final de nuestros suministros, o los asistentes personales robotizados como Alexa.

Big Data es el concepto que subyace en temas tan disruptivos como La transformación digital de los Sistemas de Información, el Data Science o el Internet de las Cosas (IoT). Cada uno de estos bloques es complejo y merece un post dedicado.

Big Data me sirve para tratar grandes volúmenes de datos, pero ¿cuáles son sus aplicaciones reales?

Algunos ejemplos para entender donde se usa:

  • Personalización: Tratar toda la información de los clientes y poder hacerle ofertas individualizadas. No tienen las mismas necesidades una estudiante de universidad que una trabajadora de 35 años. Con las técnicas Big Data se pueden analizar patrones de comportamiento, ver que compran, como hablan, por donde pasan, que servicios consumen, qué música les gusta, que amigos tienen y toda esa información, hacer proposiciones de producto específicas para esa persona.
  • Tratamiento masivo de información.  El borrador de la primera secuenciación del genoma humano tuvo un coste de 14 millones de dólares en 2006. El coste actual podría rondar los mil dólares.
  • Tiempo Real: Poder dar respuestas en tiempo real frente a demandas de clientes es un tema que interesa mucho a las grandes corporaciones, pero para ello debe ser posible poder capturar esos datos en el momento, tratarlos y generar una respuesta.
  • Consumo: En base a compras anteriores (de películas, libros, ropa), te pueden hacer sugerencias de compra futura.
  • Fraude: Analizar todo el flujo de datos para descubrir patrones que pueden ser fraudulentos y detener la acción fraudulenta.
  • Y muchos temas más como: IoT(que merece un post entero), automatización de la conducción, la exploración del espacio, agricultura, prevención de desastres naturales y prevención del crimen.

… A tener en cuenta

Aunque no voy a entrar en detalle, no quiero acabar el post sin mencionar que Big Data es una tecnología con una puesta en marcha compleja. Hay muchas nuevas consideraciones a tener en cuenta a la hora de lanzar un proyecto de este tipo en una empresa, por ejemplo: contar con nuevos perfiles de personas con conocimientos de Data Science, arquitectura y  herramientas específicas para el tratamiento de cada información (no se usa lo mismo para tratar videos que para mostrar información en tiempo real), definir el tratamiento de la seguridad, el governance, la calidad del dato, la privacidad, revisar la regulación del país generador de los datos, tener un plan de monetización de la inversión… y muchos puntos mas. Sin duda es primordial tener un equipo de trabajo que entienda las necesidades de la empresa y pueda proponer una forma de empezar a trabajar con nuevas tecnologías.

Ahora bien, tan importante es tener los datos y tratarlos como saber qué información se quiere extraer de ellos. El responsable de la empresa tiene que tener claro para qué quiere utilizar la información, como va a hacerlo y de qué manera va a recuperar la inversión. La tecnología una vez más, es solo una herramienta para conseguir un fin.

Si esta visión de lo que es Big Data os ha parecido interesante, os recomiendo leer este artículo, donde el historiador Yuval Noah Harari habla del Big Data como de la nueva religión. Explica por qué dejaras que Google sea tu médico, te busque pareja, que tus profesores serán algoritmos que te seguirán 24 horas al día, no habrá conductores de taxi, ni traductores, la aparición de un nuevo tipo de economía y de algoritmos controladores del medio ambiente.

Os dejo esta infografía resumen del post. Espero que resulte útil y gráfica.


		
Anuncios

Que piensas?

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

Crea un blog o un sitio web gratuitos con WordPress.com.

Subir ↑

A %d blogueros les gusta esto: