¿Cómo iniciar un proyecto de big data y no morir en el intento?

Centro de Investigación en Matemáticas, A.C. Abril 2016

Contenido• Introducción

• Propósito • Concepto Big Data

• S: Iniciar con estrategia • M: Identificar métricas y datos • A: Analizar los datos • R: Reportar resultados • T: Transformar la toma de decisiones • Referencias

2

¿Cómo iniciar un proyecto de BigDatay no morir en el intento?

@freddyiniguezAbril 2016

Propósito• Proveer una guía para transformar en valiosa la

información de una organización • Identificar los datos correctos

• No perdernos en nuestros propios datos • Proveer serie de pasos para tratamiento de la

información en proyecto de Big Data

3



Big Data• Big Data son datos que sobrepasan las

capacidades de procesamiento convencionales de los sistemas de bases de datos.

• Los datos son muy grandes, se mueven muy rápido o no se ajustan a las estructuras de tu base de datos.

• Para obtener valor de estos datos, necesitas alternativas para procesarlos.

(O’Reilly, 2012)

4



Big Data (2)• Volumen, Velocidad, Variedad

• Muchos datos, producidos de manera muy rápida de muchas formas diferentes

• Cuatro V’s adicionales • Veracidad • Variabilidad • Visualización • Valor

5



Big Data (3)• ¿La falta de información es un problema?

• Realidad: la mayoría de las organizaciones son ricas en datos, pero pobres en visión

• Verdad: Los dioses de los datos (Google, Facebook, Twitter, Amazon) tienen la ventaja

• Científicos de datos • Crear preguntas que no sé cómo responder

• Enfocarse en los datos SMART (Bernard, 2015), no en Big Data

6

SIniciar con estrategia

Start with strategy



S• No se puede iniciar sin estrategia

• ¿Cómo identificar la información necesaria? • El valor de los datos no son los datos por sí

mismos, sino lo que se puede hacer con los datos

• ¿Qué necesito saber? • ¿Qué información necesito para responder las

preguntas?

8



S (2)• Los datos pueden ser obsoletos, o caducados,

¡como la comida!

9



S (3)• Tener estrategia:

• Reduce costos • Reduce requerimientos • Reduce niveles de estrés

• “Recolectar todo por si acaso…” • “Recolectar X y Y para responder Z”

• Aquí Big Data se vuelve posible

10



Tablero SMARTPropósito

• Misión y visión de la organización

Clientes• ¿Segmento de

mercado? • ¿Propuesta de valor? • ¿Satisfacción del

cliente?

Finanzas• ¿Cómo generar

ganancias? • ¿Modelo de

negocio? • ¿Cuánto costará?

Operaciones

• ¿Proveedores, distribuidores, socios, algún intermediario?

Recursos

• ¿Sistemas IT, datos, infraestructura, personas, talento, cultura, valores?

Competencia y riesgos

• ¿Principal competencia y por qué?

• ¿Riesgos o bloqueo?

11



Tablero SMART (2)• De cada panel obtener:

• Identificar un número de preguntas (de 2 a 5) • Aclarar las preguntas • Utilizar las preguntas para guiar nuestras

necesidades de datos

• Eric Schmidt (presidente ejecutivo Alphabet): “We run the company by questions, not by

answers.”

12

Identificar métricas y datos

Measure metrics and data

M



M• ¿Por qué iniciar con una estrategia?

• Increíble cantidad de datos • ¿Qué sucede en Internet cada minuto?

14



M (2)• Tipos de datos

• Estructurados • No estructurados • Internos • Externos

15



M (3)• Datification: nuevas formas de datos

Datos de actividades

Datos de conversaciones

Datos de fotos y videos

Datos de sensores

16



M (4)• Para responder nuestras preguntas, comenzar

con: 1. Datos internos estructurados 2. Datos internos semi-estructurados 3. Datos internos no estructurados 4. Datos externos estructurados 5. Datos externos no estructurados

Si podemos responder nuestras preguntas con datos internos, ¿para qué buscar fuera?

Más fáciles y baratos de conseguir

17



M (5)• Para cada uno de los paneles:

• Nombre del conjunto de

datos

• Descripción del tipo y

localización (internos/externos)

• Formato (estructurados/

no estructurados)

• ¿Cómo se van a recolectar los

datos?

• Describir la velocidad/frecuencia

• Describir la veracidad de

los datos

¿Cómo serán analizados los

datos?

Costo asociado por capturar, almacenar y

analizar los datos

18



M (6)Dónde comenzar

Datos necesariosMétodo menos costoso

de obtener los datos

19

Analizar los datosApply analytics

A



A• Analizar los datos (darles sentido) agregará valor

a los datos • Periodismo digital, Fact Checking • Contar una historia

21



A (2)• Análisis de texto

• Categorización de textos • Extracción de conceptos • Análisis de sentimientos

• Análisis de voz• Siri/Cortana/Google Now

• Análisis de video/imagen• Identificación (reconocimiento de rostros) • Análisis de comportamiento

22



A (3)• El dark side del Big Data

• Reconocimiento de rostro sin permiso/consentimiento de la persona

• Existe mucha información nuestra en Internet

23

RReportar resultados

Report your results



R• Mostrar resultados de una manera que la gente

lo entienda • Mensajes claros

• Lo importante escondido en reportes largos

25



R (2)• La mejor manera: gráficos • Visualización de datos

• Gráficos de barras • Histogramas • Gráficas de pastel • Gráficas de puntos

26



R (3)• Mapas

27



R (4)• Texto

28



R (5)• Datos

29



R (6)• Comportamiento y emociones

30



R (7)• Infografías

31



R (8)• No usar las 20 fuentes solo por estar disponibles:

1. Identificar a tu audiencia 2. Personalizar la visualización de los datos 3. Darle un título claro y atractivo 4. Vincular la visualización con tu estrategia 5. Elegir gráficos adecuadamente 6. Utilizar negritas en las palabras clave 7. Agregar una breve narrativa, si es necesario

32

TTransformar la toma

de decisionesTransform your business and decision

making



T• Big Data está cambiando al mundo, incluídos los

negocios • Entender mejor e identificar clientes • Mejorar y optimizar los procesos de negocio • Mejorar la salud de las personas • Incrementar la seguridad y evitar fraudes • Manejar negocios y el rendimiento de las

personas



T (2)• Big Data transformará los negocio:

• Taxistas: Auto de Google + Uber • Personal de control en frontera:

Reconocimiento de rostros • Pilotos • Doctores • Agentes de servicios o productos • …



Conclusiones



Referencias• Bernard, M. (2015). Using smart big data,

analytics and metrics to make better decisions and improve performance. Wiley.

• O’Reilly Media, Inc. (2012). Big Data Now: 2012 Edition. O’Reilly.

37

Centro de Investigación en Matemáticas, A.C.Abril 2016

goo.gl/5LmJpG

https://goo.gl/5LmJpG

¿Cómo iniciar un proyecto de big data y no morir en el intento?

Technology

Transcript of ¿Cómo iniciar un proyecto de big data y no morir en el intento?