BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat -...
Transcript of BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat -...
![Page 1: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/1.jpg)
BIG DATAMARÍA PARRA AMAT
Almería, 5 junio 2015
![Page 2: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/2.jpg)
@mariaparraamat #jpd2015
"Petróleo del XXI" Nuevo enfoque en el entendimiento y la toma de decisiones Conjunto de técnicas y herramientas
BIG DATA
![Page 3: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/3.jpg)
@mariaparraamat #jpd2015
Estadística Metodologías existentes aplicadas a nuevos problemas
ORIGEN
![Page 4: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/4.jpg)
@mariaparraamat #jpd2015
• Ultraconectividad
• Más sensores y fuentes de datos
• Desarrollo tecnológico• Almacenamiento: capacidad
y coste
• Procesamiento: HDFS y Mapreduce
POPULARIZACIÓN
![Page 5: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/5.jpg)
@mariaparraamat #jpd2015
• 5 V's
CARACTERÍSTICAS
Volumen
Variedad
Velocidad
Veracidad
Valor
![Page 6: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/6.jpg)
@mariaparraamat #jpd2015
La cantidad de datos. Desconocimiento del
volumen real. Incremento del tráfico en
internet será exponencial -Era del Zettabyte.
VOLUMEN59,972,4
88,4
109
135,5
168
0
20
40
60
80
100
120
140
160
180
2014 2015 2016 2017 2018 2019
Estimación tráfico de datos
Exabytes al mes
![Page 7: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/7.jpg)
@mariaparraamat #jpd2015
• Procedencia diversa• Multitud de formatos
VARIEDAD
![Page 8: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/8.jpg)
@mariaparraamat #jpd2015
Los datos en movimiento Obtener la información correcta en el momento preciso
VELOCIDAD
![Page 9: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/9.jpg)
@mariaparraamat #jpd2015
Confianza o fiabilidad de los datos Evitar sesgos o ruidos Limpieza de datos apropiados
VERACIDAD
![Page 10: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/10.jpg)
@mariaparraamat #jpd2015
Es la importancia que puede tener el dato para la toma de decisiones en las empresas y los gobiernos.
VALOR DEL DATO
![Page 11: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/11.jpg)
@mariaparraamat #jpd2015
Estadística Informática Campo de aplicación
DISCIPLINAS
![Page 12: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/12.jpg)
@mariaparraamat #jpd2015
Expertos en:
Estadística y matemáticas
Ingeniería de datos Aprendizaje científico Negocio Desarrollo de
producción de código Visualización GIS
LAS CATEGORÍAS DE “CIENTÍFICO DE DATOS”
![Page 13: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/13.jpg)
@mariaparraamat #jpd2015
Diálogo con expertos en la materia
Captura y almacenamiento de la información Procesado masivo de datos
Análisis con técnicas de inteligencia artificial - Minería de datos
Visualización
TAREAS PRINCIPALES EN UN PROYECTO DE BIG DATA
![Page 14: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/14.jpg)
@mariaparraamat #jpd2015
Fundamental para tener éxito
Conocer inquietudes del experto
Informar de las soluciones reales que aporta Big Data
DIÁLOGO CON EXPERTOS EN LA MATERIA
![Page 15: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/15.jpg)
@mariaparraamat #jpd2015
Datos existentes:
Documentos
Web
Bases de datos Sql
noSql
Crear nuevas infraestructuras
CAPTURA Y ALMACENAMIENTO DE LA INFORMACIÓN
![Page 16: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/16.jpg)
@mariaparraamat #jpd2015
Framework Hadoop
HDFS
MapReduce
Otras utilidades
Hive, Pig, integración con R
PROCESADO MASIVO DE DATOS
![Page 17: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/17.jpg)
@mariaparraamat #jpd2015
TÉCNICAS DE INTELIGENCIA ARTIFICIAL PARA EL ANÁLISIS
Minería de datos Utiliza técnicas de aprendizaje automático
Minería de texto
![Page 18: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/18.jpg)
@mariaparraamat #jpd2015
Minería de datos
Minería de texto Encontrar términos frecuentes
Buscar términos relacionados con otros
Agrupamiento Clasificación
MOA, Weka, R
TÉCNICAS DE INTELIGENCIA ARTIFICIAL PARA EL ANÁLISIS
![Page 19: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/19.jpg)
@mariaparraamat #jpd2015
Representación gráfica mediante:
Estadísticas
Mapas
Diagramas
Esquemas
Dos finalidades
Presentar datos para una audiencia determinada
Cómo herramienta de análisis
Herramientas: Tableau, infogram, cartoDB.
Librerías: Google Charts, JQuery plug-ins, D3.js
VISUALIZACIÓN
![Page 20: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/20.jpg)
@mariaparraamat #jpd2015
Big Data Landscape 1.0 Big Data Landscape 2.0 Big Data Landscape 3.0
PAISAJE BIG DATA
![Page 21: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/21.jpg)
@mariaparraamat #jpd2015
Big Data Landscape 1.0
Big Data Landscape 2.0 Big Data Landscape 3.0
PAISAJE BIG DATA
![Page 22: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/22.jpg)
@mariaparraamat #jpd2015
Big Data Landscape 1.0
Big Data Landscape 2.0
Big Data Landscape 3.0
PAISAJE BIG DATA
![Page 23: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/23.jpg)
@mariaparraamat #jpd2015
No permite detectar comportamientos individuales.
Puede detectar correlación, pero no causalidad.
Gran cantidad de ruido.
Big Data puede sugerir hipótesis.
Período de validez determinado.
LIMITACIONES
![Page 24: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/24.jpg)
@mariaparraamat #jpd2015
Marketing Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias
Educación Crimen organizado
Salud
Periodismo de datos
APLICACIONES
![Page 25: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/25.jpg)
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias
Educación Crimen organizado
Salud
Periodismo de datos
APLICACIONES
![Page 26: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/26.jpg)
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos
Industria del entretenimiento Seguimiento de epidemias
Educación Crimen organizado
Salud
Periodismo de datos
APLICACIONES
![Page 27: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/27.jpg)
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias Educación Crimen organizado
Salud
Periodismo de datos
APLICACIONES
![Page 28: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/28.jpg)
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias
Educación Crimen organizado
Salud
Periodismo de datos
APLICACIONES
![Page 29: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/29.jpg)
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias
Educación
Crimen organizado Salud
Periodismo de datos
APLICACIONES
![Page 30: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/30.jpg)
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias
Educación Crimen organizado
Salud Periodismo de datos
APLICACIONES
![Page 31: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/31.jpg)
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias
Educación Crimen organizado
Salud
Periodismo de datos
APLICACIONES
![Page 32: BIG DATA - hacklabalmeria.nethacklabalmeria.net/recursos/2015-06-05-JPD15/Maria Parra Amat - Big... · @mariaparraamat #jpd2015 La cantidad de datos. Desconocimiento del volumen real.](https://reader031.fdocuments.es/reader031/viewer/2022030506/5ab5617f7f8b9a156d8cbe0d/html5/thumbnails/32.jpg)
@mariaparraamat #jpd2015
Email: [email protected]
Twitter: @mariaparraamatFacebook: www.facebook.com/mariaparraamat
MARÍA PARRA AMAT
MUCHAS GRACIASALMERÍA, 5 DE JUNIO DE 2015