2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los...
Transcript of 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los...
![Page 1: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/1.jpg)
BigData 3.0Adiós a la Infraestructura
Proprietary + Confidential2018
![Page 2: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/2.jpg)
¿Quieren ser una empresa digital?
Proprietary + Confidential
![Page 3: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/3.jpg)
Queremos innovar...
Proprietary + Confidential
….Pero de la manera más tradicional posible!
![Page 4: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/4.jpg)
https://octo.vmware.com
Innovación tradicional
![Page 5: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/5.jpg)
Programación
Aprovisionamiento de Recursos
Ajuste en el Desempeño
Monitoreo
ConfiabilidadDespliegue y Configuración
Manejando la Escala
Mejoras en el Uso
Big Data Tradicional
![Page 6: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/6.jpg)
¿Cómo se ve un equipo de BigData Tradicional?
![Page 7: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/7.jpg)
¿Cómo luce el BigData en Google?
Proprietary + Confidential
![Page 8: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/8.jpg)
Big Data con GoogleEnfocado en insights.No en infraestructura.De batch a tiempo real
Programando
Entendiendo
![Page 9: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/9.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
2012 20132002 2004 2006 2008 2010
GFS
MapReduce
Bigtable Colossus
Dremel Flume
Megastore
Spanner
Millwheel
Pub/Sub
F1
2016
Dataflow
TensorFlow
Innovación de Google en BigData
![Page 10: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/10.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
2012 20132002 2004 2006 2008 2010
GCS
Dataproc
Bigtable GCS
BigQuery Dataflow
Datastore
Spanner
Dataflow
Pub/Sub
F1
2016
Dataflow
Cloud ML
Innovación de Google en BigData
NoSQL
![Page 11: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/11.jpg)
Proprietary + Confidential
“Google is living a few years in the future and sending the rest of us
messages”
Doug Cutting, Hadoop Co-Creator
![Page 12: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/12.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
El Ciclo de Vida de los Datos
Captura
El primer paso es traer datos sin procesar. Por ejemplo: datos en tiempo real de sensores, datos de dispositivos on-premise, logs de aplicaciones.
Almacenamiento
Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.
Procesamiento y Análisis
En esta etapa, los datos se transforman de una forma sin procesar en información procesable,
Exploración y Visualización
La etapa final consiste en convertir los resultados del análisis en un formato que sea fácil de extraer y fácil de compartir.
![Page 13: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/13.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
Capturando y Almacenando la Información
Cloud Pub/SubMensajería confiable, de muchos a muchos y asíncrona
Cloud StorageAlmacenamiento de objetos: poderoso, simple y costo efectivo
logs, archivos, assets, G oogle Analytics etc.
Eventos, m etricas, etc.
![Page 14: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/14.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
Procesamiento y Análisis
Eventos, m etricas, etc.
Cloud DataflowMotor de Procesamiento de Datos en batch y de flujos
Flujo
Batch
logs, archivos, assets, G oogle Analytics etc.
Cloud DataprocSpark and Hadoop Administrado
Batch
Cloud DataprepData cleaning
![Page 15: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/15.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
Almacenamiento y Análisis 2.0
Eventos, m etricas, etc.
F lu jo
Batch
logs, archivos, assets, G oogle Analytics etc.
Batch
BigQueryMotor analitico, extremadamente rapido, bajo de manda y barato
![Page 16: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/16.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
Aprender y Recomendar
Eventos, m etricas, etc.
F lu jo
Batch
logs, archivos, assets, G oogle Analytics etc.
Batch
Cloud Machine LearningEntrena tus propios modelos a gran escala
![Page 17: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/17.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
Machine learning consiste en aprender de los ejemplos y laexperiencia
![Page 18: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/18.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
¿Cómo clasificarían sin ML?
![Page 19: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/19.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
¿Cómo clasificarían sin ML?
![Page 20: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/20.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
¿Entre un perro y un trapero?
![Page 21: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/21.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
No tan rápido
![Page 22: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/22.jpg)
Cores
Timedozens
hundreds
thousands
Deployed Database
![Page 23: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/23.jpg)
Cores
Timedozens
hundreds
thousands
Analytics workload
![Page 24: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/24.jpg)
Cores
Timedozens
hundreds
thousands
Idle resources
Idle resources
![Page 25: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/25.jpg)
Cores
Timedozens
hundreds
thousands
Throttled performance
![Page 26: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/26.jpg)
Cores
Timedozens
hundreds
thousands
Solución - Redimensionamiento
![Page 27: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/27.jpg)
Cores
Timedozens
hundreds
thousands
Serverless
![Page 28: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/28.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
Explorar y Visualizar
Eventos, m etricas, etc.
F lu jo
Batch
logs, archivos, assets, G oogle Analytics etc.
Batch
A pplications and R eports
C loud D atalab
Visualization and B I
C o-w orkers
B CA
![Page 29: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/29.jpg)
C o n f id e n t ia l + P r o p r ie ta r y
Conclusiones
Events, m etrics, etc.
S tream
Batch
Spreadsheets
B I Tools
C ow orkers
A pplications and R eports
C loud D atalab
Visualization and B I
C o-w orkers
Batch
B CA
R aw logs, files, assets, G oogle
Analytics data etc.
MISION DE GOOGLE
![Page 30: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/30.jpg)
7 productos de nube con 1 billón usuarios
![Page 31: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/31.jpg)
Queremos innovar...
Proprietary + Confidential
….pero a la velocidad de Google!
![Page 32: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/32.jpg)
Proprietary + Confidential
Gracias!
![Page 33: 2. Luis Cuellar - IRPAAI...2018/10/02 · aplicaciones. Almacenamiento Una vez se obtienen los datos, es necesario almacenarlos en un formato que sea duradero y pueda accederse fácilmente.](https://reader035.fdocuments.es/reader035/viewer/2022070723/5f01faed7e708231d401fb8a/html5/thumbnails/33.jpg)
Proprietary + Confidential
Backup