Automatizar procesos ETL | SolidQ Summit 2014
27
Automatizar los procesos de carga ¿Qué es y qué no es automatizable? Haga clic en el icono Haga clic en el icono Haga clic en el icono Alfonso Carreira DPS | [email protected] Microsoft MAP, MCSE: Business Intelligence @salvador_ram os Haga clic en el icono Haga clic en el icono Haga clic en el icono Salvador Ramos Mentor y director de formación | [email protected] SQL Server MVP, MCSE: Business Intelligence #SQSummit
-
Upload
solidq -
Category
Technology
-
view
305 -
download
3
description
http://summit.solidq.com Presentación realizada por Alfonso Carreira y Salvador Ramos durante el SolidQ Summit 2014 en Madrid.
Transcript of Automatizar procesos ETL | SolidQ Summit 2014
Automatizar los procesos de carga¿Qué es y qué no es automatizable?
Haga clic en el icono para agregar una imagenHaga clic en el icono para agregar una imagenHaga clic en el icono para agregar una imagen
Alfonso Carreira
DPS | [email protected]
Microsoft MAP, MCSE: Business Intelligence
@salvador_ramos
Haga clic en el icono para agregar una imagenHaga clic en el icono para agregar una imagenHaga clic en el icono para agregar una imagen
Salvador Ramos
Mentor y director de formación | [email protected]
SQL Server MVP, MCSE: Business Intelligence
#SQSummit
2
EN CUMPLIMIENTO CON LA LEY 15/1999 DE PROTECCION DE DATOS DE CARÁCTER PERSONAL, PONEMOS EN TU CONOCIMIENTO QUE
ESTA SESIÓN VA A SER GRABADA POR SOLIDQ Y QUE ESTA GRABACIÓN PODRÍA SER UTILIZADA COMO
MATERIAL DE MARKETING Y HACERSE PUBLICA A TRAVÉS DE DIVERSOS MEDIOS, COMO POR EJEMPLO NUESTRA PAGINA WEB.
TENIENDO EN CUENTA QUE TU IMAGEN PUEDE APARECER EN ESA GRABACIÓN,
SI NO DESEAS APARECER, ROGAMOS NOS LO COMUNIQUES POR LOS MEDIOS QUE YA CONOCES.
COMUNICADO
4
¿Cómo comenzamos?“Te ha tocado”Nuevo proyecto / empresaManteniendo proyectos existentes
Manos a la obra
El día a día con el ETL
5
Crear Paquete
A producción
Ejecución periódica
¿Ha fallado algo?
Mantener
El día a día con el ETL
6
El día a día del ETL
Cientos … Miles
7
Cada vezMás paquetesMás incidenciasMás urgencias
El día a día del ETL
8
¿Y ahora qué?Abstraerse del día a día
9
Revisando la situación
10
Encontrando patrones
11
Estudiando cada patrón
12
Definimos normas a seguirHacemos plantillasPoner aquí imagen de plantilla de Workflow y dataflow (ver con Alfonso)
Buscando solución técnica SSIS
13
¿Cómo lo estáis haciendo?
14
¿Sólo Plantillas = reutilización con copy/paste?
¿Cómo lo estáis haciendo?
15
… Y si quiero implementar una mejora en un patrón … pero tengo decenas/centenas de paquetes con ese patrón en producción …
¿Cómo lo estáis haciendo?
16
Automatizar los patrones más habituales
Valoraremos el esfuerzo de automatizar versus hacer N paquetes muy similares a mano, y “mantenerlos”
Nuestra propuesta
17
Patrón: Sincronizar tablas
Tabla1 Tabla1
18
IncrementalCon/Sin historial de Insert/Update/DeleteCon/Sin loggin y auditoría
Patrón: Carga Staging
19
DEMO
20
IncrementalSlowly Changing Dimensions (SCD)
Patrón: Carga de Dimensiones
21
DEMO
22
IncrementalCon/Sin actualizaciones
Patrón: Carga de Hechos
23
DEMO
24
IncrementalMultiples archivosHistorial y auditoríaTrazabilidadRelanzamiento ante errores
Ficheros completos / sólo filas
Patrón: Carga de Archivos
25
DEMO
26
Mayor inversión inicialRetorno inmediato
Rápida producciónMenos mantenimientoFacilidad para cambios masivos
Conclusiones
28
Power BI para usuarios de negocio
28
Curso onlineClases virtuales presenciales14, 15, 16, 21, 22 y 23 de JulioDe 16 a 20 h
Máster en BI 4ª Edición (Inicio Octubre 2014)- Clases presenciales virtuales- 450 horas (60 ECTS) - SolidQ – UPM
- Clases + trabajo práctico + proyecto- Beca de hasta 1.300 € para los primeros inscritos.
Máster en Big Data & Analytics1ª Edición (Inicio Octubre 2014)- Clases presenciales virtuales- 1 año (60 ECTS) UMA
- Clases + trabajo práctico + proyecto
Información e inscripción: http://university.solidq.com / [email protected]
Si quieres disfrutar de las mejores sesiones de nuestros mentores de España y Latino
América, ésta es tu oportunidad.
http://summit.solidq.com
Síguenos:
29
