ETL Extract-Transform-Load

Juan Pablo Sandoval

Armando Tapia

Rolando Valenzuela

Gerardo Zapata

Que es ¿?

El proceso que organiza el flujo de los datos entre diferentes sistemas en una organización y aporta los métodos y herramientas necesarias para mover datos desde múltiples fuentes a un almacén de datos, reformatearlos, limpiarlos y cargarlos en otra base de datos

FASE EXTRACCION

● Extraer los datos desde los sistemas de origen.

● Analizar los datos extraídos obteniendo un chequeo.

● Interpretar este chequeo para verificar que los datos extraídos cumplen la pauta o estructura que se esperaba. Si no fuese así, los datos deberían ser rechazados.

● Convertir los datos a un formato preparado para iniciar el proceso de transformación

FASE TRANSFORMACIONAplica una serie de reglas de negocio o funciones sobre los datos extraídos para convertirlos en datos que serán cargados. Algunas transformaciones:

Seleccionar sólo ciertas columnas para su carga (por ejemplo, que las columnas con valores nulos no se carguen).

Traducir códigos (por ejemplo, si la fuente almacena una “H” para Hombre y “M” para Mujer pero el destino tiene que guardar “1″ para Hombre y “2″ para Mujer).

Calcular totales de múltiples filas de datos (por ejemplo, ventas totales de cada región).

Dividir una columna en varias (por ejemplo, columna “Nombre: García, Miguel”; pasar a dos columnas “Nombre: Miguel” y “Apellido: García”).

FASE CARGA

En esta fase, los datos procedentes de la fase anterior (fase de transformación) son cargados en el sistema de destino. Dependiendo de los requerimientos de la organización, pueden ser de dos tipos:

Acumulación simple Rolling

 Porque adquirir esta herramienta ¿?

Gracias a los procesos ETL es posible que cualquier organización:

    •    Mueva datos desde una o múltiples fuentes.    •    Reformatea esos datos y los limpie, cuando sea necesario.    •    Los cargue en otro lugar como una base de datos, un data mart o un data warehouse.    •    Una vez alojados en destino, esos datos se analicen.    •    O, cuando ya están cargados en su ubicación definitiva, se empleen en otro sistema operacional, para apoyar un proceso de negocio.

 Herramientas ETL Las herramientas de ETL sirven para facilitar los procesos

de Extracción, Transformación y Carga de cualquier sistema, y son especialmente útiles para el Data Warehousing y cuando se construyen sistemas de Data Warehouse en proyectos de Business Intelligence, pero no sirve sólo para DW sino también para :

Migración de datos entre diferentes aplicaciones por cambios de versión o cambio de aplicativos.

Sincronización entre diferentes sistemas operacionales (por ejemplo, nuestro entorno ERP y la Web de ventas).

Interfases de datos con sistemas externos: envio de información a clientes, proveedores. Recepción, proceso e integración de la información recibida.

Características y ventajas

Capacidades de entrega de datos Capacidades de transformación de datos Capacidades de Metadatos y Modelado de Datos Adaptación a las diferentes plataformas hardware y

sistemas operativos existentes Emplearlas para la integración con sistemas heredados

Algunos software que usan herramientas ETL…