Formacion en ODI

7/18/2019 Formacion en ODI

1/13

Oracle Data Integrator

Qu es Integracin de Datos?

La integracin de datos la podemos definir como el proceso de combinar datos

que residen en diferentes fuentes y permitirle al usuario final tener una vistaunificada de todos sus datos. La habilidad de transformar datos inter-departamentales de fuentes heterogneas, es un plan de accin que se haconvertido en un reto y en una ventaja competitiva para compaas querequieran la integracin de datos.

La integracin de datos es un elemento fundamental y crtico en la variedad detecnologas incluyendo Data Warehouse, aplicaciones de inteligencia denegocio, arquitecturas orientada a servicio, aplicaciones MDM y arquitecturasdata-centric.

Oracle, conociendo la necesidad de la integracin de datos para muchasempresas y distintos tipos de industria, tiene una solucin innovadora conocidacomo Oracle Data Integrator.

Qu es el Oracle Data Integrator (ODI)?

Oracle Data Integrator es una plataforma de integracin completa que cubre losrequisitos de integracin de datos. Maneja alto volumen, provee lotes de altodesempeo a procesos dirigidos a eventos, a servicios de integracin basadosen una arquitectura orientada a servicios y con la capacidad de procesar eventosen tiempo real.ODI, maneja mltiples necesidades empresariales referentes a la integracin de

datos: Data Warehousing e Inteligencia de Negocios.

Tiene la capacidad de manejar grandes volmenes de datos con undesempeo ptimo para cargar Data Warehouse y Data Mart. Manejacargas incrementales, integridad de datos, reglas de negocio yconsistencia.

Arquitectura Orientada a Servicios.Provee la funcionalidad de invocar servicios externos para propsitos deintegracin e implementar servicios de integracin y transformacinintegrados a una arquitectura orientada a servicios.

Master Data Management.Es una combinacin de aplicaciones y tecnologas que consolidan,limpian, mejoran los datos maestros de la empresa y los sincroniza conaplicaciones, procesos de negocio y herramientas analticas como OracleBIEE+.

Migracin.Provee cargas masivas eficientemente de datos histricos, incluyendotransformaciones complejas de sistemas legacy a sistemas nuevos.


2/13

El Oracle Data Integrator, va ms all de un ETL tradicional, donde se extraen losdatos de diferentes fuentes, se transforman en el proceso y luego se cargan a sudestino. La funcionalidad E-LTcambia en el dnde y como la transformacin seejecuta y se apalanca del motor de base de datos. E-LT direcciona latransformacin de datos a la base de datos destino, cambiando el orden de

operacin al extraer los datos de las distintas fuentes, cargarlos en el servidor dedestino y luego hacer la transformacin utilizando operadores SQL nativos delRDBMS.

Quin necesita ODI?

Toda empresa que necesite de sus datos para la toma de decisiones y laconsolidacin de estos datos de diferentes fuentes de informacin, ms que unaoportunidad o un reto, debera ser una accin a tomar.Preguntas a considerar relacionadas a la integracin de sus datos

Su empresa maneja procesos de carga definidos?

Sus iniciativas de integracin de datos han fracasado o sean a atrasadodebido a la poca confiabilidad de sus datos?

Siempre se enva la informacin correcta al lugar correcto, en elmomento correcto?

Cunto tiempo se demora en rehacer el trabajo para corregir data

incorrecta, poco precisa o errnea?

Su empresa tiene dificultades para cumplir con polticas y/oregulaciones?


3/13

El nivel de satisfaccin de sus clientes contina disminuyendo?

Desconfa de la informacin extrada para que le apoye en la toma dedecisiones crtica?

Necesita informacin en tiempo real?

Es posible hoy tener una visin nica de sus clientes?

Estas y muchas ms interrogantes pueden ser claves para determinar laimportancia de una estrategia de integracin junto con una herramienta lossuficientemente gil y capaz para cubrir todas aquellas necesidadesrelacionadas a la integracin de datos

Drivers

Aumentar la Agilidad:Es importante para las empresas incorporar los procesos de negociocon la integracin de datos para poder manejar eficientemente los

procesos de cambio.

Consolidacin:

Una de las grandes barreras para la integracin de datos, es lafragmentacin. Aplicaciones independientes y soluciones que notrabajan en conjunto o no se integran a una arquitectura orientada aservicio o una plataforma de BI. Como resultado en el esfuerzo deintegracin, se crean mapas entre los sistemas que no estnintegrados.

Demanda Tiempo Real:

Para muchas empresas el tener su informacin en tiempo real, serauna ventaja extraordinaria ante la competencia, ya que le provee lafacilidad de ver la direccin y le permite tomar decisiones basadas enresultados recientes.


4/13

Capacidades Funcionales

ODI, ofrece las siguientes capacidades funcionales:

Data Movement: extraer datos y transferirlos de forma masiva.

Data Syncronization: capacidad de replicar y extraer los datos que

sufrieron algn cambio. Data Quality: limpieza de datos y a tono con las reglas de negocio.

Data Management: manejo de metadata y modelamiento de datos.

Data Services: plataforma para una implementacin SOA para cubrir el gap

entre los procesos de negocio y la infraestructura de aplicaciones.


5/13

Data Profiling

Oracle Data Profiling es una herramienta de anlisis, investigacin y monitoreode calidad de los datos. Permite a los usuarios de negocio evaluar la calidad desus datos a travs de mtricas, descubrir o inferir reglas basadas en los datoscon la capacidad de monitorear la calidad de los datos a travs del tiempo.Su funcionalidad incluye:

Descubrimiento y anlisis:Oracle Data Profiling colecta los metadatos y datos de las fuentes yanaliza la informacin, estadsticas, largo de atributos, valores mximos ymnimos, distribucin, patrones, tipos de datos, etc. De esta forma, aplicatcnicas avanzadas para identificar problemas potenciales en la

integridad de los datos.

Natural Drill Down:

Permite profundizar a un nivel de detalle para evaluar los resultados deuna forma grfica evaluando detalles como estadsticas y metadatos.


6/13

Claves, dependencias funcionales y anlisis:Identifica duplicados y otras inconsistencias, detecta dependenciasfuncionales entre los atributos en una entidad

Oracle Data Profiling permite a los especialistas de datos documentar y anotar

los hallazgos, definir reglas de negocio, crear reportes y exportar datos ymetadatos para el uso de alguna aplicacin. Oracle Data Profiling, tambinutiliza notificaciones va e-mail para alertar al usuario cuando los niveles deservicio no hayan sido cumplidos.


7/13

Data Quality

Muchas empresas sufren de poca calidad en sus datos. Datos inconsistentes, noprecisos, incompletos y fuera de fecha, son la raz de muchos problemasoperacionales, de incapacidad para optimizacin, insatisfaccin de clientes,entre otros.

Oracle Data Quality, es una plataforma da calidad de datos que cubre hasta lasnecesidades ms complejas de calidad de datos. Es un motor basado en reglas, robusto y con una arquitectura escalable que apoya la estrategia de integracin

de datos. Oracle Data Quality dirige la calidad de datos de la empresa deacuerdo a la necesidad de los proyectos, incluyendo Data Warehouse eInteligencia de Negocios, Integracin de Datos, migraciones e integracin deprocesos orientado a servicio.


8/13

Change Data Capture

Oracle Data Integrators Changed Data Capture, identifica y captura losdatos como van a ser insertados, actualizados o borrados de la fuente de datos y

hace que los datos que sufrieron cambios, queden disponibles para losprocesos de integracin.

El modelo de publicar y subscribir trabaja en 3 pasos:

Identifica el subscriptor, usualmente un proceso de integracin, subscribe

los cambios que pueden ocurrir en la fuente de datos.

El Changed Data Capture Framework captura los cambios en la fuentede datos y los publica para el subscriptor.

El subscriptor puede procesar los cambios monitoreados en cualquiermomento y consumir estos eventos

ODI puede procesar estos cambios de dos formas:1. Regularmente en lotes: procesar las rdenes nuevas cada 5 minutos ycargarlas en la fuente de datos.

2. Tiempo real: cuando los cambios ocurren.


9/13

Mdulos de Conocimiento

Los Mdulos de Conocimiento son componentes de Oracle Data Integrator OpenConnector. Estos mdulos contienen el conocimiento requerido por el DataIntegrator para desempear un set de tareas relacionadas a una tecnologa enespecfico, como por ejemplo: Oracle, SQL Server, DB2, Teradata, etc.Estos Open Connectors contienen una combinacin de:

1. Estrategia de conexin (JDBC, utilidades de BD).

2. Corrige la sintaxis o el protocolo de la tecnologa asociada3. Controla la creacin y la eliminacin de tablas, vistas y triggers

temporeros

4. Estrategias de procesamiento y transformacin

5. Opciones de movimiento de datos (Crear tabla destino, insertar/borrar,actualizar, etc.)

6. Administracin de transacciones (commit/rollback), dependiendo de latecnologa


10/13

Diferentes tipos de Mdulos de Conocimiento:

RKM (Reverse Knowledge Modules) are used to perform a customized reverse-engineeringof data models for a specific technology.

LKM (Loading Knowledge Modules) are used to extract data from the source database

tables and other systems (files, middleware, mainframe, etc.).

JKM (Journalizing Knowledge Modules) are used to create a journal of data modifications (insert, update and delete) of the source databases to keep track of the changes.

IKM (Integration Knowledge Modules) are used to integrate (load) data to the target tables.

CKM (Check Knowledge Modules) are used to check that constraints on the sources andtargets are not violated.

SKM (Service Knowledge Modules) are used to generate the code required for creating data services.

Ejemplo de los Mdulos de Conocimiento:


11/13


12/13

Competencia

Detalles a tomar en consideracin en una prueba de concepto de ODI:

Identificar la tabla destino.

Identificar las tablas fuentes.

Identificar las tablas de Referencia (Lookup).

Seleccionar e importar los mdulos de conocimiento para la extraccin.

Identificar la estrategia de Integracin.

Verificar los pareos de campos(mapping)

o Pareos Automticos.o Columnas no nulas.o Aadir columnas adicionales.

Probar regularmente la extraccin.

En las transformaciones:

o Identificar, verificar y validar las condiciones.o Verificar y validar campos y funciones para convertir formatos de

fecha.o Verificar tamaos de columnas para no truncar los datos extrados

o que de algn tipo de error.

o Verificar los tipos de datos(Datatype).

o Verificar las secuencias.


13/13

Conclusin

Oracle Data Integrator provee una plataforma de integracin con capacidad dealto desempeo y productividad el cual provee un alto grado de flexibilidad ymodularidad. ODI, cumple con todas aquellas necesidades asociadas a laintegracin de datos incluyendo Data Warehouse e inteligencia de negocios,integracin de procesos, migraciones y todas aquellas iniciativas donde serequieran los datos correctos, en el lugar correcto y en el momento correcto. ODIpudiera ser la plataforma de apoyo en la estrategia de consolidacin de datospara su empresa.

Oracle Data Integrator

Febrero 2009

Author: Angel Rios

Oracle Corporation

World Headquarters

500 Oracle Parkway

Redwood Shores, CA 94065

U.S.A.

Worldwide Inquiries:

Phone: +1.650.506.7000

Fax: +1.650.506.7200

oracle.com

Copyright 2008, Oracle Corporation and/or its affiliates. All rights reserved.

This document is provided for information purposes only and the

contents hereof are subject to change without notice.

This document is not warranted to be error -free, nor subject to any

other warranties or conditions, whether expressed orally or implied

in law, including implied warranties and conditions of merchantability

or fitness for a particular purpose. We specifically disclaim any

liability with respect to this document and no contractual obligations

are formed either directly or indirectly by this document. This document

may not be reproduced or transmitted in any form or by any means,

electronic or mechanical, for any purpose, without our prior written permission.

Oracle is a registered trademark of Oracle Corporation and/or its affiliates.

Other names may be trademarks of their respective owners.

Formacion en ODI

Documents

Transcript of Formacion en ODI