1. 22 Creando el próximo Data Warehouse: Integración y calidad de datos Caso Práctico Pei Yung...

22

Creando el próximo Data Warehouse: Integración y calidad de datos

Caso Práctico

Pei Yung Chan

Sales Consultant

[email protected]

3

Agenda

• Presentación corporativa

• Procesos de integración y calidad de datos

• Uso de PowerCenter como herramienta de integración de datos

• Ejemplo de un Data Warehouse con calidad

• Utilización de procesos y reglas de calidad de datos

• Uso de PowerAnalyzer como herramienta de análisis y reporting

44

Presentación corporativa

5

Nuestra MisiónEnabling The Information Economy

Ayudamos a las organizaciones a obtener una ventaja competetiva

mediante la optimización de la gestión de sus datos a traves de

herramientas de acceso, integración y calidad del dato.

6

Clientes +3.200 clientes

Productos Plataforma de Integración y Calidad de DatosCiclo de vida del Dato (Acceso, Validación,

Transformación y Entrega)

Compañía Nasdaq: INFAMás de 1.400 empleados

Analistas Reconocida como "Líder" en el Data Integration y Data Quality magic Quadrant de Gartner (2008).

Informatica es la única compañía de software deintegración independiente.

Líderes en Integración de Datos

7

InformaticaResultados Record / Foco único

• Beneficios: $391 million

• Crecimiento últimos 3-años: 21% por año

• Clientes: 3,200+

• 91 del Fortune 100

• 80%+ del Dow Jones

• 20 Organizaciones Guvernamentales

• Partners: 400+

• Major SI, ISV, OEM and On-Demand Leaders

• Empleados: 1,500+$100

$150

$200

$250

$300

$350

$400

$450

2004 2005 2006 2007

8

Las necesidades empresariales

Necesidadesdel negocio

Mejorar decisiones y

cumplir con lanormativa

Modernizar el negocio y reducir los

costes de TI

Fusiones yadquisiciones

Mejorar laeficiencia del

servicio al cliente

Externalizaciónde servicios

Incrementar laEficiencia con los

colaboradoresexternos

Iniciativasde TI

Business Intelligence

Eliminación desistemaslegados

Consolidaciónde aplicaciones

Hubs de productos,Clientes

BPOSaas

B2B Integration

Proyectos

Data Warehouse

DataMigration

DataConsolidation

Master DataManagement

Data Synchronization

B2B DataExchange

9

= Less for moreHand Coding

Data Warehouse

DataMigration

DataConsolidation



B2B DataExchange

Solución de integración de datos

Data Warehouse

DataMigration

DataConsolidation



B2B DataExchange

The extended enterprise – data everywhere

B2BUnstructuredApplication DatabaseOn-Demand

HIPAA

SEPA

NAACHA

SWIFT

10

Continuamos de la misma manera

o

Lo gestionamos diferente

11

Aprovechar el valor de los datosCiclo de vida de la integración de datos

Data Warehouse

DataMigration

DataConsolidation



B2B DataExchange

12

The Informatica PlatformTo Enable Business Imperatives

On-demand Integration Enterprise Data Integration B2B Data Integration

Data Quality Across the Whole Enterprise

Informatica On Demand

Improve Decisions &RegulatoryCompliance

ModernizeBusiness & Reduce IT

Costs

FacilitateMergers &

Acquisitions

Improve Customer Service &

Operational Efficiency

OutsourceNon-coreFunctions

IncreasePartner network

Efficiency

Access Discover Cleanse Integrate Deliver

Develop + Manage

Audit + Monitor + Report

Data QualityData Explorer

PowerCenterPowerExchange

B2B Exchange B2B Exchange

13

The Informatica PlatformComprehensive, Unified, and Open

HIPAA

SEPA

NACHA

TraditionalEnterprise

Partner Trading Network (B2B)

Cloud Computing(SaaS)

On-demand Integration Enterprise Data Integration B2B Data Integration

Data Quality Across the Whole Enterprise

1414

Informatica

15

Advancing Product LeadershipContinuous Innovation

Release 8.5 Q4 2007

B2B Data Exchange

Q2 2008

Data Quality Update Q3 2008

Business Glossary v2, IR within DI and DQ

Real time ICC

B2B Data Exchange

Informatica 8.6Q2 2008

Identity Integration, Migration Suite, Real-time Edition

Release 9.0 1H 2009

Data Governance WorkbenchData Quality StudioData Services Platform

Data Quality UpdateQ1 2008

Country Packs

Japan, China Address Validation

Informatica 8.72H 2008

16

InformaticaAddressing The Data Integration Challenge

Attain Adaptive Agility Maximize Data Value

Do More With Less Optimize IT Efficiency

Accelerate Business Responsiveness

Expedite Time To Value

Mitigate Risks Neutrality

17

Why Informatica?Proven Technology Leadership

Completeness of Vision

Ab

ility

to

Exe

cute

Source: Gartner Research (June 2008)

VisionariesNiche Players

Challengers Leaders

2008 Data Quality

Magic Quadrant

Source: Gartner Research (September 2008)

2008 Data Integration

Magic Quadrant

VisionariesNiche Players

Challengers Leaders

Source: Forrester Research 2007

2007 Enterprise ETL

Forrester Wave

18

Why Informatica?The Neutral Trusted Partner

GlobalGlobalSystems IntegratorsSystems Integrators

Operating SystemsOperating Systems

Platforms and TechnologiesPlatforms and Technologies

Database and InfrastructureDatabase and Infrastructure

BIBI

Regional:Regional:Digital China, LGCNSDigital China, LGCNS

ApplicationsApplications On-DemandOn-Demand

19

Seguros

Telcos

Retail y Servicios

Sanidad e Industria

Farmacéutica

Servicios Financiero

s

Clientes en España y Portugal (Iberia)

20

Sector Público

Energía y servicio público

Otros sectores

Telcos

Clientes en España y Portugal (Iberia)

21

Procesos de integración y calidad de datos

22

Necesidades de un negocio

• Incorporar la información recogida en sistemas transaccionales u otras fuentes de datos para:• Analizar la evolución de ventas• Comparar las tendencias del mercado• Analizar el efecto de las promociones de marketing y

acciones comerciales• Obtención de la información para realizar rápidas

decisiones estratégicas, tácticas y operacionales• Realizar un análisis de ventas comparativo con otras

empresas del sector

23

Ejemplos de Indicadores obtenidos

• Ventas en € y en unidades

• Market share del producto respecto el mercado al que pertenece

• Potencial del producto. Porcentaje que representan las ventas del producto respecto el total de ventas a nivel nacional

• Ratio de crecimiento de las ventas respecto el mismo periodo del año anterior

• Ratio de crecimiento del producto analizado respecto a la ratio de crecimiento del mercado

• Potencial del mercado. Porcentaje que representan las ventas del total del mercado respecto el total de ventas a nivel nacional

24

Problemática habitual

• Traspasar la información a nuestros sistemas operacionales (CRM, ERP) o decisionales (BI)

• Verificar la información y adecuarla a nuestros indicadores de negocio

• Alimentar más de un sistema con la información obtenida

• Necesidad de programación de procesos de extracción poco flexibles y de costosa implantación

25

Metodología de extracción de datos

Dirección

Información Operaciones Validación CargaSistema

Decisional

Informes

e

indicadores

Información Validada

Complementar la información

Información empresa

Sistema de información

de la empresa

Información empresa

26

Proceso de extracción de la información

• Se realiza la carga a los sistemas de la empresa automáticamente

• Control de la transferencia por FTP o desde otras ubicaciones

• Gestión de errores• Aviso a los responsables• Detección del punto exacto donde se detecta el error• Permite la reejecución del proceso en el punto donde se

ha detectado el error

• Programar el proceso para su ejecución en diferentes momentos del día

27

Proceso de validación de la información

• Garantizar la coherencia de la información

• Es necesaria una comprobación que la información es correcta y no hayan alteraciones

• Comprobación de indicadores de la calidad de los datos

28

Proceso de transformación

• Cabe destacar la importancia de complementar datos con datos producidos por la compañía

• Incorporación de la información de la red comercial propia de la compañía

• Incorporar agrupaciones de productos, presentaciones, etc. que es mantenido por los tomadores de decisión de la compañía

29

Proceso de carga

• Incorporación de información adicional en otras bases de datos, hojas EXCEL, ficheros planos, etc.

• Proceso de carga de Staging Area para ser origen de otras cargas (Data marts, etc.)

• Tratamiento gran volumen de información producidos generalmente por • Muchas combinaciones de datos para asegurar la

velocidad de ejecución de informes

• Generación de agregados para todos los elementos y niveles de las redes comerciales

30

Uso de PowerCenter como herramienta de integración de datos

31

Desarrollo / ProgramaciónDesarrollo / Programación

Tiempo de desarrollo / corrección de errores

Flexibilidad / reutilización

Auditoria / Documentación

Trazabilidad

Programadores

Lenguajes de programación

Solución propuesta

Fuentes de DatosAplicaciones de negocio

Extracción y carga de datos

SalesForce

32

Ejemplo de un Data Warehouse con calidad

33

Ejemplo POWERPHONE

• Empresa ejemplo de telefonía móvil

• Tiene la necesidad de realizar análisis sobre las llamadas y los servicios contratados por sus clientes

• Es necesario aplicar reglas de calidad en sus datos

34

Modelo de datos POWERPHONEVersión inicial

Cliente

PK IDCliente

FK1 IDContrato Telefono C_ProvinciaFK2 IDGEO

Contrato

PK IDContrato

Nombre Establecimiento Tarifa_mañana Tarifa_tarde Tarifa_finde Tarifa_SMS Tarifa_Internet

Conexion

PK IDConexion

FK1 IDClienteFK2 IDGEO Tipo_Conex inicio minutos kbytes

GEO

PK IDGEO

CNB NPBFK1 CPROV

Llamada

FK1 inicioFK1 minutosFK1 IDConexion

SMS

FK1 inicioFK1 IDConexion

Internet

FK1 inicioFK1 kbytesFK1 IDConexion

Provincia

PK CPROV

Nombre

35

Procesos de calidad

• Selección de diferentes campos importantes de las diferentes tablas de datos

• Incorporación de indicadores de calidad

• Índice de calidad con valor de 0 a 1

• Procesos periódicos que miden la calidad del registro

• Actualización del índice de calidad de los datos

36

Modelo de datos POWERPHONEVersión con indicadores de calidad de datos

Cliente

PK IDCliente

FK1 IDContratoFK2 IDGEO Nombre Apellido Telefono C_Provincia LOPD Q_IND_Nombre Q_IND_Sexo Q_IND_Direccion Q_IND_Global

Contrato

PK IDContrato

Nombre Establecimiento Tarifa_mañana Tarifa_tarde Tarifa_finde Tarifa_SMS Tarifa_Internet

Conexion

PK IDConexion

FK1 IDClienteFK2 IDGEO Tipo_Conex inicio minutos kbytes

GEO

PK IDGEO

CNB NPBFK1 CPROV

Llamada

FK1 inicioFK1 minutosFK1 IDConexion

SMS

FK1 inicioFK1 IDConexion

Internet

FK1 inicioFK1 kbytesFK1 IDConexion

Provincia

PK CPROV

Nombre

37

Procesos de integración de datos

• Extracción de los diferentes orígenes

• Comprobación de datos

• Trasformaciones y cálculos

• Filtrado de los registros con indicadores de calidad inadecuados

• Escritura y carga en el Data Warehouse

38

Proceso de extracción y carga

39

Procesos de calidad de datos

40

Uso de Data Analyzer como herramienta de análisis y reporting

41

Lo que nos comunican nuestros clientes Problemas para los consumidores de información:

BI para todos los usuarios

Facilidad de uso; Procesos guiados de desarrollo; cuadros de mando personalizados, mínima formación necesaria.

BI para usuarios avanzados

Funcionalidad Web limitada; Dificultad de manejo; Muchas y diferentes interfaces; Extenso entrenamiento.

Problemas tradicionales Nuestra Solución

Limitación de análisis

Análisis causa-efecto complejo, limitación en el desglose de la información.

Análisis guiados Avanzado análisis causa-efecto; workflows analíticos, ayuda para la toma de decisiones.

Integración con Excel

Desconectado de las fuentes de datos

Total integración con Excel

Integración bidireccional con excel, funcionalidad embebida, exportación dinámica.

“Tiempo-Real”

Disponible unicamente en refresco de información

Integración en Tiempo-Real

Alertas interactivas real-time, contextual right-time metrics; actualización de infraestructura analítica

42

Informatica Data Analyzer: Plataforma Unificada: “Todo en uno”

• Unificación en las capacidades de funcionamiento y administración

• Thin-client para administración, desarrollo e interfaces de usuario final

• Reducción de costes de licenciamiento, implementación, formación e integración de producto

Ad hoc QueryAd hoc Query& Report& ReportViewingViewing

EmbeddedEmbeddedExcelExcel

Real-TimeReal-TimeDashboardsDashboards

AdminAdminAnalyticAnalytic

AppsAppsInterfaceInterface

SoftwareSoftwareDevelopmentDevelopment

KitKit

Mobile &Mobile &BroadcastingBroadcasting

Analytic Analytic Workflow,Workflow,

Slice & DiceSlice & Dice

AuthenticationPortal

IntegrationEnterprise

Communications

Po

we

rAn

aly

zer 4®

© Copyright 2003 Informatica Corporation. All rights reserved.

ReportReportViewingViewing

Excel Excel IntegrationIntegration

DashboardsDashboards

Report Report Layout & Layout &

DesignDesign

AnalyticAnalyticToolsTools

Performance Performance ManagementManagement

Mobile &Mobile &BroadcastingBroadcasting

Ad Hoc Ad Hoc AnalysisAnalysis

PortalIntegration

Administration

Da

ta A

na

lyze

r

APIs & SDK

43

Democratizar la información: Responsabilidad y Visibilidad


Aplicaciones

Bases de Datos

Data Formats

DW / ODS

ALMACEN DE DATOS

Datos LocalesFicheros, Excel, etc

Integración con portal corporativo

Multidispositivo

Usuarios Finales

Clientes

Partners

44

Data AnalyzerArquitectura


Es la Plataforma más escalable de BI basada en un servidor de aplicaciones J2EE ; no servidor propietario Soporta BEA, IBM, Sun, JBOSS

Arquitectura ROLAP

Soporta: arquitectura en clustering y tolerancia a fallos

Sistemas operativos soportados: NT, Unix, Linux

Bases de Datos Soportadas: Oracle, DB2, SQLServer, Teradata, Sybase

Integración estandares de seguridad: LDAP, Active Directory, SiteMinder, etc.

Portales (BEA, WebSphere, Plumtree, Custom)

45

Características generales

• Creación de cuadros de mando

• Informes personalizados

• Filtros según el perfil de usuario

• Asistentes para la creación de informes

• Métricas y alertas en tiempo real

46

Autoaprendizaje, facilidad de uso Mínima formación, extrema productividad

Asistente de creación de informes en base a métricas

Informes libres de errores

Visualización Excel

Integración total en PowerAnalyzer

Analytics Workflows

Toma de decisiones más rápida

Usuariosfinales

47

Toda la funcionalidad BIReducción de coste de aprendizaje

• Add alerts • Add indicators• Add columns to table• Add attribute and time

filters• Add charts • Add exception

highlighting• Drill up, down and

across

Users

48

Conclusiones

• Plataforma de Business Intelligence de propósito general

• Fácil de usar

• Fácil de aprender

• Adaptable a los sistemas existentes de la compañía

• Integrado con EXCEL y otras plataformas móviles

49

Demostración de la plataforma

50

Muchas gracias

Pei Yung Chan

Sales consultant

[email protected]

1. 22 Creando el próximo Data Warehouse: Integración y calidad de datos Caso Práctico Pei Yung...

Documents

Transcript of 1. 22 Creando el próximo Data Warehouse: Integración y calidad de datos Caso Práctico Pei Yung...