“La integración de información. Presente y

futuro de la empresa moderna”Ing. Josue Carralero Iznaga, MSc.

ISPJAE, Facultad de Ingeniería Informática, Departamento de Ingeniería de Software.

Complejo de Investigaciones Tecnológicas Integradas (CITI), Jefe del Programa de Investigación “Informática

Aplicada”.

Julio de 2010

Objetivos

Ofrecer un recorrido por las distintas técnicas y las tecnologías fundamentales que se emplean para lograr el tratamiento integral de la información en la empresa moderna.

Agenda de trabajoü La empresa moderna (situación actual, estado

deseado), ü Los niveles de integración de información,ü Arquitectura para la integración de información

(Técnicas y tecnologías) yü Herramientas.

Llegamos a situaciones donde no sabemos si gritar o correr!!!

La empresa modernaSituación actual

Toma de decisionesEmpresa integrada

Portal MóvilesDesktop B2B

Sistemas operacionalesTrabajo disperso

La empresa modernaSituación actual

Toma de decisionesEmpresa integrada

Portal MóvilesDesktop B2B

Dpto 5

Dpto n

Dpto 4

Dpto 2

Dept 3

Dpto 1

Sistemas operacionalesTrabajo disperso

La empresa modernaSituación actual

Toma de decisionesEmpresa integrada

Portal MóvilesDesktop B2B

Dpto 5

Dpto n

Dpto 4

Dpto 2

Dept 3

Dpto 1

Sistemas operacionalesTrabajo disperso

Imágenes unificadas de datos

Procesos de negocio

traducidos en tecnología

La empresa modernaEstado deseado

¿Como llegar al estado

deseado?

Integración de informaciónDefinición

“…La integración de información es la combinación de información de diversas fuentes con diferentes representaciones conceptuales y contextuales…”

Interacción del usuario

DatosAplicacione

sProcesos de negocios

Integración de informaciónNiveles

Interacción del usuario

DatosAplicacione

sProcesos de negocios

Vista unificada de los datos

(Bajo costo de implementación)

Integración de informaciónNiveles (Datos)

Interacción del usuario

DatosAplicacione

sProcesos de negocios

Vista unificada de las aplicaciones de negocio a través del manejo y coordinación del flujo

de eventos (transacciones,

mensajes o datos) entre las aplicaciones

Integración de informaciónNiveles (Aplicaciones)

Interacción del usuario

DatosAplicacione

sProcesos de negocios

Vista unificada de los procesos de negocio de la organización (rompe con la visión departamental,

conocimiento de los procesos de la empresa)

Integración de informaciónNiveles (Procesos de negocios)

Interacción del usuario

DatosAplicacione

sProcesos de negocios

Interfaz que permite a los usuarios tener acceso a la información integrada y

además colaborar y compartir datos

Integración de informaciónNiveles (Interacción del usuario)

Arquitectura de la integraciónCapas

ü Las técnicas constituyen enfoques conceptuales que definen el proceso de integración de datos,

ü Las tecnologías implementan una o varias técnicas de integración de datos y definen como se realiza el proceso de integración,

ü Las herramientas son soluciones comerciales que soportan una o varias técnicas o tecnologías y

ü Las aplicaciones de la empresa son construidas a la medida de las necesidades, soportadas por las herramientas.

Tecnología

datos distribuid

os

Propagación de datos

Tecnología

datos centralizado

s

Consolidación de datos

Tecnología

vista virtual de los datos

Federación de datos

Captura de los cambios en los datos

Arquitectura de la integraciónTécnicas (Vistazo)

Tecnología

Consolidación de datos

Arquitectura de la integraciónTécnica “Consolidación de datos” (Características)

ü Captura la información de las diferentes fuentes de datos y la almacena en un único repositorio central,

ü Existe un retraso, o latencia, en cuanto a la actualización de la información y

ü Permite que “grandes volúmenes de datos” sean transformados, reestructurados, limpiados cuando viajan hacia las fuentes de datos destino.

Tecnología

Federación de datos

Arquitectura de la integraciónTécnica “Federación de datos” (Características)ü Provee una vista virtual única

de la información que es recuperada de diferentes fuentes de datos. Empleo de metadatos,

ü El acceso a los datos es en tiempo real ya que los mismos se mantienen en su lugar de origen y

ü No permite recuperar grandes volúmenes de datos y realizar grandes transformaciones a los mismos.

Tecnología

Propagación de datos

Arquitectura de la integraciónTécnica “Propagación de datos” (Características)ü Distribución de datos de una o varias fuentes de

datos a otros, ü Permite que “grandes volúmenes de datos” sean

movidos de un sistema a otro yü Se emplean varios métodos que determinan el

intercambio de los datos.

Arquitectura de la integraciónTécnica “Propagación de datos” (Métodos de intercambio)ü Extracción de la carga: se extrae la totalidad de

los datos, los cuales son transportados a la fuente de datos destino,

ü Comparación de archivos: compara los datos extraídos con los de la versión anterior; se crea un registro de cambios incrementales que son aplicados como actualizaciones al servidor de destino y

ü Propagación de datos modificados: se un archivo de cambios incrementales para almacenar los cambios capturados. Capturar los cambios tal y como ocurrieron es usualmente más eficiente que comparar versiones de un archivo.

Arquitectura de la integraciónTécnica “Captura de los cambios en los datos (CDC)”ü Estrategia de integración de datos para

determinar los datos que han sido cambiados, está basada en la identificación, captura y entrega de los cambios,

ü Sin CDC, todos los datos deben ser accedidos en y movidos a la fuente que lo necesite,

ü Existen dos variantes fundamentales: Orientada a Lotes (Pull) y Orientada a Tiempo Real (Push) y

ü Utiliza varios métodos para localizar y capturar los datos que han sido cambiados: Time-stamp (marca de tiempo), Números de versiones, triggers, registro de transacciones.

Tecnología

datos distribuid

os

Propagación de datos

Tecnología

datos centralizado

s

Consolidación de datos

Tecnología

vista virtual de los datos

Federación de datos

Modelo integrado de información

(Enfoque híbrido)

Captura de los cambios en los datos

Arquitectura de la integraciónTécnicas (Resumen)

•Grandes volúmenes de datos y• Los datos son movidos de una ubicación a otra.

Arquitectura de la integraciónTecnologías (Vistazo)

ü Extraer, Transformar y Cargar (Extract, Transform , Load, ETL),

ü Integración de Información Empresarial (Enterprise Integration Information, EII),

ü Integración de Aplicaciones Empresariales (Enterprise Application Integration, EAI),

ü Gestión de Contenido Empresarial (Enterprise Content Management, ECM),

ü Replicación de Datos Empresariales (Enterprise Data Replication, EDR),

ü Servicios Web yü Bus de Servicios Empresariales (Enterprise

Service Bus, ESB).

Arquitectura de la integraciónTecnología “ETL” (Definición)

“…proceso que organiza el flujo de los datos entre diferentes sistemas en una organización y aporta los métodos y herramientas necesarias para mover datos desde múltiples fuentes, reformatearlos, limpiarlos y cargarlos en un repositorio destino. El repositorio destino debe estar preparado para soportar el proceso de carga por parte de la herramienta ETL. Esta tecnología soporta la técnica de consolidación de datos…”

Arquitectura de la integraciónTecnología “ETL” (Arquitectura)

Diferentes fuentes de datos

E

Com

bin

ar

Lim

piar

Org

aniz

ar

Opt

imiz

ar

Proc

esar

BI, Cuadros de mando, Reportes, Alertas

Repositorio destino

L

T

Arquitectura de la integraciónTecnología “EII” (Definición)

“…permite visualizaciones federadas (vistas virtuales) de la información existente en sistemas dispersos y heterogéneos (Bases de datos, documentos XML, aplicaciones Web, etc.), sin la necesidad previa de mover físicamente los datos hasta un repositorio centralizado. Esta tecnología soporta la técnica de federación de datos…”

Todo tipo de Fuentes de Información

Arquitectura de la integraciónTecnología “EII” (Arquitectura)

________________

__

Wrapper

Ficheros Planos

__

Wrapper

Web

<HTML>

__

Wrapper

Web ServicesXML

e

Repositorio VirtualCaché Modelo Unificado

Vistas

JDBC APIWS (XML)

Nuevas aplicaciones EII

___

Metadatos

Base de Datos

Wrapper

Modelo de datosexportado

Arquitectura de la integraciónTecnología “ECM” (Definición)

“…permite la integración de datos no estructurados, se centra en la gestión de los documentos, información de la Web, y multimedia relacionados con los procesos de una organización. Proporciona la gestión de metadatos, control de versiones, plantillas y flujo de trabajo. Permite centralizar la información en un solo lugar y sobretodo mejorar la toma de decisiones. Esta tecnología soporta la técnica de consolidación de datos…”

Arquitectura de la integraciónTecnología “EDR” (Definición)

“…permite la transferencia de datos entre base de datos; capta los cambios que ocurren en una base de datos y los propaga hacia otra. Se utiliza no sólo para la integración de datos, sino también para salvas y recuperación de bases de datos. Esta tecnología soporta las técnicas de CDC y propagación de datos…”

Arquitectura de la integraciónTecnología “EAI” (Definición)

“…permite conectar entre sí aplicaciones, tanto adquiridas como de desarrollo propio, con el fin de que puedan apoyar mejor un determinado proceso de negocio. Esta tecnología soporta la técnica de propagación de datos…”

Arquitectura de la integraciónTecnología “EAI” (Antecedentes)

Comunicación Punto a Punto

Aplicación C

Aplicación A

Aplicación B

Desventajas de la Comunicación Punto a Puntoü Incremento del número de

conexiones a medida que se incorporan aplicaciones,

ü Requiere desarrollo de funciones complejas para comunicación, transformaciones, etc.,

ü No hay gestión ni visibilidad de los procesos de negocio y

ü Aplicaciones dependientes.

Arquitectura de la integraciónTecnología “EAI” (Características)

ü Comunicación basada en mensajes con posibilidades de:AlmacenarTransformarEnrutarEntrega del mensaje

ü El transporte de mensajes puede ser de forma asincrónica o sincrónica

Arquitectura de la integraciónTecnología “EAI” (Componentes de las soluciones)ü Message-oriented Middleware (MOM)

(asincrónica),ü Servidor de aplicaciones (sincrónica),ü Adaptadores,ü Plataforma para el desarrollo de nuevos

adaptadores,ü Flujo de trabajo y herramientas de gestión de

procesos yü Mecanismos de transformación de datos.

Arquitectura de la integraciónTecnología “EAI” (Arquitectura Hub/ Spoke)

Aplicación A

Adaptador AAplicació

n DAdaptador D

Aplicación E

Ad

ap

tad

or E

Aplicación B

Adaptado

r B

Aplicación C

Adaptador C

Servidor

Intermediario de Mensajes

Motor de integración

Arquitectura de la integraciónTecnología “EAI” (Arquitectura Message Bus)

Aplicación A

Ad

ap

tad

or A

Aplicación D

Ad

ap

tad

or D

Aplicación E

Ad

ap

tad

or E

Aplicación B

Ad

ap

tad

or

B

Aplicación C

Ad

ap

tad

or

C

Servidor

Intermediario de

Mensajes

Motor de integració

n

Servidor

Intermediario de

Mensajes

Motor de integració

n

Servidor

Intermediario de

Mensajes

Motor de integració

n

Message Bus

Arquitectura de la integraciónTecnología “Servicio Web” (Definición)

“…conjunto de protocolos y estándares abiertos que sirven para intercambiar datos entre aplicaciones. Estas aplicaciones pueden estar desarrolladas en lenguajes de programación diferente, ejecutada desde cualquier plataforma y pueden utilizar los servicios web para intercambiar datos ya que estos son interoperables, pueden ser desarrollados en una gran variedad de lenguajes. Además de permitir la integración de aplicaciones, las funcionalidades que exponen los servicios web pueden actuar como una fuente de datos a la cual se puede acceder y extraer información en el entorno de integración de datos…”

Arquitectura de la integraciónTecnología “ESB” (Definición)

“…solución de integración distribuida, basada en mensajes y en estándares abiertos, que garantiza la interconexión entre aplicaciones y servicios que están distribuidos por toda la organización. Permite configurar lógica de enrutamiento compleja, que soporta múltiples patrones de interacción y que permite transformar el formato de los mensajes. Esta tecnología soporta la técnica de propagación de datos…”

Arquitectura de la integraciónTecnología “ESB” (Antecedentes)

Punto a Punto SOA

Arquitectura de la integraciónTecnología “ESB” (Antecedentes - Continuación)

SOA ESB

Arquitectura de la integraciónTecnología “ESB” (Características)

ü Definición de servicios independientemente de su plataforma tecnológica real,

ü Incorporan capacidad de registro de servicios,ü Alta extensibilidad y escalabilidad,ü Balanceo de carga, recuperación a fallos,ü Capacidades de auditoría,ü Colección de adaptadores yü Alto uso de la configuración en vez de la

codificación.

ü Mensajería distribuida,ü Transparencia de las ubicaciones,ü Transparencia del transporte,ü Transformación de mensaje,ü Calidad de servicio,ü Patrones de intercambio de mensajes,ü Enrutamiento basado en el contenido,ü Orquestación de servicios yü Seguridad.

Arquitectura de la integraciónTecnología “ESB” (Funcionalidades)

Arquitectura de la integraciónTecnología “ESB” (Estándares)

ü Estándares de Transporte: HTTP(S), FTP, SMTP, JMS, JMX, JDBC, RPC y SOAP.

ü Estándares de Conectividad: Simple Object Access Protocol (SOAP), Universal Description, Discovery, and Integration(UDDI), y Web Services Description Language (WSDL).

ü Estándar de Orquestación: BPEL.ü Estándares de Portabilidad: Web Services, J2EE y

.NET. ü Estándares de Transformación: XSLT, Xpath,

Xquery.

Arquitectura de la integraciónTecnología “ESB” (Beneficios)

ü Integraciones más rápidas y económicas de los sistemas,

ü Mayor flexibilidad ante cambios,ü Basado en estándares,ü Servicios predefinidos que ahorran costes de

desarrollo,ü Más configuración que código a la hora de

integrar,ü Mayor control del sistema,ü Reglas de negocio manejadas por analistas de

negocio yü Seguridad en la integración entre aplicaciones.

Arquitectura de la integraciónTecnologías (Resumen)

Técnicas

Tecnologías

Consolidación Federación Propagación CDC

Extraer, Transformar y Cargar (ETL) SI NO NO NO

Integración de Información Empresarial (EII)

NO SI NO NO

Gestión de Contenido Empresarial (ECM)

SI NO NO NO

Replicación de datos Empresariales (EDR)

NO NO SI SI

Integración de Aplicaciones Empresariales (EAI)

NO NO SI NO

Servicios web SI SI SI NO

Bus de Servicios Empresariales (ESB) SI SI SI NO

Arquitectura de la integraciónHerramientas (Vistazo – Gestión de identidades)ü Microsoft Forefront Identity Manager 2010,ü Novell Identity Manager 3.6.1,ü RadiantOne VDS Context Edition yü Symlabs Virtual Directory Server.

Arquitectura de la integraciónHerramienta “Microsoft FIM 2010” (Arquitectura)

Arquitectura de la integraciónHerramienta “Symlabs VDS” (Arquitectura)

Arquitectura de la integraciónHerramientas (Vistazo – Integración)

ü Oracle Data Service Integrator,ü Microsoft Bistalk Server,ü Informatica, ü SAP NetWeaver MDM, XI, PI,ü Talend Suite (Open Source, Consolidación,

Federación, MDM), ü Microsoft Office Sharepoint Server 2007, 2010 yü Pentaho Data Integration.

Arquitectura de la integraciónHerramientas (Gartner Group - 2009)

Toma de decisionesEmpresa integrada

Portal MóvilesDesktop B2B

Dpto 5

Dpto n

Dpto 4

Dpto 2

Dept 3

Dpto 1

Sistemas operacionalesTrabajo disperso

Imágenes unificadas de

datos

Procesos de negocio

traducidos en tecnología

Procesos de negocio

Transformación

Traducción

Integración

BPM

Workflow

Aplicaciones compuestas

ESB

La empresa modernaEstado deseado (Conclusiones)

Muchas Gracias

Todo tipo de Fuentes de Información

Arquitectura de la integraciónTecnología “EII” (Arquitectura)

________________

__

Wrapper

Ficheros Planos

__

Wrapper

Web

<HTML>

__

Wrapper

Web ServicesXML

e

Repositorio VirtualCaché Modelo Unificado

Vistas

JDBC APIWS (XML)

Nuevas aplicaciones EII

___

Metadatos

Base de Datos

Wrapper

Modelo de datosexportado

Servicio web ARepositori

o UDDI

Servicio web BServicio web B

Arquitectura de la integraciónTecnología “ESB” (Funcionalidades - Transparencia de las ubicaciones)

Servicio web ARepositori

o UDDI

Servicio web BServicio web C

Arquitectura de la integraciónTecnología “ESB” (Funcionalidades – Transformación del mensaje)

Servicio web ARepositori

o UDDI

Servicio web BServicio web C

Arquitectura de la integraciónTecnología “ESB” (Funcionalidades – Enrutamiento basado en contenido)

Servicio web ARepositori

o UDDI

Servicio web BServicio web C Servicio web D

Arquitectura de la integraciónTecnología “ESB” (Funcionalidades – Orquestación)