Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

36
Data Warehouse Data Warehouse Administración de Bases de Administración de Bases de Datos Datos Fernando Bleye Fernando Bleye 7/5/2003 7/5/2003

Transcript of Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Page 1: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Data WarehouseData Warehouse

Administración de Bases de DatosAdministración de Bases de DatosFernando BleyeFernando Bleye

7/5/20037/5/2003

Page 2: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

IntroducciónIntroducción¿Qué es un Sistema de ¿Qué es un Sistema de Información de Gestión (SIG)?Información de Gestión (SIG)?

““Es el proceso por el cual los datos que son importantes Es el proceso por el cual los datos que son importantes para una empresa son identificados, analizados y para una empresa son identificados, analizados y recolectados para su posterior uso”.recolectados para su posterior uso”.

El primer objetivo de un SIG es incrementar la El primer objetivo de un SIG es incrementar la “inteligencia” de los procesos del negocio “inteligencia” de los procesos del negocio (Business (Business Intelligence)Intelligence)..

El SIG debe permitir observar el estado del negocio y el El SIG debe permitir observar el estado del negocio y el descubrimiento de información.descubrimiento de información.

En los últimos años ha cambiado la forma de entender los En los últimos años ha cambiado la forma de entender los SIG:SIG:

Mercados cambiantes y altamente competitivos.Mercados cambiantes y altamente competitivos.Las Las nuevas tecnologíasnuevas tecnologías ofrecen ofrecen nuevas oportunidadesnuevas oportunidades..Existe deseo de conocer mejor el comportamiento de los Existe deseo de conocer mejor el comportamiento de los clientes.clientes.

El aumento espectacular del volumen de datos hace El aumento espectacular del volumen de datos hace evidente la necesidad de una infraestructura para la logística evidente la necesidad de una infraestructura para la logística de la información.de la información.

Page 3: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Perspectiva histórica de los Perspectiva histórica de los Sistemas de InformaciónSistemas de Información

Primeros sistemas de información basados en aplicaciones.Primeros sistemas de información basados en aplicaciones.Generan ficheros específicos y/o utilizan bases de datos Generan ficheros específicos y/o utilizan bases de datos normalmente heterogéneas entre ellas donde almacenan la normalmente heterogéneas entre ellas donde almacenan la información.información.

Diseño marcado por las Diseño marcado por las necesidades puntuales del día a día necesidades puntuales del día a día de diferentes departamentos del negocio.de diferentes departamentos del negocio.La integración entre aplicaciones no era un objetivoLa integración entre aplicaciones no era un objetivo..Aunque la tecnología ha mejorado, perdura la falta de Aunque la tecnología ha mejorado, perdura la falta de integración, consistencia, coherencia (limitaciones) , sin integración, consistencia, coherencia (limitaciones) , sin embargo la demanda de información crece.embargo la demanda de información crece.Problema: Las aplicaciones siguen profundamente Problema: Las aplicaciones siguen profundamente marcadas por las primeras consideraciones que dirigieron marcadas por las primeras consideraciones que dirigieron su desarrollo.su desarrollo.La arquitectura sobre la que se construyeron estas La arquitectura sobre la que se construyeron estas aplicaciones (OLTP) no es válida para soportar las aplicaciones (OLTP) no es válida para soportar las necesidades de los sistemas de información de gestión necesidades de los sistemas de información de gestión actuales.actuales.En estos sistemas la arquitectura de los datos nunca fue un En estos sistemas la arquitectura de los datos nunca fue un objetivo del negocio.objetivo del negocio.

Page 4: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Nacimiento del conceptoNacimiento del conceptoData WarehouseData Warehouse

La complejidad y dinamismo de la “economía digital” han La complejidad y dinamismo de la “economía digital” han situado en un lugar predominante a los gestores, situado en un lugar predominante a los gestores, desvelando las dificultades de acceso a la información de desvelando las dificultades de acceso a la información de la empresa.la empresa.La calidad y disponibilidad de la información se convierte La calidad y disponibilidad de la información se convierte en un objetivo primordial del negocio.en un objetivo primordial del negocio.Se apunta como primera solución crear una Se apunta como primera solución crear una gran base de gran base de datosdatos virtual para integrar los datos de las aplicaciones virtual para integrar los datos de las aplicaciones existentes, una vez que hayan sido depurados y existentes, una vez que hayan sido depurados y reconciliadas sus disparidades. reconciliadas sus disparidades. Esto posibilitará que los Esto posibilitará que los datos sean utilizados para la gestióndatos sean utilizados para la gestión..La solución pasa por separar el procesamiento en dos La solución pasa por separar el procesamiento en dos grandes categorías grandes categorías

Proceso Operacional (OLTP).Proceso Operacional (OLTP).Procesamiento para el sistema de soporte de decisiones Procesamiento para el sistema de soporte de decisiones (OLAP/DSS/DM).(OLAP/DSS/DM).

Como consecuencia de lo anterior aparece el concepto deComo consecuencia de lo anterior aparece el concepto de

Page 5: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Definición Data WarehouseDefinición Data Warehouse

Data Warehousing / Data Warehouse / DWData Warehousing / Data Warehouse / DW(Almacenes de datos)(Almacenes de datos)

““El Data Warehouse es un componente de la El Data Warehouse es un componente de la arquitectura de sistemas, temático, integrado, no volátil arquitectura de sistemas, temático, integrado, no volátil y dependiente del tiempo diseñado para ayudar en la y dependiente del tiempo diseñado para ayudar en la toma de decisiones.”toma de decisiones.”[W. H. Inmon (considerado el padre del concepto DW) – [W. H. Inmon (considerado el padre del concepto DW) – 1992]1992]

““Conjunto de tecnologías de soporte a la toma de Conjunto de tecnologías de soporte a la toma de decisión, cuyo objeto es que quien trabaja con los decisión, cuyo objeto es que quien trabaja con los conocimientos (ejecutivo, director, analista) pueda conocimientos (ejecutivo, director, analista) pueda tomar decisiones de manera más rápida y eficaz.”tomar decisiones de manera más rápida y eficaz.”[Chaudhuri y Dayal – 1997][Chaudhuri y Dayal – 1997]

Page 6: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Pero…, ¿Qué es un Data Pero…, ¿Qué es un Data Warehouse?Warehouse?

El DW es un conjunto de tecnologías, NO UN PRODUCTO. El DW es un conjunto de tecnologías, NO UN PRODUCTO. Debe construirse, paso a paso.Debe construirse, paso a paso.Es una arquitectura que debe construirse de acuerdo a Es una arquitectura que debe construirse de acuerdo a las necesidades y entorno específico del cliente, y debe las necesidades y entorno específico del cliente, y debe construirse de manera ITERATIVA, para construirse de manera ITERATIVA, para consolidar y consolidar y administrar datos de varias fuentesadministrar datos de varias fuentes con el con el propósitopropósito de de conseguir en un período de tiempo aceptable y gracias a conseguir en un período de tiempo aceptable y gracias a las nuevas capacidades de procesamiento y técnicas las nuevas capacidades de procesamiento y técnicas analíticas:analíticas:

Responder preguntas de negocio (OLAP - Análisis de datos)Responder preguntas de negocio (OLAP - Análisis de datos)Ayudar en la toma de decisiones (DSS – EIS)Ayudar en la toma de decisiones (DSS – EIS)Descubrir conocimiento (Data Mining - Minería de datos)Descubrir conocimiento (Data Mining - Minería de datos)

El Data Warehouse es una arquitectura bien definida El Data Warehouse es una arquitectura bien definida cuyo objetivo inicial es satisfacer la demanda de los cuyo objetivo inicial es satisfacer la demanda de los gestores de obtener una visión integrada de la empresa gestores de obtener una visión integrada de la empresa y su entorno.y su entorno.

Page 7: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Terminología y definicionesTerminología y definiciones

OLAP (On-Line Analytical Processing o procesamiento analítico on-line)OLAP (On-Line Analytical Processing o procesamiento analítico on-line)Se define como análisis rápido de información multidimensional compartida.Se define como análisis rápido de información multidimensional compartida.[Richard Creeth, Nigel Pendse][Richard Creeth, Nigel Pendse]Herramientas OLAP (para análisis de datos en DW):Herramientas OLAP (para análisis de datos en DW):

Frontales para el acceso a los datos del DW (o bases de datos multidimensionales Frontales para el acceso a los datos del DW (o bases de datos multidimensionales también denominadas OLAP) basados en el también denominadas OLAP) basados en el modelo de datos multidimensional.modelo de datos multidimensional.

DSS (Decision-Support Systems o sistemas de soporte a la toma de DSS (Decision-Support Systems o sistemas de soporte a la toma de decisiones)decisiones)EIS (Executive Information Systems o sistemas de información ejecutiva)EIS (Executive Information Systems o sistemas de información ejecutiva)

Hacen alusión a las herramientas para obtener datos de nivel superior del DW Hacen alusión a las herramientas para obtener datos de nivel superior del DW para la toma de decisiones.para la toma de decisiones.Herramientas DSS / EIS:Herramientas DSS / EIS:

Objetivo: apoyar la toma de decisiones mediante la aplicación de modelos Objetivo: apoyar la toma de decisiones mediante la aplicación de modelos matemáticos y estadísticos, o de conocimiento específico a un problema particular.matemáticos y estadísticos, o de conocimiento específico a un problema particular.Son un sistema integrado de planificación y tratamiento de la información que Son un sistema integrado de planificación y tratamiento de la información que incorpora la habilidad de consultar los datos del DW en una forma determinada, incorpora la habilidad de consultar los datos del DW en una forma determinada, analizar la información obtenida y predecir, en base a unos determinados modelos, el analizar la información obtenida y predecir, en base a unos determinados modelos, el impacto de las futuras decisiones antes de llevarlas a la práctica.impacto de las futuras decisiones antes de llevarlas a la práctica.

DM (Data Mining o minería de datos)DM (Data Mining o minería de datos)Se emplea como parte del proceso de descubrir conocimiento:Se emplea como parte del proceso de descubrir conocimiento:

Reglas de asociación, Patrones secuenciales, Árboles de clasificación.Reglas de asociación, Patrones secuenciales, Árboles de clasificación.

Objetivos:Objetivos:Predicción, Identificación, Clasificación, Optimización.Predicción, Identificación, Clasificación, Optimización.

Page 8: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Terminología y definicionesTerminología y definiciones

OLTP (On-Line Transaction Processing o procesamiento de OLTP (On-Line Transaction Processing o procesamiento de transacciónes on-line)transacciónes on-line)

Los datos que una empresa utiliza como soporte a los negocios se Los datos que una empresa utiliza como soporte a los negocios se les denomina “operacionales”. Los sistemas usados con el fin de les denomina “operacionales”. Los sistemas usados con el fin de recogerlos u operar con ellos reciben el nombre de OLTP.recogerlos u operar con ellos reciben el nombre de OLTP.

Es el procesamiento de datos soportado por las Es el procesamiento de datos soportado por las bases de datos bases de datos tradicionalestradicionales (también denominadas transaccionales). (también denominadas transaccionales).

BDs Relacionales (normalmente), Red, Jerárquicas, …BDs Relacionales (normalmente), Red, Jerárquicas, …

Operaciones de: Añadir, Modificar, Eliminar, Consulta.Operaciones de: Añadir, Modificar, Eliminar, Consulta.

Optimizado para transacciones que habitualmente sólo abarcan una Optimizado para transacciones que habitualmente sólo abarcan una pequeña parte de una base de datos.pequeña parte de una base de datos.

Orientado a conseguir la máxima eficacia y rapidez en las Orientado a conseguir la máxima eficacia y rapidez en las transacciones (actualizaciones) individuales de los datos, y no a su transacciones (actualizaciones) individuales de los datos, y no a su análisis de forma agregada.análisis de forma agregada.

Bases de datos transaccionales (basadas en el modelo de datos ER) Bases de datos transaccionales (basadas en el modelo de datos ER) no pueden ser optimizadas para OLAP, DSS o Minería de Datos.no pueden ser optimizadas para OLAP, DSS o Minería de Datos.

Page 9: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Terminología y definicionesTerminología y definiciones

BI (Business Intelligence)BI (Business Intelligence)Considerado como una Tecnología de InformaciónConsiderado como una Tecnología de InformaciónDescribe un conjunto de conceptos y métodos diseñados para Describe un conjunto de conceptos y métodos diseñados para mejorar la toma de decisiones en los negocios a través del uso mejorar la toma de decisiones en los negocios a través del uso de sistemas basados en hechos. Los sistemas basados en de sistemas basados en hechos. Los sistemas basados en hechos abarcan:hechos abarcan:

Sistemas de información ejecutiva - EIS (Executive Information Sistemas de información ejecutiva - EIS (Executive Information Systems)Systems)Sistemas de soporte a la toma de decisiones - DSS (Decision-Support Sistemas de soporte a la toma de decisiones - DSS (Decision-Support Systems)Systems)Procesamiento analítico on-line - OLAP (On-Line Analytical Procesamiento analítico on-line - OLAP (On-Line Analytical Processing)Processing)Minería de datos - DM (Data Mining)Minería de datos - DM (Data Mining)Herramientas de visualización de datos – Data VisualizationHerramientas de visualización de datos – Data VisualizationSistemas de información Geográfica - Geoghaphic Information Sistemas de información Geográfica - Geoghaphic Information SystemsSystems

[Howard Dresner][Howard Dresner]

Es el conjunto de tecnologías que permiten a las empresas Es el conjunto de tecnologías que permiten a las empresas utilizar la información disponible en cualquier parte de la utilizar la información disponible en cualquier parte de la organización para hacer mejores análisis, descubrir nuevas organización para hacer mejores análisis, descubrir nuevas oportunidades y tomar mejores decisiones estratégicas.oportunidades y tomar mejores decisiones estratégicas.

Page 10: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Terminología y definicionesTerminología y definiciones

MetadataMetadata en un Data Warehouse en un Data WarehouseMetadata es la información sobre los datos que se Metadata es la información sobre los datos que se introducen, transforman y existen en el DW. introducen, transforman y existen en el DW. (Datos (Datos acerca de los datos)acerca de los datos)

Metadata normalmente incluye los siguientes Metadata normalmente incluye los siguientes elementos:elementos:

Las estructuras de datos.Las estructuras de datos.Las definiciones del sistema de registro desde el cual se Las definiciones del sistema de registro desde el cual se construye el DW.construye el DW.Las especificaciones de transformaciones de datos que Las especificaciones de transformaciones de datos que deben realizarse para la carga de nuevos datos en el DW deben realizarse para la carga de nuevos datos en el DW desde las fuentes de datos.desde las fuentes de datos.El modelo de datos del DW.El modelo de datos del DW.Información de cuando los nuevos elementos de datos se Información de cuando los nuevos elementos de datos se agregan al DW y cuando los elementos de datos antiguos agregan al DW y cuando los elementos de datos antiguos se eliminan o se resumen. se eliminan o se resumen. Los niveles de sumarización, el método de sumarización y Los niveles de sumarización, el método de sumarización y las tablas de registros de el DW.las tablas de registros de el DW.

Page 11: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Sistemas operacionales (OLTP) Sistemas operacionales (OLTP) vsvsSistemas analíticos (OLAP, DSS, Sistemas analíticos (OLAP, DSS, DM)DM)

Sistema Operacional (BD tradicional)Sistema Operacional (BD tradicional) Sistema Analítico (DW o almacén de Sistema Analítico (DW o almacén de datos)datos)

Almacena datos actualesAlmacena datos actuales Almacena datos históricosAlmacena datos históricos(datos tienen clave de tiempo)(datos tienen clave de tiempo)

Almacena datos de detalleAlmacena datos de detalle Almacena datos de detalle y datos Almacena datos de detalle y datos agregados a distintos nivelesagregados a distintos niveles

Los datos son dinámicos (actualizables)Los datos son dinámicos (actualizables) Los datos son principalmente estáticosLos datos son principalmente estáticos

Las actualizaciones no suelen estar Las actualizaciones no suelen estar programadasprogramadas

Las actualizaciones son escasas y Las actualizaciones son escasas y programadas, incremental a intervalos programadas, incremental a intervalos regularesregulares

Los procesos (transacciones) son Los procesos (transacciones) son repetitivosrepetitivos

Los procesos no son previsiblesLos procesos no son previsibles

Dedicado al procesamiento de Dedicado al procesamiento de transaccionestransacciones

Dedicado al análisis de datosDedicado al análisis de datos

Orientado a los procesos operativosOrientado a los procesos operativos Orientado a la obtención de informaciónOrientado a la obtención de información

Soporta decisiones diarias (corto plazo)Soporta decisiones diarias (corto plazo) Soporta decisiones estratégicasSoporta decisiones estratégicas(medio y largo plazo)(medio y largo plazo)

Sirve a muchos usuariosSirve a muchos usuarios Sirve a técnicos de dirección pocos Sirve a técnicos de dirección pocos usuariosusuarios**

Requerimientos de respuesta inmediataRequerimientos de respuesta inmediata Requerimientos de respuesta no críticosRequerimientos de respuesta no críticos

Modelo de datos relacional Modelo de datos relacional (normalmente) (normalmente)

Modelo de datos multidimensionalModelo de datos multidimensional

Page 12: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Base de Datos operativa Base de Datos operativa vsvsData WarehouseData Warehouse

Una base de datos operativa:Una base de datos operativa:Almacena la información de un sector del negocio.Almacena la información de un sector del negocio.Se actualiza a medida que llegan datos que deban ser almacenados.Se actualiza a medida que llegan datos que deban ser almacenados.Se opera mediante los cuatro mecanismos clásicos “añadir-eliminar-Se opera mediante los cuatro mecanismos clásicos “añadir-eliminar-modificar-consulta”.modificar-consulta”.Normalmente se orienta hacia la elaboración de informes periódicos.Normalmente se orienta hacia la elaboración de informes periódicos.Suele manejar “pequeños” volúmenes de datos.Suele manejar “pequeños” volúmenes de datos.Entorno optimizado para muchas transacciones (con gran cantidad de Entorno optimizado para muchas transacciones (con gran cantidad de actualizaciones).actualizaciones).Sirve de infraestructura al día a día de las funciones de explotación de Sirve de infraestructura al día a día de las funciones de explotación de una empresa.una empresa.

Un Data Warehouse:Un Data Warehouse:Almacena información integrada de los distintos sectores del negocio.Almacena información integrada de los distintos sectores del negocio.Su actualización se realiza a intervalos regulares (típicamente una al Su actualización se realiza a intervalos regulares (típicamente una al día) dentro de un proceso controlado, y tras realizar un preprocesado día) dentro de un proceso controlado, y tras realizar un preprocesado de los datos que se van a almacenar.de los datos que se van a almacenar.Su orientación es hacia la consulta del estado del negocio y obtención Su orientación es hacia la consulta del estado del negocio y obtención de información para ayuda en la toma de decisiones estratégicas.de información para ayuda en la toma de decisiones estratégicas.Se ofrece información bajo demanda (análisis mediante el uso de Se ofrece información bajo demanda (análisis mediante el uso de herramientas de generación de informes que consultan el data herramientas de generación de informes que consultan el data warehouse).warehouse).Refleja el modelo de negocio, frente al modelo de proceso.Refleja el modelo de negocio, frente al modelo de proceso.

Page 13: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Características de un Data Características de un Data WarehouseWarehouse

Un DW es normalmente un almacén de datos Un DW es normalmente un almacén de datos integrados proveniente de fuentes diversas (datos integrados proveniente de fuentes diversas (datos de “una” empresa o negocio):de “una” empresa o negocio):

Datos externos de ficheros generados por aplicaciones Datos externos de ficheros generados por aplicaciones ad hoc.ad hoc.

Administración, Contabilidad, Facturación…Administración, Contabilidad, Facturación…

Datos provenientes de diferentes sistemas de BDs Datos provenientes de diferentes sistemas de BDs transaccionales (datos operacionales), que normalmente transaccionales (datos operacionales), que normalmente son heterogéneas.son heterogéneas.Datos generados por las herramientas de análisis y de Datos generados por las herramientas de análisis y de obtención de información y conocimiento a partir de los obtención de información y conocimiento a partir de los datos originales del DW.datos originales del DW.

Los datos almacenados en el DW mantienen Los datos almacenados en el DW mantienen series de tiempo y de tendencia.series de tiempo y de tendencia.

Mayor cantidad de datos históricos que los contenidos Mayor cantidad de datos históricos que los contenidos normalmente por las BDs transaccionales.normalmente por las BDs transaccionales.

Page 14: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Características de un Data Características de un Data WarehouseWarehouse

Abarcan gran cantidad de datos (suelen ser del Abarcan gran cantidad de datos (suelen ser del orden de Terabytes).orden de Terabytes).

Tienen un orden de magnitud (a veces dos) superior al Tienen un orden de magnitud (a veces dos) superior al de las bases de datos fuente.de las bases de datos fuente.El volumen de datos es tratado por medio de:El volumen de datos es tratado por medio de:

Almacenes de datos en grandes empresasAlmacenes de datos en grandes empresasSon proyectos de gran tamaño que requieren una enorme Son proyectos de gran tamaño que requieren una enorme inversión de tiempo y recursos.inversión de tiempo y recursos.**Almacenes de datos virtualesAlmacenes de datos virtualesProporcionan vistas de bases de datos operacionales que se Proporcionan vistas de bases de datos operacionales que se materializan para un acceso eficiente.materializan para un acceso eficiente.Data martsData marts (mercadillos de datos) (mercadillos de datos)Tienen generalmente como objetivo un subconjunto de la Tienen generalmente como objetivo un subconjunto de la organización de la empresa (por ejemplo un organización de la empresa (por ejemplo un departamento).departamento).

La tarea más difícil y que más tiempo consume La tarea más difícil y que más tiempo consume en la construcción de un DW es extraer, en la construcción de un DW es extraer, transformar y cargar los datos en él.transformar y cargar los datos en él.

Page 15: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Proceso de Extracción, Proceso de Extracción, Transformación y Carga (ETL) de Transformación y Carga (ETL) de datos en el DWdatos en el DW

DWDW

ExtracciónExtraccióny Limpiadoy Limpiado

TransformaciTransformaciónón

Fuentes de Datos

Bases de datos

Ficheros

DatosPreprocesados

DataWarehouse

OLAPOLAP

DSSDSS

DMDM

CargaCarga

Page 16: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Modelado de datos:Modelado de datos:El modelo de datos RelacionalEl modelo de datos Relacional

Ejemplo de Modelo Relacional Ejemplo de Modelo Relacional Entidad-Relación (ER) de una empresa Entidad-Relación (ER) de una empresa

Page 17: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Modelo de datos para DW:Modelo de datos para DW:El modelo de datos Relacional El modelo de datos Relacional (KO)(KO)

Situación que se presenta para trabajar en análisis de Situación que se presenta para trabajar en análisis de datos en el modelo ER:datos en el modelo ER:

Legibilidad limitada.Legibilidad limitada.Los usuarios finales no son capaces de entender el modelo Los usuarios finales no son capaces de entender el modelo ER (normalmente no son informáticos). Evidentemente, por ER (normalmente no son informáticos). Evidentemente, por tanto, no pueden "navegar" por dicho modelo en busca de tanto, no pueden "navegar" por dicho modelo en busca de información.información.Dificultad para las herramientas de consulta en el acceso a Dificultad para las herramientas de consulta en el acceso a un modelo ER general.un modelo ER general.A menudo presentan prestaciones mediocres o inaceptables A menudo presentan prestaciones mediocres o inaceptables cuando se trabaja en entornos de grandes volúmenes de cuando se trabaja en entornos de grandes volúmenes de información (problemas de optimización de consultas)información (problemas de optimización de consultas)La utilización de la técnica de modelado ER frustra la La utilización de la técnica de modelado ER frustra la recuperación de información intuitiva y con alto rendimiento recuperación de información intuitiva y con alto rendimiento (característica deseable de un Data Warehouse).(característica deseable de un Data Warehouse).

Modelo de datos no apropiado para Almacenes de datos Modelo de datos no apropiado para Almacenes de datos (DW)(DW)

Page 18: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Modelado de datos:Modelado de datos:El modelo de datos El modelo de datos multidimensionalmultidimensional

Características del Modelo Dimensional (o Características del Modelo Dimensional (o Multidimensional)Multidimensional)

Un modelo dimensional está compuesto de:Un modelo dimensional está compuesto de:Una tablaUna tabla con una clave primaria compuesta, con una clave primaria compuesta, denominada denominada tabla de hechos y un conjunto de tablas más pequeñas tabla de hechos y un conjunto de tablas más pequeñas denominadas tablas de dimensionesdenominadas tablas de dimensiones..Cada una de las tablas de dimensión tiene una clave Cada una de las tablas de dimensión tiene una clave primaria que corresponde exactamente con uno de los primaria que corresponde exactamente con uno de los componentes de la clave compuesta de la tabla de hechos.componentes de la clave compuesta de la tabla de hechos.La tabla de hechos, debido a su clave primaria compuesta La tabla de hechos, debido a su clave primaria compuesta de dos o más claves ajenas, siempre expresa una relación de dos o más claves ajenas, siempre expresa una relación 'n' a 'n'. Las tablas de hechos, además de sus campos clave, 'n' a 'n'. Las tablas de hechos, además de sus campos clave, contienen una o más medidas numéricas o "hechos", que se contienen una o más medidas numéricas o "hechos", que se "dan" para la combinación de las claves que definen cada "dan" para la combinación de las claves que definen cada registro.registro.

Page 19: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Modelado de datos:Modelado de datos:El modelo de datos El modelo de datos multidimensionalmultidimensional

Características del Modelo Dimensional (o Características del Modelo Dimensional (o Multidimensional)Multidimensional)

Tiene estructura que asemeja una estrella (o un copo de Tiene estructura que asemeja una estrella (o un copo de nieve):nieve):

Una gran tabla central o tabla de hechos está conectada con un Una gran tabla central o tabla de hechos está conectada con un conjunto de tablas (una por dimensión) dispuestas de manera conjunto de tablas (una por dimensión) dispuestas de manera radial alrededor de esta tabla central. Recibe a menudo el radial alrededor de esta tabla central. Recibe a menudo el nombre de "star join" o modelado en estrella.nombre de "star join" o modelado en estrella.

El modelado en estrella es altamente desnormalizado. Con ello se El modelado en estrella es altamente desnormalizado. Con ello se logra minimizar el número de uniones y, por consiguiente, logra minimizar el número de uniones y, por consiguiente, incrementar el rendimiento de las consultasincrementar el rendimiento de las consultas

Una variante del modelo en estrella es el modelo en copo de Una variante del modelo en estrella es el modelo en copo de nieve o snowflake. En este modelado se normalizan las nieve o snowflake. En este modelado se normalizan las dimensiones (más de una tabla por dimensión) creando así dimensiones (más de una tabla por dimensión) creando así jerarquías en las mismas y conservando lo esencial del modelo jerarquías en las mismas y conservando lo esencial del modelo en estrella: las tablas de hechosen estrella: las tablas de hechos

– Permite el empleo de diferentes bases de datos:Permite el empleo de diferentes bases de datos:Denominado ROLAP, cuando se aplica el modelo dimensional a Denominado ROLAP, cuando se aplica el modelo dimensional a una base de datos relacional.una base de datos relacional.Denominado MOLAP, cuando se aplica el modelo dimensional Denominado MOLAP, cuando se aplica el modelo dimensional sobre base de datos dimensional.sobre base de datos dimensional.

Page 20: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Modelado de datos:Modelado de datos:El modelo de datos El modelo de datos multidimensionalmultidimensional

Ejemplo de Modelo Dimensional (o Multidimensional)Ejemplo de Modelo Dimensional (o Multidimensional)

Page 21: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Modelado de datos:Modelado de datos:El modelo de datos El modelo de datos multidimensionalmultidimensional

Visualización del Modelo Dimensional mediante representación en cuboVisualización del Modelo Dimensional mediante representación en cubo

Page 22: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Modelado de datos:Modelado de datos:El modelo de datos El modelo de datos multidimensionalmultidimensional

Las herramientas OLAP permiten navegar a través de Las herramientas OLAP permiten navegar a través de los datos almacenados en un modelo de datos los datos almacenados en un modelo de datos dimensional para analizarlos dinámicamente desde una dimensional para analizarlos dinámicamente desde una perspectiva multidimensional, es decir, considerando perspectiva multidimensional, es decir, considerando unas variables en relación con otras y no de forma unas variables en relación con otras y no de forma independiente entre sí, permitiendo enfocar el análisis independiente entre sí, permitiendo enfocar el análisis desde distintos puntos de vista (por ejemplo se podría desde distintos puntos de vista (por ejemplo se podría rotar el cubo de datos anterior para mostrar las ventas rotar el cubo de datos anterior para mostrar las ventas por producto a modo de filas). Esta visión por producto a modo de filas). Esta visión multidimensional de los datos puede visualizarse como multidimensional de los datos puede visualizarse como un “cubo de Rubik”, que puede girarse para examinarlo un “cubo de Rubik”, que puede girarse para examinarlo desde distintos puntos de vista, y del que se pueden desde distintos puntos de vista, y del que se pueden seleccionar distintas “rodajas” o “cubos” dependiendo seleccionar distintas “rodajas” o “cubos” dependiendo de los aspectos de interés para el análisis.de los aspectos de interés para el análisis.

Page 23: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Modelo de datos para DW:Modelo de datos para DW:El modelo de datos El modelo de datos multidimensionalmultidimensional

Situación que se presenta para trabajar en Situación que se presenta para trabajar en análisis de los datos en el modelo Dimensionalanálisis de los datos en el modelo Dimensional

El modelo de datos es intuitivo.El modelo de datos es intuitivo.Es el mismo que manejan habitualmente los usuarios Es el mismo que manejan habitualmente los usuarios finales: Ejecutivos, Directivos y Analistas.finales: Ejecutivos, Directivos y Analistas.

Permite a las herramientas OLAP analizar los datos Permite a las herramientas OLAP analizar los datos desde una perspectiva multidimensional (una tabla de desde una perspectiva multidimensional (una tabla de hechos puede verse desde la perspectiva de varias hechos puede verse desde la perspectiva de varias tablas de dimensiones – técnica denominada tablas de dimensiones – técnica denominada pivotaciónpivotación o o rotaciónrotación).).Permite crear fácilmente representaciones jerárquicas:Permite crear fácilmente representaciones jerárquicas:

Exploración ascendente (roll-up)Exploración ascendente (roll-up)Desplaza la jerarquía hacia arriba agrupando en unidades Desplaza la jerarquía hacia arriba agrupando en unidades mayores (de grano más grueso) a través de una dimensión mayores (de grano más grueso) a través de una dimensión (por ejemplo, resumiendo los datos semanales en trimestrales (por ejemplo, resumiendo los datos semanales en trimestrales o anuales)o anuales)

Exploración descendente (drill-down)Exploración descendente (drill-down)Se da una visión más concreta (de grano más fino), por Se da una visión más concreta (de grano más fino), por ejemplo, disgregar las ventas por provincias en ciudades, y ejemplo, disgregar las ventas por provincias en ciudades, y clasificar los productos por tipos o categorías.clasificar los productos por tipos o categorías.

Page 24: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Modelo de datos para DW:Modelo de datos para DW:El modelo de datos El modelo de datos multidimensionalmultidimensional

Situación que se presenta para trabajar Situación que se presenta para trabajar en análisis de los datos en el modelo en análisis de los datos en el modelo DimensionalDimensional

Las ampliaciones del modelo son sencillas y Las ampliaciones del modelo son sencillas y transparentes para las aplicaciones y transparentes para las aplicaciones y consultas que ya trabajan con el modelo:consultas que ya trabajan con el modelo:

Añadir nuevos atributos a la tabla de hechosAñadir nuevos atributos a la tabla de hechosAñadir nuevas tablas de dimensionesAñadir nuevas tablas de dimensiones

Existe un número creciente de utilidades Existe un número creciente de utilidades administrativas y aplicaciones que gestionan y administrativas y aplicaciones que gestionan y utilizan los agregados (dependientes del utilizan los agregados (dependientes del modelo dimensional).modelo dimensional).

Los agregados son resúmenes de registros Los agregados son resúmenes de registros (redundantes con la información ya existente en el (redundantes con la información ya existente en el DW) y son empleados para mejorar el rendimiento DW) y son empleados para mejorar el rendimiento de las consultas.de las consultas.

Page 25: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Pasos para el desarrollo de un Pasos para el desarrollo de un DWDW

Identificar los requerimientos de usuario y delimitar el Identificar los requerimientos de usuario y delimitar el ámbito del proyecto.ámbito del proyecto.

Desarrollar el modelo de datos lógico del DW (modelo de Desarrollar el modelo de datos lógico del DW (modelo de datos dimensional).datos dimensional).

Implementar la arquitectura (seleccionar tecnologías, Implementar la arquitectura (seleccionar tecnologías, hardware y software) que constituirá la infraestructura del hardware y software) que constituirá la infraestructura del DW.DW.

Implementar físicamente el modelo lógico de datos Implementar físicamente el modelo lógico de datos crear la base de datos.crear la base de datos.

Identificar las fuentes de datos -sistemas operacionales y/o Identificar las fuentes de datos -sistemas operacionales y/o externos- del DW.externos- del DW.

Describir los procesos de conversión necesarios para la Describir los procesos de conversión necesarios para la incorporación de los datos origen al DW.incorporación de los datos origen al DW.

Page 26: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Pasos para el desarrollo de un Pasos para el desarrollo de un DWDW

Documentar el metadata del DW.Documentar el metadata del DW.

Seleccionar y/o desarrollar los programas de extracción, Seleccionar y/o desarrollar los programas de extracción, limpieza, conversión e integración de los datos fuente.limpieza, conversión e integración de los datos fuente.

Cargar la base de datos del DW con los programas Cargar la base de datos del DW con los programas anteriores.anteriores.

Verificar con el usuario final la calidad de los datos, Verificar con el usuario final la calidad de los datos, disponibilidad y rendimiento.disponibilidad y rendimiento.

El siguiente paso “debería” ser reconstruir de forma El siguiente paso “debería” ser reconstruir de forma incrementalincremental (iteraciones), las entradas al sistema de (iteraciones), las entradas al sistema de procesamiento para establecer un entorno bien definido procesamiento para establecer un entorno bien definido que permita las cargas automáticas de datos, y a lo largo que permita las cargas automáticas de datos, y a lo largo del tiempo, eliminar completamente todas las aplicaciones del tiempo, eliminar completamente todas las aplicaciones viejas, desintegradas y con problemas de mantenimiento.viejas, desintegradas y con problemas de mantenimiento.

Page 27: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Software en un Data Software en un Data WarehouseWarehouseBases de datos usadas para data warehouseBases de datos usadas para data warehouse

PRODUCTO (EMPRESA PRODUCTO (EMPRESA DISTRIBUIDORA)DISTRIBUIDORA)

Adabas D (Software AG)Adabas D (Software AG)

Advanced Pick (Pick Systems)Advanced Pick (Pick Systems)

DB2 (IBM)DB2 (IBM)

Fast-Count DBMS (MegaPlex Software)Fast-Count DBMS (MegaPlex Software)

HOPS (HOPS International)HOPS (HOPS International)

Microsoft SQL Server (Microsoft)Microsoft SQL Server (Microsoft)

Model 204 (Computer Corporation of Model 204 (Computer Corporation of America)America)

NonStop SQL (Tandem)NonStop SQL (Tandem)

Nucleus Server (Sand Technology Systems)Nucleus Server (Sand Technology Systems)

OnLine Dynamic Server (Informix)OnLine Dynamic Server (Informix)

Extended Parallel Server (Informix)Extended Parallel Server (Informix)

OpenIngres (Computer Associates)OpenIngres (Computer Associates)

Oracle Server (Oracle)Oracle Server (Oracle)

Rdb (Oracle)Rdb (Oracle)

Red Brick Warehouse (Red Brick Systems)Red Brick Warehouse (Red Brick Systems)

SAS System (SAS)SAS System (SAS)

Sybase IQ (Sybase)Sybase IQ (Sybase)

Sybase SQL Server, SQL Server MPP Sybase SQL Server, SQL Server MPP (Sybase)(Sybase)

SymfoWARE (Fujitsu)SymfoWARE (Fujitsu)

Teradata DBS (NCR)Teradata DBS (NCR)

THOR (Hitachi)THOR (Hitachi)

Time Machine (Data Management Time Machine (Data Management Technologies, Inc.)Technologies, Inc.)

Titanium (Micro Data Base Systems, Inc.)Titanium (Micro Data Base Systems, Inc.)

Unidata,Unidata (Inc.)Unidata,Unidata (Inc.)

UniVerse (VMARK)UniVerse (VMARK)

Vision (Innovative Systems Techniques, Vision (Innovative Systems Techniques, Inc.)Inc.)

WX9000 (White Cross Systems, Inc.)WX9000 (White Cross Systems, Inc.)

XDB Server (XDB Systems, Inc.)XDB Server (XDB Systems, Inc.)

Datos de Software obtenidos del manual para la construcción de un Data Datos de Software obtenidos del manual para la construcción de un Data Warehouse referenciado en la bibliografía.Warehouse referenciado en la bibliografía.

Page 28: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Software en un Data Software en un Data WarehouseWarehouseHerramientas de consulta y reporteHerramientas de consulta y reporte

PRODUCTO (EMPRESA DISTRIBUIDORA)PRODUCTO (EMPRESA DISTRIBUIDORA)

Access (Microsoft)Access (Microsoft)

Access+ (Sonetics)Access+ (Sonetics)

Actuate Reporting System (Actuate Software Actuate Reporting System (Actuate Software Corporation)Corporation)

AMIS Information Server (Hoskyns Group plc)AMIS Information Server (Hoskyns Group plc)

Application System (IBM)Application System (IBM)

Approach (Lotus Corporation)Approach (Lotus Corporation)

ARPEGGIO (Wall Data Inc.)ARPEGGIO (Wall Data Inc.)

APTuser (International Software Group)APTuser (International Software Group)

AS/Access for Microsoft Access (Martin Spencer & AS/Access for Microsoft Access (Martin Spencer & Associates)Associates)

ASK Joe (Information Management Services)ASK Joe (Information Management Services)

aXcess/400 (Glenbrook Software)aXcess/400 (Glenbrook Software)

BrioQuery (Brio Technology)BrioQuery (Brio Technology)

Business Objects (Business Objects, Inc.)Business Objects (Business Objects, Inc.)

Crystal Reports, Crystal Info (Seagate Software)Crystal Reports, Crystal Info (Seagate Software)

d.b. Express (Computer Concepts Corp.)d.b. Express (Computer Concepts Corp.)

Databoard, Dataread (SLP Infoware)Databoard, Dataread (SLP Infoware)

DataDirect Explorer (Intersolv)DataDirect Explorer (Intersolv)

DataSite (NetScheme Solutions, Inc.)DataSite (NetScheme Solutions, Inc.)

DB Publisher (Xense Technology Inc.)DB Publisher (Xense Technology Inc.)

DbPower (Db-Tech Inc.)DbPower (Db-Tech Inc.)

Decision Analyzer (Decisión Technology)Decision Analyzer (Decisión Technology)

DECquery, DECdecision (Touch Technologies, DECquery, DECdecision (Touch Technologies, Inc.)Inc.)

Discoverer, Discoverer/2000 (Oracle Corporation)Discoverer, Discoverer/2000 (Oracle Corporation)

DS Server, DS Modeler (Interweave)DS Server, DS Modeler (Interweave)

EasyReporter (Speedware Corporation)EasyReporter (Speedware Corporation)

Eclipse Query/Report (Cornut Informatique)Eclipse Query/Report (Cornut Informatique)

ELF (ELF Software)ELF (ELF Software)

English Wizard (English Wizard)English Wizard (English Wizard)

EnQuiry (Progress Software)EnQuiry (Progress Software)

Esperant (Speedware)Esperant (Speedware)

FOCUS Six (Information Builders, Inc.)FOCUS Six (Information Builders, Inc.)

4S-Report (Four Seasons Software, Inc)4S-Report (Four Seasons Software, Inc)

Freequery (Dimension Software Systems)Freequery (Dimension Software Systems)

Front & Center for Reporting, Nomad (Thomson Front & Center for Reporting, Nomad (Thomson Software Products)Software Products)

GQL (Andyne)GQL (Andyne)

HarborLight (Harbor Software)HarborLight (Harbor Software)

HP Information Access (Hewlett-Packard)HP Information Access (Hewlett-Packard)

Impress, SqlBuddy (Objective Technologies, Inc.)Impress, SqlBuddy (Objective Technologies, Inc.)

Impromptu (Cognos Corporation)Impromptu (Cognos Corporation)

InfoAssistant (Asymetrix)InfoAssistant (Asymetrix)

InfoMaker (Powersoft Corporation)InfoMaker (Powersoft Corporation)

InfoQuery (Platinum Technology, Inc.)InfoQuery (Platinum Technology, Inc.)

InfoReports (Platinum Technology, Inc.)InfoReports (Platinum Technology, Inc.)

InformEnt Warehouse Desktop (Fiserv)InformEnt Warehouse Desktop (Fiserv)

Internet DataSpot (DTL Data Technologies Ltd.)Internet DataSpot (DTL Data Technologies Ltd.)

inSight (Williams & Partner)inSight (Williams & Partner)

Interactive Query (New Generation software)Interactive Query (New Generation software)

IQ/Objects, IQ/SmartServer (IQ Software IQ/Objects, IQ/SmartServer (IQ Software Corporation)Corporation)

Iridon Panorama (The Great Elk Company Iridon Panorama (The Great Elk Company Limited)Limited)

Kinetix (Hilco Technologies)Kinetix (Hilco Technologies)

LANSA/Client (LANSA USA)LANSA/Client (LANSA USA)

MARKIS/400 (AS Software)MARKIS/400 (AS Software)

Nirvana (Synergy Technologies)Nirvana (Synergy Technologies)

OR-REPORTER II (Output Reporting, Inc.)OR-REPORTER II (Output Reporting, Inc.)

Oracle Reports, Browser (Oracle Corporation)Oracle Reports, Browser (Oracle Corporation)

Paradox (Borland)Paradox (Borland)

Platinum Report Facility (Platinum Technology, Platinum Report Facility (Platinum Technology, Inc)Inc)

ProBit (System Builder)ProBit (System Builder)

Productivity Series Reports (michaels, ross & Productivity Series Reports (michaels, ross & cole)cole)

QBE Vision (Sysdeco)QBE Vision (Sysdeco)

QMF (IBM)QMF (IBM)

QueryObject (Cross/Z International, Inc.)QueryObject (Cross/Z International, Inc.)

Quest (Centura Software Corporation)Quest (Centura Software Corporation)

R&R Report Writer (Concentric Data Systems)R&R Report Writer (Concentric Data Systems)

Report Writer (Raima)Report Writer (Raima)

Reportoire (Synergistic Systems, Inc.)Reportoire (Synergistic Systems, Inc.)

Reports (Nine to Five software Co.)Reports (Nine to Five software Co.)

ReporTool (Zen Software)ReporTool (Zen Software)

ReportSmith (Borland)ReportSmith (Borland)

Rocket Shuttle (Rocket Software, Inc.)Rocket Shuttle (Rocket Software, Inc.)

Safari ReportWriter (Interactive Software Safari ReportWriter (Interactive Software Systems)Systems)

Sagent Data Mart Solution (Sagent Technology, Sagent Data Mart Solution (Sagent Technology, Inc.)Inc.)

SAS System (SAS Institute)SAS System (SAS Institute)

Second Wind (Anju Technologies)Second Wind (Anju Technologies)

Select! (Attachmate)Select! (Attachmate)

SEQUEL (Advanced Systems Concepts)SEQUEL (Advanced Systems Concepts)

Snow Report Writer (Snow International Snow Report Writer (Snow International Corporation)Corporation)

Spectrum Writer (Pacific Systems Group)Spectrum Writer (Pacific Systems Group)

SQLPRO Agent (Beacon Ware, Inc.)SQLPRO Agent (Beacon Ware, Inc.)

SQR Workbench (MITI)SQR Workbench (MITI)

Strategy (ShowCase Corporation)Strategy (ShowCase Corporation)

The Reporter (Sea Change Systems, Inc)The Reporter (Sea Change Systems, Inc)

Unique XTRA (Unique AS)Unique XTRA (Unique AS)

URSA InfoSuite (Decision Support Inc.)URSA InfoSuite (Decision Support Inc.)

ViewPoint (Informix)ViewPoint (Informix)

Viper (Brann Software)Viper (Brann Software)

VisPro/Reports (Hock Ware)VisPro/Reports (Hock Ware)

Visual Cyberquery (Cyberscience Corporation)Visual Cyberquery (Cyberscience Corporation)

Visual Dbase (Borland)Visual Dbase (Borland)

Visual Express (Computer Associates Visual Express (Computer Associates International)International)

Visual FoxPro (Microsoft Corporation)Visual FoxPro (Microsoft Corporation)

Visual Net (CNet Svenska AB)Visual Net (CNet Svenska AB)

Visualizer Query, Charts (IBM)Visualizer Query, Charts (IBM)

Voyant (Brossco Systems)Voyant (Brossco Systems)

WebBiz (Cybercom Partners)WebBiz (Cybercom Partners)

WebSeQueL (InfoSpace Inc.)WebSeQueL (InfoSpace Inc.)

WinQL (Data Access Corporation)WinQL (Data Access Corporation)

Xentis (GrayMatter Software Corporation)Xentis (GrayMatter Software Corporation)

Page 29: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Software en un Data Software en un Data WarehouseWarehouseHerramientas de base de datos multidimensional/olapHerramientas de base de datos multidimensional/olap

PRODUCTO, EMPRESA DISTRIBUIDORA, TIPOPRODUCTO, EMPRESA DISTRIBUIDORA, TIPO

Acuity ES, Acuity Management Systems Ltd., MDDBAcuity ES, Acuity Management Systems Ltd., MDDB

Acumate ES, Kenan Systems Corporation, MDDBAcumate ES, Kenan Systems Corporation, MDDB

Advance For Windows, Lighten, Inc., MDDBAdvance For Windows, Lighten, Inc., MDDB

AMIS OLAP Server, Hoskyns Group plc, MDDBAMIS OLAP Server, Hoskyns Group plc, MDDB

BrioQuery, Brio Technology, MDDBBrioQuery, Brio Technology, MDDB

Business Objects, Business Objects, Inc., Relacional Business Objects, Business Objects, Inc., Relacional

Commander OLAP, Decision, Prism, Comshare Inc., Commander OLAP, Decision, Prism, Comshare Inc., MDDBMDDB

Control, KCI Computing, Relacional Control, KCI Computing, Relacional

CrossTarget, Dimensional Insight, MDDBCrossTarget, Dimensional Insight, MDDB

Cube-It, FICS Group, MDDBCube-It, FICS Group, MDDB

Dataman, SLP Infoware, MDDBDataman, SLP Infoware, MDDB

DataTracker, Silvon Software, Inc., Relacional DataTracker, Silvon Software, Inc., Relacional

DecisionSuite, Information Advantage, Inc., Relacional DecisionSuite, Information Advantage, Inc., Relacional

Delta Solutions, MIS AG, MDDBDelta Solutions, MIS AG, MDDB

Demon for Windows, Data Command Limited, MDDBDemon for Windows, Data Command Limited, MDDB

DSS Agent, MicroStrategy, Relacional DSS Agent, MicroStrategy, Relacional

DynamicCube.OCX, Data Dynamics, Ltd., Relacional DynamicCube.OCX, Data Dynamics, Ltd., Relacional

EKS/Empower, Metapraxis, Inc., MDDBEKS/Empower, Metapraxis, Inc., MDDB

Essbase Analysis Server, Arbor Software Corporation, Essbase Analysis Server, Arbor Software Corporation, MDDBMDDB

Essbase/400, ShowCase Corporation, MDDBEssbase/400, ShowCase Corporation, MDDB

Express Server, Objects, Oracle, MDDBExpress Server, Objects, Oracle, MDDB

Fiscal, Lingo Computer Design, Inc., RelacionalFiscal, Lingo Computer Design, Inc., Relacional

Fusion, Information Builders, Inc., MDDBFusion, Information Builders, Inc., MDDB

FYI Planner, Think Systems, MDDBFYI Planner, Think Systems, MDDB

Gentia, Planning Sciences, MDDBGentia, Planning Sciences, MDDB

Helm, Codeworks, MDDBHelm, Codeworks, MDDB

Holos, Holistic Systems, MDDBHolos, Holistic Systems, MDDB

Hyperion OLAP, Hyperion Software, MDDBHyperion OLAP, Hyperion Software, MDDB

InfoBeacon, Platinum technology, Inc., Relacional InfoBeacon, Platinum technology, Inc., Relacional

Informer, Reportech, MDDB/Relacional Informer, Reportech, MDDB/Relacional

Intelligent Decision Server, IBM, Relacional Intelligent Decision Server, IBM, Relacional

IQ/Vision, IQ Software Corporation, Relacional IQ/Vision, IQ Software Corporation, Relacional

Khalix, Longview Solutions, Inc., Relacional Khalix, Longview Solutions, Inc., Relacional

Lightship, Pilot Software, Inc., MDDBLightship, Pilot Software, Inc., MDDB

Matryx, Stone, Timber, River, MDDBMatryx, Stone, Timber, River, MDDB

MDDB Server, SAS, Relacional MDDB Server, SAS, Relacional

Media, Speedware Corporation, MDDBMedia, Speedware Corporation, MDDB

Metacube, Informix, Relacional Metacube, Informix, Relacional

MIKSolution, MIK, MDDBMIKSolution, MIK, MDDB

MIT/400, SAMAC, Inc, MDDBMIT/400, SAMAC, Inc, MDDB

MSM, Micronetics Design Corporation, MDDBMSM, Micronetics Design Corporation, MDDB

Muse, OCCAM Research Corp., MDDBMuse, OCCAM Research Corp., MDDB

OLAP Office, Graphitti Software GmbH, MDDBOLAP Office, Graphitti Software GmbH, MDDB

OpenOLAP, Inphase Software Limited, Relacional OpenOLAP, Inphase Software Limited, Relacional

Pablo, Andyne, MDDB/RelacionalPablo, Andyne, MDDB/Relacional

MDDB: Multidimensional Data Base.MDDB: Multidimensional Data Base.

Page 30: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Software en un Data Software en un Data WarehouseWarehouseSistemas de información ejecutivosSistemas de información ejecutivos

PRODUCTO, EMPRESA DISTRIBUIDORA, TIPOPRODUCTO, EMPRESA DISTRIBUIDORA, TIPO

Acuity/ES, Acuity Management Systems Limited, 1Acuity/ES, Acuity Management Systems Limited, 1

Applixware, Applix, 1Applixware, Applix, 1

BusinessMetrics, Valstar Systems Ltd., 1BusinessMetrics, Valstar Systems Ltd., 1

BOARD, Pragma Inform, 1BOARD, Pragma Inform, 1

COINS, Russell Consulting Limited, 1COINS, Russell Consulting Limited, 1

ColumbusEIS, Jitcons YO, 1ColumbusEIS, Jitcons YO, 1

Commander EIS, Comshare Inc., 1Commander EIS, Comshare Inc., 1

Corporate Management/ Financial Executive Information Corporate Management/ Financial Executive Information System, Strategic Information Associates, Inc., 1System, Strategic Information Associates, Inc., 1

CorVu, CorVu Pty Ltd., 1CorVu, CorVu Pty Ltd., 1

Decision Suite, Softkit, 1Decision Suite, Softkit, 1

Discovery EIS, Atlantic Information Systems Ltd., 1Discovery EIS, Atlantic Information Systems Ltd., 1

EIS, Inphase Software Limited, 1EIS, Inphase Software Limited, 1

Electronic Balanced Scorecard, ASI Financial Services, 1Electronic Balanced Scorecard, ASI Financial Services, 1

Enterprise Periscope, Everyware Development Corp., 1Enterprise Periscope, Everyware Development Corp., 1

Eureka, European Management Systems, 1Eureka, European Management Systems, 1

ExecuSense, TLG Corporation, 1ExecuSense, TLG Corporation, 1

FOCUS EIS, Information Builders, Inc., 1FOCUS EIS, Information Builders, Inc., 1

Forest & Trees, Platinum Technologies, Inc., 1Forest & Trees, Platinum Technologies, Inc., 1

iMonitor, BayStone Software, 1iMonitor, BayStone Software, 1

InfoManager, Ferguson Information Systems, 1InfoManager, Ferguson Information Systems, 1

Iridon Almanac, The Great Elk Company Limited, 1Iridon Almanac, The Great Elk Company Limited, 1

InSight, Arcplan Information Services, 2InSight, Arcplan Information Services, 2

LEADER, Sterling Strategic Solutions, 1LEADER, Sterling Strategic Solutions, 1

MagnaFORUM, Forum Systems, Inc., 1MagnaFORUM, Forum Systems, Inc., 1

Merit, GIST, s.r.o., 1Merit, GIST, s.r.o., 1

Open EIS Pak, Microsoft, 1Open EIS Pak, Microsoft, 1

Panorama Business Views, Panorama Business Views Inc., 1Panorama Business Views, Panorama Business Views Inc., 1

Perspectives, Syntell, 1Perspectives, Syntell, 1

Qbit, Zenia Software, Inc., 1Qbit, Zenia Software, Inc., 1

Reveal, CSD Software Inc., 1Reveal, CSD Software Inc., 1

SAS System, SAS Institute, 1SAS System, SAS Institute, 1

Show Business EIS, Show Business Software, 1Show Business EIS, Show Business Software, 1

Tiler EIS++, Avoca Systems Limited, 1Tiler EIS++, Avoca Systems Limited, 1

Track, Track Business Solutions, 1Track, Track Business Solutions, 1

Traffic Control EIS, Research & Planning, Inc., 3Traffic Control EIS, Research & Planning, Inc., 3

VentoMap, VentoSales, Vento Software Inc., 1VentoMap, VentoSales, Vento Software Inc., 1

Virtual Headquarters Management System, vHQ LLC, 1Virtual Headquarters Management System, vHQ LLC, 1

Visual EIS, Synergistic Software, 1Visual EIS, Synergistic Software, 1

Visual Publisher, KMA Associates International, Inc, 1Visual Publisher, KMA Associates International, Inc, 1

VITAL, Braintec Corporation, 1VITAL, Braintec Corporation, 1

Wingz, Investment Intelligence Systems Group, 1Wingz, Investment Intelligence Systems Group, 1

Wired for OLAP, AppSource Corporation, 1Wired for OLAP, AppSource Corporation, 1

Xecutive Pulse EIS, Megatrend Systems, Ltd., 1Xecutive Pulse EIS, Megatrend Systems, Ltd., 1

TIPOTIPO

1.- Proporciona un sistema de información ejecutivo con capacidades analíticas. 1.- Proporciona un sistema de información ejecutivo con capacidades analíticas.

2.- Proporciona un sistema de información ejecutivo con capacidades analíticas para usuarios SAP R/3. 2.- Proporciona un sistema de información ejecutivo con capacidades analíticas para usuarios SAP R/3.

3.- Proporciona un sistema de información ejecutivo con capacidades analíticas para usuarios SAP R/2 y R/3.3.- Proporciona un sistema de información ejecutivo con capacidades analíticas para usuarios SAP R/2 y R/3.

Page 31: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Data Mining (DM)Data Mining (DM)Minería de datosMinería de datosIntroducciónIntroducción

LaLa idea clave idea clave es quees que los datos contienen más los datos contienen más información oculta de la que se ve a simple vistainformación oculta de la que se ve a simple vista..

KDD KDD (Knowlegde Discovery in Databases): : descubrimiento de conocimiento en bases de descubrimiento de conocimiento en bases de datosdatos

KDD = proceso completo:KDD = proceso completo:“extracción no trivial de conocimiento implícito, “extracción no trivial de conocimiento implícito, previamente desconocido y potencialmente útil, a partir previamente desconocido y potencialmente útil, a partir de una base de datos”de una base de datos”[Frawley et al., 1991][Frawley et al., 1991]

DM = etapa de descubrimiento en el proceso de KDD:DM = etapa de descubrimiento en el proceso de KDD:“paso consistente en el uso de algoritmos concretos que “paso consistente en el uso de algoritmos concretos que generan una enumeración de patrones a partir de los generan una enumeración de patrones a partir de los datos preprocesados”datos preprocesados”[Fayyad et al., 1996][Fayyad et al., 1996]

Page 32: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Data Mining (DM)Data Mining (DM)Minería de datosMinería de datosAplicacionesAplicacionesInformática:Informática:

Soporte al Diseño de Bases de Datos.Soporte al Diseño de Bases de Datos.Reverse Engineering (nomalizar bases de datos Reverse Engineering (nomalizar bases de datos desnormalizadas).desnormalizadas).Mejora de Calidad de Datos.Mejora de Calidad de Datos.Mejora de Consultas (si se descubren dependencias funcionales)Mejora de Consultas (si se descubren dependencias funcionales)

Comercio/Marketing:Comercio/Marketing:Identificar patrones de compra de los clientes.Identificar patrones de compra de los clientes.Buscar asociaciones entre clientes y características Buscar asociaciones entre clientes y características demográficas.demográficas.Predecir respuesta a campañas de marketing.Predecir respuesta a campañas de marketing.Análisis de cestas de la compra.Análisis de cestas de la compra.

Banca:Banca:Detectar patrones de uso fraudulento de tarjetas de crédito.Detectar patrones de uso fraudulento de tarjetas de crédito.Identificar clientes leales.Identificar clientes leales.Predecir clientes con probabilidad de cambiar su afiliación.Predecir clientes con probabilidad de cambiar su afiliación.Determinar gasto en tarjeta de crédito por grupos.Determinar gasto en tarjeta de crédito por grupos.Encontrar correlaciones entre indicadores financieros.Encontrar correlaciones entre indicadores financieros.Identificar reglas de mercado de valores a partir de históricos.Identificar reglas de mercado de valores a partir de históricos.

Page 33: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

Data Mining (DM)Data Mining (DM)Minería de datosMinería de datosAplicacionesAplicaciones

Seguros y Salud Privada:Seguros y Salud Privada:Análisis de procedimientos médicos solicitados conjuntamente.Análisis de procedimientos médicos solicitados conjuntamente.Predecir qué clientes compran nuevas pólizas.Predecir qué clientes compran nuevas pólizas.Identificar patrones de comportamiento para clientes con riesgo.Identificar patrones de comportamiento para clientes con riesgo.Identificar comportamiento fraudulento.Identificar comportamiento fraudulento.

Transportes: Transportes: Determinar la planificación de la distribución entre tiendas.Determinar la planificación de la distribución entre tiendas.Analizar patrones de carga.Analizar patrones de carga.

Medicina:Medicina:Identificación de terapias médicas satisfactorias para diferentes Identificación de terapias médicas satisfactorias para diferentes enfermedades.enfermedades.Asociación de síntomas y clasificación diferencial de patologías.Asociación de síntomas y clasificación diferencial de patologías.Estudio de factores (genéticos, precedentes, hábitos, alimenticios, Estudio de factores (genéticos, precedentes, hábitos, alimenticios, etc.) de riesgo/salud en distintas patologías.etc.) de riesgo/salud en distintas patologías.Segmentación de pacientes para una atención más inteligente según Segmentación de pacientes para una atención más inteligente según su grupo.su grupo.Predicciones temporales de los centros asistenciales para el mejor uso Predicciones temporales de los centros asistenciales para el mejor uso de recursos, consultas, salas y habitaciones.de recursos, consultas, salas y habitaciones.Estudios epidemiológicos, análisis de rendimientos de campañas de Estudios epidemiológicos, análisis de rendimientos de campañas de información, prevención, sustitución de fármacos, etc.información, prevención, sustitución de fármacos, etc.

Page 34: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

ConclusionesConclusiones

El aumento espectacular del volumen de datos en las El aumento espectacular del volumen de datos en las empresas y su falta de integración crean la necesidad de empresas y su falta de integración crean la necesidad de una infraestructura para la logística de la información. Este una infraestructura para la logística de la información. Este es el principio u origen del Data Warehouse.es el principio u origen del Data Warehouse.No existe una única definición (ni traducción) de Data No existe una única definición (ni traducción) de Data Warehouse.Warehouse.El DW es un El DW es un conjunto de tecnologíasconjunto de tecnologías, , no un productono un producto..

GRAN BASE DE DATOSGRAN BASE DE DATOS..Herramientas para manipular los datos.Herramientas para manipular los datos.

Basado en el Basado en el modelo de datos dimensionalmodelo de datos dimensional..La construcción de un DW es un La construcción de un DW es un proceso ITERATIVOproceso ITERATIVO..Un DW engloba las tecnologías que sirven de soporte al Un DW engloba las tecnologías que sirven de soporte al Business Intelligence.Business Intelligence.Es parte componente de un Es parte componente de un Sistema de Información de Sistema de Información de GestiónGestión..

Page 35: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

ConclusionesConclusiones

Un administrador de Data Warehouse Un administrador de Data Warehouse tiene que:tiene que:

Ser primero un excelente Ser primero un excelente Administrador de Administrador de Bases de DatosBases de Datos..

Tener amplios conocimientos en Fundamentos Tener amplios conocimientos en Fundamentos de Bases de Datos, Gestión, Planificación e de Bases de Datos, Gestión, Planificación e Informática en general.Informática en general.

Tener una extensa experiencia de trabajo con Tener una extensa experiencia de trabajo con diferentes sistemas de bases de datos.diferentes sistemas de bases de datos.

Page 36: Data Warehouse Administración de Bases de Datos Fernando Bleye 7/5/2003.

BibliografíaBibliografía

BásicaBásicaTítulo: Fundamentos de sistemas de bases de datos (3ª edición) - Capítulo 26 Título: Fundamentos de sistemas de bases de datos (3ª edición) - Capítulo 26 Autor(es): Elmasri, Ramez & Navathe, ShamkantAutor(es): Elmasri, Ramez & Navathe, ShamkantEditorial: Addison WesleyEditorial: Addison Wesley

Data WarehouseData Warehousehttphttp://://www.ica.com.uywww.ica.com.uy//dwdw//dwdw--doc.htm#Sistemasdoc.htm#Sistemas de Data de Data WarehousingWarehousinghttphttp://://www.tid.eswww.tid.es/presencia/publicaciones//presencia/publicaciones/comsidcomsid//espesp/22/08./22/08.pdfpdf(caso concreto de telefónica)(caso concreto de telefónica)Manual para la construcción de un Data WarehouseManual para la construcción de un Data Warehousehttp://www.inei.gob.pe/cpi-mapa/bancopub/libfree/lib619/INDEX.HTMhttp://www.inei.gob.pe/cpi-mapa/bancopub/libfree/lib619/INDEX.HTMhttphttp://://kybele.escet.urjc.eskybele.escet.urjc.es//adtoadto//

Minería de datos:Minería de datos:httphttp://://www.daedalus.eswww.daedalus.es//Web.php?pag=040000Web.php?pag=040000httphttp://://www.gsi.dit.upm.eswww.gsi.dit.upm.es//~gfer~gfer//ssiissii/aprendizaje//aprendizaje/MD.pdfMD.pdfhttp://http://www.tid.eswww.tid.es/presencia/publicaciones//presencia/publicaciones/comsidcomsid//espesp/22/09./22/09.pdfpdf(caso concreto de telefónica)(caso concreto de telefónica)

Business IntelligenceBusiness Intelligencehttphttp://://www.bitam.comwww.bitam.com//DefBI.htmDefBI.htmhttphttp://://www.aliga.orgwww.aliga.org//JORNADAS_DW_V2JORNADAS_DW_V2.PPT.PPT