La metodología de Kimball para el diseño de almacenes de ... · idea de Data mart. Un Data mart...

Rivadera: La Metodología de Kimball para el Diseño de almacenes…

56

La metodología de Kimball para el diseño de almacenes de datos (Data warehouses) Gustavo R. Rivadera* [email protected] Resumen

Los almacenes de datos (data warehouses en inglés) toman cada día mayor importancia, a medida que las organizaciones pasan de esquemas de sólo recolección de datos a esquemas de análisis de los mismos. Sin embargo a pesar de la gran difusión de los conceptos relacionados con los almacenes de datos, no existe demasiada información disponible en castellano en cuanto a las metodologías para implementarlos. En este breve artículo intentaremos brindar una explicación general de una de las metodologías más usadas, la metodología de Kimball. Palabras Claves: Metodologías de implementación de almacenes de datos- Almacenes de datos - Metodología de Kimball 1. Introducción

Un almacén de datos (data warehouse, DW) según Inmon (Inmon

02, Imhoff & Galemmo 03), es una colección de datos orientada a un determinado ámbito (empresa, organización, etc.), integrado, no volátil y variable en el tiempo, que ayuda a la toma de decisiones en la entidad en la que se utiliza. Se trata, sobre todo, de un historial completo de la organización, más allá de la información transaccional y operacional, almacenado en una base de datos diseñada para favorecer el análisis y la divulgación eficiente de datos (especialmente con herramientas OLAP, de procesamiento analítico en línea). Por otra parte Kimball (Kimball 98) la define como “una copia de los datos transaccionales estructurados específicamente para consultas y análisis”. Actualmente

* Ingeniero en Computación, desarrollador independiente de software, analista del Ministerio Público de la Provincia de Salta, docente de las Cátedras de Modelos y Simulación, Análisis Estratégico de Datos y Bases de Datos III, en la Facultad de Ingeniería e Informática, UCASAL. Actualmente cursa la Maestría en Ingeniería del Software en el Instituto Tecnológico de Buenos Aires (ITBA).

Cuadernos de la Facultad n. 5, 2010

57

uno de los mayores impedimentos para construir este tipo de almacenes de datos es la falta de conocimiento de metodologías adecuadas para su implementación, y la disciplina para cumplirlas. En este breve artículo describiremos la metodología más utilizada actualmente: la metodología de Kimball†. 2. Metodologías actuales

Existen muchas metodologías de diseño y construcción de DW. Cada fabricante de software de inteligencia de negocios busca imponer una metodología con sus productos. Sin embargo, se imponen entre la mayoría dos metodologías, la de Kimball y la de Inmon. Para comprender la mayor diferencia entre estas dos metodologías, debemos explicar además de la noción de DW mencionando en la introducción, la idea de Data mart. Un Data mart (Kimball et al 98) es un repositorio de información, similar a un DW, pero orientado a un área o departamento específico de la organización (por ejemplo Compras, Ventas, RRHH, etc.), a diferencia del DW que cubre toda la organización, es decir la diferencia fundamental es su alcance.

Desde el punto de vista arquitectónico, la mayor diferencia entre los dos autores es el sentido de la construcción del DW, esto es comenzando por los Data marts o ascendente (Bottom-up, Kimball) o comenzando con todo el DW desde el principio, o descendente (Top-Down, Inmon).

Por otra parte, la metodología de Inmon se basa en conceptos bien conocidos del diseño de bases de datos relacionales (Inmon 02, Imhoff & Galemmo 03); la metodología para la construcción de un sistema de este tipo es la habitual para construir un sistema de información, utilizando las herramientas habituales, al contrario de la de Kimball, que se basa en un modelado dimensional (no normalizado) (Kimball et al 98, 08). 3. ¿Cuál metodología adoptar?

Pensamos que la metodología más acorde a los negocios de nuestra región es la de Kimball, por cuanto proporciona un enfoque de menor a mayor, muy versátil, y una serie de herramientas prácticas que † En este artículo se han consultado las siguientes referencias técnicas para la metodología de Kimball: Mundy & Thornthwaite 2006, Kimball et al 1998, Kimball & Caserta 2004, Kimball & Ross 2002, Kimball & Merz 2000, Kimball & Ross 2010.


58

ayudan a la implementación de un DW. Es acorde a nuestras empresas porque se pueden implementar pequeños datamarts en áreas especificas de las mismas (compras, ventas, etc.), con pocos recursos y de poco irlos integrándolos en un gran almacén de datos. Por tanto, detallaremos esta metodología en lo que resta de este artículo. 4. La metodología de Kimball en detalle

La metodología se basa en lo que Kimball denomina Ciclo de Vida Dimensional del Negocio (Business Dimensional Lifecycle) (Kimball et al 98, 08, Mundy & Thornthwaite 06). Este ciclo de vida del proyecto de DW, está basado en cuatro principios básicos:

Centrarse en el negocio: Hay que concentrarse en la identificación de los requerimientos del negocio y su valor asociado, y usar estos esfuerzos para desarrollar relaciones sólidas con el negocio, agudizando el análisis del mismo y la competencia consultiva de los implementadores.

Construir una infraestructura de información adecuada: Diseñar una base de información única, integrada, fácil de usar, de alto rendimiento donde se reflejará la amplia gama de requerimientos de negocio identificados en la empresa.

Realizar entregas en incrementos significativos: crear el almacén

de datos (DW) en incrementos entregables en plazos de 6 a 12 meses. Hay que usa el valor de negocio de cada elemento identificado para determinar el orden de aplicación de los incrementos. En esto la metodología se parece a las metodologías ágiles de construcción de software.

Ofrecer la solución completa: proporcionar todos los elementos

necesarios para entregar valor a los usuarios de negocios. Para comenzar, esto significa tener un almacén de datos sólido, bien diseñado, con calidad probada, y accesible. También se deberá entregar herramientas de consulta ad hoc, aplicaciones para informes y análisis avanzado, capacitación, soporte, sitio web y documentación.


59

La construcción de una solución de DW/BI (Datawarehouse/Business Intelligence) es sumamente compleja, y Kimball nos propone una metodología que nos ayuda a simplificar esa complejidad. Las tareas de esta metodología (ciclo de vida) se muestran en la figura 1.

Planificación del Proyecto

Definición de Requerimientos del

Negocio

Diseño De La arquitectura

técnica

Selección de Productos e

Implementación

Modelado Dimensional

Especificación de aplicaciones

de BI

Diseño Físico

Diseño e Implementacióndel Subsistema

de ETL

Implementación

Crecimiento

Mantenimiento

Administración del Proyecto de DW/BI

Desarrollo de aplicaciones de

BI

Fig. 1: Tareas de la metodología de Kimball, denominada Business

Dimensional Lifecycle (Kimball et al 98, 08, Mundy & Thornthwaite 06)

De la figura 1, podemos observar dos cuestiones. Primero, hay que resaltar el rol central de la tarea de definición de requerimientos. Los requerimientos del negocio son el soporte inicial de las tareas subsiguientes. También tiene influencia en el plan de proyecto (nótese la doble fecha entre la caja de definición de requerimientos y la de planificación). En segundo lugar podemos ver tres rutas o caminos que se enfocan en tres diferentes áreas:

Tecnología (Camino Superior). Implica tareas relacionadas con software específico, por ejemplo, Microsoft SQL Analysis Services.

Datos (Camino del medio). En la misma diseñaremos e implementaremos el modelo dimensional, y desarrollaremos el subsistema de Extracción, Transformación y Carga (Extract, Transformation, and Load - ETL) para cargar el DW.

Aplicaciones de Inteligencia de Negocios (Camino Inferior). En esta ruta se encuentran tareas en las que diseñamos y desarrollamos las aplicaciones de negocios para los usuarios finales.


60

Estas rutas se combinan cuando se instala finalmente el sistema. En la parte de debajo de la figura se muestra la actividad general de administración del proyecto. A continuación describiremos cada una de las tareas.

4.1. Planificación

En este proceso se determina el propósito del proyecto de DW/BI, sus objetivos específicos y el alcance del mismo, los principales riesgos y una aproximación inicial a las necesidades de información.

En la visión de programas y proyectos de Kimball, Proyecto, se refiere a una iteración simple del KLC (Kimball Life Cycle), desde el lanzamiento hasta el despliegue.

Esta tarea incluye las siguientes acciones típicas de un plan de proyecto:

Definir el alcance (entender los requerimientos del negocio). Identificar las tareas Programar las tareas Planificar el uso de los recursos. Asignar la carga de trabajo a los recursos Elaboración de un documento final que representa un plan del

proyecto.

Además en esta parte definimos cómo realizar la administración o gestión de esta subfase que es todo un proyecto en si mismo, con las siguientes actividades:

Monitoreo del estado de los procesos y actividades. Rastreo de problemas Desarrollo de un plan de comunicación comprensiva que

direccione la empresa y las áreas de TI 4.2. Análisis de requerimientos:

La definición de los requerimientos es en gran medida un proceso de entrevistar al personal de negocio y técnico, pero siempre conviene


61

tener un poco de preparación previa. Se debe aprender tanto como se pueda sobre el negocio, los competidores, la industria y los clientes del mismo. Hay que leer todos los informes posibles de la organización; rastrear los documentos de estrategia interna; entrevistar a los empleados, analizar lo que se dice en la prensa acerca de la organización, la competencia y la industria. Se deben conocer los términos y la terminología del negocio.

Parte del proceso de preparación es averiguar a quién se debe realmente entrevistar. Esto normalmente implica examinar cuidadosamente el organigrama de la organización. Hay básicamente cuatro grupos de personas con las que hablar desde el principio: el directivo responsable de tomar las decisiones estratégicas; los administradores intermedios y de negocio responsables de explorar alternativas estratégicas y aplicar decisiones; personal de sistemas, si existen, la gente que realmente sabe qué tipos de problemas informáticos y de datos existen; y por último, la gente que se necesita entrevistar por razones políticas.

A partir de las entrevistas, podemos identificar temas analíticos y procesos de negocio. Los temas analíticos agrupan requerimientos comunes en un tema común (ver tabla 1).

Tema Analítico

Análisis o requerimiento inferido o pedido

Proceso de negocio de soporte

Comentarios

Planificación de ventas

Análisis histórico de ordenes de revendedores

Ordenes de compras

Por cliente, por país, por región de ventas

Proyección de ventas

Ordenes de compras

La proyección es un proceso de negocio que usa las órdenes como entradas

Tabla 1: Temas analíticos


62

Por otra parte, a partir del análisis se puede construir una herramienta de la metodología denominada matriz de procesos/dimensiones (Bus Matrix en inglés).

Una dimensión es una forma o vista o criterio por medio de cual se pueden sumariar, cruzar o cortar datos numéricos a analizar, datos que se denominan medidas (measures en inglés).

Esta matriz tiene en sus filas los procesos de negocio identificados, y en las columnas, las dimensiones identificadas.

Un ejemplo de esta matriz se puede observar en la tabla 2. Cada X en la intersección de las filas y columnas significa que en el proceso de negocio de la fila seleccionada se identifican las dimensiones propuestas. Dimensiones Proceso de Negocio

Tiempo Producto

Empleados

Clientes (Revendedores)

Geografía de ventas

Importes

Proyección de ventas

X X X X X X

Compras X X X X X X Control de llamadas

X X X X X

… Tabla 2: Matriz de procesos/dimensiones (Bus Matrix).

Finalmente se busca priorizar los requerimientos o procesos de negocios más críticos. 4.3. Modelado Dimensional

La creación de un modelo dimensional es un proceso dinámico y altamente iterativo. Un esquema general se puede ver en la figura 2.


63

Fig. 2: Diagrama de flujo del proceso dimensional de Kimball (Mundy &

Thornthwaite 06) El proceso de diseño comienza con un modelo dimensional de alto nivel obtenido a partir de los procesos priorizados de la matriz descrita en el punto anterior. El proceso iterativo consiste en cuatro pasos:

1. Elegir el proceso de negocio. 2. Establecer el nivel de granularidad. 3. Elegir las dimensiones. 4. Identificar medidas y las tablas de hechos.


64

4.3.1 Elegir el proceso de negocio

El primer paso es elegir el área a modelizar. Esta es una decisión de la dirección, y depende fundamentalmente del análisis de requerimientos y de los temas analíticos anotados en la etapa anterior.

4.3.2. Establecer el nivel de granularidad

La granularidad significa especificar el nivel de detalle. La elección de la granularidad depende de los requerimientos del negocio y lo que es posible a partir de los datos actuales. La sugerencia general es comenzar a diseñar el DW al mayor nivel de detalle posible, ya que se podría luego realizar agrupamientos al nivel deseado. En caso contrario no sería posible abrir (drill-down) las sumarizaciones en caso de que el nivel de detalle no lo permita.

4.3.3. Elegir las dimensiones

Las dimensiones surgen naturalmente de las discusiones del equipo, y facilitadas por la elección del nivel de granularidad y de la matriz de procesos/dimensiones. Las tablas de dimensiones tienen un conjunto de atributos (generalmente textuales) que brindan una perspectiva o forma de análisis sobre una medida en una tabla hechos. Una forma de identificar las tablas de dimensiones es que sus atributos son posibles candidatos para ser encabezado en los informes, tablas pivot, cubos, o cualquier forma de visualización, unidimensional o multidimensional.

4.3.4. Identificar las tablas de hechos y medidas

El último paso consiste en identificar las medidas que surgen de los procesos de negocios. Una medida es un atributo (campo) de una tabla que se desea analizar, sumarizando o agrupando sus datos, usando los criterios de corte conocidos como dimensiones. Las medidas habitualmente se vinculan con el nivel de granularidad del punto 4.3.2., y se encuentran en tablas que denominamos tablas de hechos (fact en inglés). Cada tabla de hechos tiene como atributos una o más medidas de un proceso organizacional, de acuerdo a los requerimientos. Un registro contiene una medida expresada en números, como ser cantidad, tiempo, dinero, etc., sobre la cual se desea realizar una operación de agregación (promedio, conteo, suma, etc.) en función de


65

una o más dimensiones. La granularidad es el nivel de detalle que posee cada registro de una tabla de hechos.

4.3.5. Modelo gráfico de alto nivel Para concluir con el proceso dimensional inicial se realiza un

gráfico denominado modelo dimensional de alto nivel (o gráfico de burbujas, Bubble chart, en el léxico de Kimball), como ilustra la figura 3.

Tiempo

Ordenes

Producto

Provincias

Empleados

Clientes

Moneda

Promociones

Revendedores

Fig. 3: Ejemplo de Modelo final de alto nivel de la sesión inicial de diseño (Mundy & Thornthwaite 06)

4.3.6. Identificación de atributos de dimensiones y tablas de

hechos La segunda parte de la sesión inicial de diseño consiste en completar cada tabla con una lista de atributos bien formada. Una lista de este tipo se muestra en la figura 4. Esta lista o grilla se forma colocando en las filas los atributos de la tabla, y en las columnas la siguiente información:

Características relacionadas con la futura tabla dimensional del almacén de datos (target), por ejemplo tipo de datos, si es clave


66

primaria, valores de ejemplo, etc. Por razones de espacio no describiremos todas las columnas, para mayor información puede consultarse la referencia (Mundy & Thornthwaite 06).

El origen de los datos (source, por lo general atributos de las tablas transaccionales).

Reglas de conversión, transformación y carga (ETL rules), que nos dicen como transformar los datos de las tablas de origen a las del almacén de datos.

Fig. 4: Lista de atributos (Mundy & Thornthwaite 06)

4.3.7. Implementar el modelo dimensional detallado

Este proceso consiste simplemente en completar la información incompleta de los pasos anteriores. El objetivo en general es identificar todos los atributos útiles y sus ubicaciones, definiciones y reglas de negocios asociadas que especifican cómo se cargan estos datos. Para este cometido se usa la misma planilla del punto anterior.


67

4.3.8. Prueba del modelo

Si el modelo ya esta estable, lo que se hace habitualmente es probarlo contra los requerimientos del negocio. Haciendo la pregunta práctica de ¿Cómo podemos obtener esta información en particular del modelo? Para las pruebas podemos usar diseños de reportes estructurados, de usuarios actuales, diseños de cubos prospectivos, etc.

4.3.9. Revisión y validación del modelo

Un vez que tenemos confianza plena en el modelo, ingresamos en esta etapa final (ver figura 2), lo cual implica revisar el modelo con diferentes audiencias, cada una con diferentes conocimientos técnicos y del negocio. En el área de sistemas deberían revisarlo los programadores y analistas de los sistemas, y el DBA si existe. También debería revisarse con usuarios y personas del negocio que tengan mucho conocimiento de los procesos y que quizás no hayan participado del diseño del modelo. Finalmente podemos hacer un documento que enuncie una serie de preguntas del negocio (tomadas a partir de los requerimientos), y las conteste por medio del modelo.

4.3.10 Documentos finales

El producto final, como se puede ver en la Figura 2, son una serie de documentos (solo mencionamos los más importantes), a saber:

Modelo de datos inicial de alto nivel Lista de atributos Diagrama de tablas de hechos Definición de campos de medida Diagrama de tablas de dimensiones Descripción de los atributos de las dimensiones Matriz DW (o DW Bus Matrix) completa

4.4. Diseño Físico

En esta parte, intentamos contestar las siguientes preguntas: ¿Cómo puede determinar cuán grande será el sistema de DW/BI? ¿Cuáles son los factores de uso que llevarán a una configuración

más grande y más compleja? ¿Cómo se debe configurar el sistema?


68

¿Cuánta memoria y servidores se necesitan? ¿Qué tipo de almacenamiento y procesadores?

¿Cómo instalar el software en los servidores de desarrollo, prueba y producción?

¿Qué necesitan instalar los diferentes miembros del equipo de DW/BI en sus estaciones de trabajo?

¿Cómo convertir el modelo de datos lógico en un modelo de datos físicos en la base de datos relacional?

¿Cómo conseguir un plan de indexación inicial? ¿Debe usarse la partición en las tablas relacionales?

4.5. Diseño del sistema de Extracción, Transformación y Carga (ETL).

El sistema de Extracción, Transformación y Carga (ETL) es la base sobre la cual se alimenta el Datawarehouse. Si el sistema ETL se diseña adecuadamente, puede extraer los datos de los sistemas de origen de datos, aplicar diferentes reglas para aumentar la calidad y consistencia de los mismos, consolidar la información proveniente de distintos sistemas, y finalmente cargar (grabar) la información en el DW en un formato acorde para la utilización por parte de las herramientas de análisis. 4.6 Especificación y desarrollo de aplicaciones de BI

Una parte fundamental de todo proyecto de DW/BI está en proporcionarles a una gran comunidad de usuarios una forma más estructurada y por lo tanto, más fácil, de acceder al almacén de datos. Proporcionamos este acceso estructurado a través de lo que llamamos aplicaciones de inteligencia de negocios (Business Intelligence Aplications).

Las aplicaciones de BI son la cara visible de la inteligencia de negocios: los informes y aplicaciones de análisis proporcionan información útil a los usuarios. Las aplicaciones de BI incluyen un amplio espectro de tipos de informes y herramientas de análisis, que van desde informes simples de formato fijo a sofisticadas aplicaciones analíticas que usan complejos algoritmos e información del dominio. Kimball divide a estas aplicaciones en dos categorías basadas en el nivel de sofisticación, y les llama informes estándar y aplicaciones analíticas.


69

4.6.1. Informes estándar

Los informes estándar son la base del espectro de aplicaciones de BI. Por lo general son informes relativamente simples, de formato predefinido, y parámetros de consulta fijos. En el caso más simple, son informes estáticos prealmacenados. Los informes estándar proporcionan a los usuarios un conjunto básico de información acerca de lo que está sucediendo en un área determinada de la empresa. Este tipo de aplicaciones son el caballo de batalla de la BI de la empresa. Son informes que los usuarios usan día a día. La mayor parte de lo que piden las personas durante el proceso de definición de requisitos se clasificaría como informes estándar. Por eso es conveniente desarrollar un conjunto de informes estándar en el ciclo de vida del proyecto. Algunos informes estándares típicos podrían ser:

Ventas del año actual frente a previsión de ventas por vendedor

Tasa de renovación mensual por plan de servicio

Tasa quinquenal de deserción por unidad académica

Tasas de respuestas de correo electrónico por promoción por producto (marketing)

Recuento de audiencia y porcentaje de la audiencia total por la red

de televisión por día de la semana y hora del día (Sistema de marketing televisivo)

Reclamos del año actual hasta la fecha frente a previsión, por tipo

de vehículo

Volumen de llamadas por producto como un porcentaje del total de ventas

4.6.2. Aplicaciones analíticas

Las aplicaciones analíticas son más complejas que los informes estándar. Normalmente se centran en un proceso de negocio específico y resumen cierta experiencia acerca de cómo analizar e interpretar ese


70

proceso de negocio. Estas aplicaciones pueden ser muy avanzadas e incluir algoritmos y modelos de minería de datos, que ayudan a identificar oportunidades o cuestiones subyacentes en los datos. Otra característica avanzada en algunas aplicaciones analíticas es que el usuario puede pedir cambios en los sistemas transaccionales basándose en los conocimientos obtenidos del uso de la aplicación de BI. En el otro extremo del espectro, algunas aplicaciones analíticas se venden como soluciones cerradas o enlatados, y son independientes de las aplicaciones particulares de la empresa. Algunas aplicaciones analíticas comunes incluyen:

Análisis de la eficacia de la promociones

Análisis de rutas de acceso en un sitio Web

Análisis de afinidad de programas

Planificación del espacio en espacios comerciales

Detección de fraudes

Administración y manejo de categorías de productos 5. Conclusiones

La metodología de Kimball proporciona una base empírica y metodológica adecuada para las implementaciones de almacenes de datos pequeños y medianos, dada su gran versatilidad y su enfoque ascendente, que permite construir los almacenes en forma escalonada. Además presenta una serie de herramientas, tales como planillas, gráficos y documentos, que proporcionan una gran ayuda para iniciarse en el ámbito de la construcción de un Datawarehouse. Referencias

Imhoff & Galemmo, Mastering Data Warehouse Design: Relational and Dimensional Techniques, Wiley Publishing, 2003

Inmon, Building the Data Warehouse, (Third Edition). John Wiley & Sons, 2002


71

Kimball & Caserta, The Data Warehouse ETL Toolkit, Indianapolis, Wiley, 2004.

Kimball & Merz, The Data Webhouse Toolkit: Building the Web-Enabled Data Warehouse, Wiley, 2000.

Kimball & Ross, The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling (Second Edition), New York, Wiley, 2002.

Kimball & Ross, The Kimball Group Reader; Relentlessly Practical Tools for Data Warehousing and Business Intelligence, Indianapolis, Wiley, 2010.

Kimball et al., The Data Warehouse Lifecycle Toolkit. 2nd Edition. New York, Wiley, 2008

Kimball et al., The Data Warehouse Lifecycle Toolkit. New York, Wiley, 1998.

Mundy & Thornthwaite, The Microsoft Data Warehouse Toolkit—With SQL Server 2005 and the Microsoft Business Intelligence Toolset, Indianapolis, Wiley, 2006. Páginas web útiles http://www.kimballgroup.com : Este sitio contiene mucha información y artículos sobre la metodología, y además una serie de planillas de Excel usadas en cada paso de la metodología. http://www.bi-bestpractices.com/view-articles/4768 http://churriwifi.wordpress.com/2010/04/19/15-2-ampliacion-conceptos-del-modelado-dimensional/ http://kle.sisorg.com.mx/articulo04.html

La metodología de Kimball para el diseño de almacenes de ... · idea de Data mart. Un Data mart...

Documents

Transcript of La metodología de Kimball para el diseño de almacenes de ... · idea de Data mart. Un Data mart...