3.- OLAP

OLAP es el acrónimo en inglés de procesamiento analítico en línea (On-Line Analytical Processing). Es una solución utilizada en el campo de la llamada Inteligencia empresarial (o Business Intelligence) cuyo objetivo es agilizar la consulta de grandes cantidades de datos. Para ello utiliza estructuras multidimensionales (o Cubos OLAP) que contienen datos resumidos de grandes Bases de datos o Sistemas Transaccionales (OLTP). Se usa en informes de negocios de ventas, marketing, informes de dirección, minería de datos y áreas similares.

La razón de usar OLAP para las consultas es la velocidad de respuesta. Una base de datos relacional almacena entidades en tablas discretas si han sido normalizadas. Esta estructura es buena en un sistema OLTP pero para las complejas consultas multitabla es relativamente lenta. Un modelo mejor para búsquedas, aunque peor desde el punto de vista operativo, es una base de datos multidimensional.

La principal característica que potencia a OLAP, es que es lo más rápido a la hora de ejecutar sentencias SQL de tipo SELECT, en contraposición con OLTP que es la mejor opción para operaciones de tipo INSERT, UPDATE Y DELETE.

Funcionalidad

En la base de cualquier sistema OLAP se encuentra el concepto de cubo OLAP (también llamado cubo multidimensional o hipercubo). Se compone de hechos numéricos llamados medidas que se clasifican por dimensiones. El cubo de metadatos es típicamente creado a partir de un esquema en estrella o copo de nieve, esquema de las tablas en una base de datos relacional. Las medidas se obtienen de los registros de una tabla de hechos y las dimensiones se derivan de la dimensión de los cuadros.

Tipos de sistemas OLAP

Tradicionalmente, los sistemas OLAP se clasifican según las siguientes categorías:

• ROLAP

Implementación OLAP que almacena los datos en un motor relacional. Típicamente, los datos son detallados, evitando las agregaciones y las tablas se encuentran normalizadas. Los esquemas más comunes sobre los que se trabaja son estrella ó copo de nieve, aunque es posible trabajar sobre cualquier base de datos relacional. La arquitectura está compuesta por un servidor de banco de datos relacional y el motor OLAP se encuentra en un servidor dedicado. La principal ventaja de esta arquitectura es que permite el análisis de una enorme cantidad de datos.

• MOLAP

Esta implementación OLAP almacena los datos en una base de datos multidimensional. Para optimizar los tiempos de respuesta, el resumen de la información es usualmente calculado por adelantado. Estos valores precalculados o agregaciones son la base de las ganancias de desempeño de este sistema. Algunos sistemas utilizan técnicas de compresión de datos para disminuir el espacio de almacenamiento en disco debido a los valores precalculados.

• HOLAP (Hybrid OLAP)

Almacena algunos datos en un motor relacional y otros en una base de datos multidimensional.

Comparación

Cada sistema OLAP tiene ciertos beneficios (aunque existe desacuerdo acerca de las características específicas de los beneficios entre los proveedores).

Algunas implementaciones MOLAP son propensas a la "explosión" de la base de datos; este fenómeno provoca la necesidad de grandes cantidades de espacio de almacenamiento para el uso de una base de datos MOLAP cuando se dan ciertas condiciones: elevado número de dimensiones, resultados precalculados y escasos datos multidimensionales. Las técnicas habituales de atenuación de la explosión de la base de datos no son todo lo eficientes que sería deseable.

Por lo general MOLAP ofrece mejor rendimiento debido a la especializada indexación y a las optimizaciones de almacenamiento. MOLAP también necesita menos espacio de almacenamiento en comparación con los especializados ROLAP porque su almacenamiento especializado normalmente incluye técnicas de compresión.

ROLAP es generalmente más escalable. Sin embargo, el gran volumen de reprocesamiento es difícil de implementar eficientemente por lo que con frecuencia se omiten; por tanto, el rendimiento de una consulta ROLAP puede verse afectado.

Desde la aparición de ROLAP van apareciendo nuevas versiones de bases de datos preparadas para realizar cálculos, las funciones especializadas que se pueden utilizar tienen máas limitaciones.

HOLAP (OLAP Híbrido) engloba un conjunto de técnicas que tratan de combinar MOLAP y ROLAP de la mejor forma posible. Generalmente puede pre-procesar rápidamente, escala bien, y proporciona una buena función de apoyo.

3.1 Procesamiento Analítico en Línea

En un almacén de datos, a diferencia de un OLTP, se realizan operaciones de procesamiento analítico en línea (“OLAP - On-Line Analytical Processing”), cuya operación consiste principalmente de consultas sobre grandes volúmenes de datos y de

proveer una interfaz en línea que ofrece reportes y gráficos. El procesamiento analítico en línea es una tecnología que permite a los analistas y administradores visualizar y navegar los datos accediendo a una amplia variedad de vistas posibles de la información de manera interactiva, rápida y eficiente.

Como parte de los servicios de explotación de una arquitectura de análisis de información, los datos tienen que ser modelados multidimensionalmente para satisfacer los requerimientos de desempeño de este tipo de consultas en línea. En este curso se hace una diferencia entre el concepto de almacén de datos y los modelos de datos multidimensionales o cubos puesto que en la arquitectura propuesta los cubos se generan a partir de datos que ya se encuentran en el almacén de datos, creando redundancia en algunos casos pero ofreciendo al usuario la posibilidad de hacer consultas al almacén de datos sin necesidad de conocer sobre cubos y su manipulación. Otra opción arquitectural es que los cubos estén almacenados en un repositorio de datos separado denominado un servidor de procesamiento analítico en línea y el almacén de datos incluya los datos de detalle almacenados en forma de tablas.

En las siguientes secciones se describirán los conceptos sobre cubos, servidores de procesamiento analítico en línea y la visualización y navegación interactiva de modelos dimensionales.

Modelos multidimensionales

Los modelos de datos multidimensionales se han estudiado exhaustivamente, en esta sección se mencionarán las definiciones más importantes para estar en contexto.

Un modelo de datos es una representación de los datos y sus relaciones con otros datos que se utiliza para conocer como se organizarán los datos en bases de datos u otro medio de almacenaje y administración de datos. Por ejemplo en el modelo de datos entidad relación (ER) uno puede conceptualizar cada entidad de datos, sus atributos y sus relaciones. En la figura 4.2.1 se tiene un modelo o diagrama ER de un sistema operacional para registro de pagos de impuestos de autos.

Ejemplo de diagrama ER

Esquemas relacionales para modelado multidimensional

Un modelo de datos multidimensional o cubo es una colección de medidas las cuales dependen de un conjunto de dimensiones, es una representación de los datos que permite organizarlos en la forma de hechos, dimensiones y agregados, los hechos contienen medidas, es decir, la información a nivel transacción que vamos a analizar, por ejemplo: compras, ventas, prestamos, etc. Las dimensiones contienen información descriptiva de esas transacciones por ejemplo: fecha, cliente, producto, etc. Un modelo multidimensional se utiliza para el análisis de información.

Los conceptos de dimensión y hechos

La figura muestra el concepto de modelo multidimensional del tema “compras”; a la izquierda se muestran datos

transaccionales fuente de ejemplo, a la derecha y abajo se tiene un diagrama de cubo donde hay 2 medidas a analizar: la cantidad y el costo, esos atributos o campos formaran la tabla de hechos del cubo, y se analizarán por 3 dimensiones:

La dimensión “producto” que contiene los atributos del producto que se compró. La dimensión “proveedor” que contiene los atributos del proveedor a quien se le compró ese producto y finalmente la dimensión “tiempo” que contiene la fecha en la que se realizó esa transacción de compra.

Se tienen diferentes esquemas relacionales para hacer el modelado multidimensional, a continuación se describe cada uno de ellos.

Esquemas para representar modelos multidimensionales

a) Modelo o esquema de estrella (“star schema”) tradicional:

El esquema de estrella es una técnica de modelado de datos usada para hacer corresponder un modelo multidimensional a una base de datos relacional, debe su nombre debido a que gráficamente parece una estrella. El esquema de estrella tiene cuatro componentes: hechos, dimensiones, atributos y jerarquías de atributos. Los hechos y dimensiones son representados por tablas físicas en el almacén de datos, la tabla de hechos está relacionada a cada dimensión en una relación uno a muchos. Las tablas de hechos y dimensiones están relacionadas por llaves foráneas y están sujetas a las restricciones de las llaves foráneas y primarias.

Modelo de estrella con 3 dimensiones y una tabla de hechos

Para calcular el total de compras realizadas a proveedores de Internet el esquema de estrella tendría que realizar estos pasos:

1. De la dimensión Proveedor, seleccionar todos los proveedores donde el canal es Internet.

2. De la tabla de hechos, seleccionar y calcular la suma de todas las cantidades y costos de las transacciones de compra a los proveedores del paso 1.

b) Modelo de copo de nieve (“snow flake schema”)

El esquema de copo de nieve es una variación de la estrella tradicional, lo que se hace es que en cada dimensión se almacenan jerarquías de atributos o bien simplemente se separan atributos en otra entidad por razones de desempeño y mejor utilización del espacio. En la figura 4.2.5 la dimensión producto se ha modificado separando sus datos generales de sus otras características.

Modelo de copo de nieve

b) Modelo de constelaciones

El modelo de constelaciones nuevamente es una variación del esquema de estrella tradicional, en este modelo algunos atributos de las dimensiones se separan

formando una nueva entidad que puede ser compartida con otros cubos, es decir pueden ser dimensiones de otros cubos (ver la figura 4.2.6). La utilidad principal de este modelo es que al tener dimensiones que puede ser compartidas por diferentes cubos se tendrá un mejor uso del espacio de almacenamiento evitando la redundancia.

Esquema de constelaciones

Operaciones con cubos

Una vez que se tienen los cubos se puede realizar diferentes operaciones sobre ellos para visualizar y analizar la información, las operaciones son:

a) Generalizar y especializar, o como en la bibliografía se conoce: abstracción y concreción. (generalizar y especializar).

b) Corte y corte de cubos (“Slice & Dice”).

c) Filtrar

d) Pivotear

Estas operaciones se realizan sobre los cubos (“cubing”) y generan como resultados sub-cubos llamados “cuboides”.

La especialización y la generalización son operaciones que sirven para navegar un cubo sobre sus dimensiones. Las dimensiones que ofrecen diferentes niveles de abstracción podrán ser navegables, por ejemplo supongamos que tenemos la dimensión tiempo que tiene los nivel de abstracción año, semestre, mes, semana y día, una operación de especialización nos permitirá interactivamente visualizar los hechos desde el agregado total por año e ir descendiendo hasta el detalle por día, la operación generalizar permitirá lo contrario desde cualquier nivel podrá generalizar a un nivel superior por ejemplo de semana a mes. En resumen las operaciones especializar y generalizar realizan el proceso siguiente:

Detalle z GENERALIZACION r Alto nivel - generalizar

Alto nivel � ESPECIALIZACION C Detalle - especializar

Operaciones sobre cubos: especializar y generalizar

Las operaciones de corte y corte de cubo sirven para ver subconjuntos de cubos, es más, se dice que como resultado generan “subcubos” o “cuboides”. La operación “corte” como la palabra lo indica es una operación que genera una rebanada del cubo, por ejemplo, si de una dimensión tiempo de un cubo únicamente tomamos el mes de “Marzo” y dejamos ver el resto de las dimensiones entonces tendremos la rebanada o corte que corresponde al mes de “Marzo”. Si además de eso condicionamos la dimensión “proveedor”, seleccionando el proveedor “X” de un cubo de “compras”, entonces estaremos obteniendo un “subcubo”, este último es el resultado de una operación de corte de cubo.

3.1.1 Servidores de Procesamiento Analítico en Línea

El servidor de procesamiento analítico en línea permite definir y navegar un modelo multidimensional. El servidor de procesamiento analítico en línea es un administrador de base de datos especializado en el almacenamiento de cubos y en responder de manera optima a las operaciones sobre ellos. El servidor de procesamiento analítico en línea puede ser implementado sobre un DBMS relacional (RDBMS), en cuyo caso se denomina servidor de procesamiento analítico en línea relacional (servidor ROLAP). Este servidor de procesamiento analítico en línea almacena los cubos en tablas relacionales y las operaciones sobre ellos se realizan con SQL o con un SQL extendido para manejar cubos. Además el RDBMS proporciona lagunas funcionalidades para implementar tanto los cubos como las operaciones sobre ellos, por ejemplo: las vistas materializadas o los índices “bitmap”. Cuando se utiliza un servidor especializado para almacenar modelos de datos multidimensionales el servidor se conoce como servidor de procesamiento analítico en línea multidimensional (“Servidor

MOLAP”), el cual almacena los datos multidimensionales directamente en estructuras de datos especiales (arreglos) e implementa las operaciones de procesamiento analítico en línea sobre esas estructuras.

Existe también un tipo híbrido de procesamiento analítico llamado servidor de procesamiento analítico en línea híbrido (HOLAP) que implementa las ventajas de ROLAP y MOLAP utilizando cubos en MOLAP y cuando se quiere ir al detalle de la información utiliza la que se encuentran en tablas de relaciones.

En cualquiera de los tres casos es necesario almacenar tres tipos de datos: datos de tabla de hechos (las transacciones), los agregados y las dimensiones.

En un servidor ROLAP cada fila en una tabla de hechos tiene una columna para cada dimensión y medida. Las bases de datos MOLAP almacenan los datos de hechos en un formato multidimensional, pero si hay muchas dimensiones, estos datos estarán dispersos y el formato multidimensional no tendrá buen desempeño. Un sistema HOLAP resuelve este problema dejando los datos de mayor granularidad en la base de datos relacional, pero almacena los datos en un formato multidimensional.

3.1.2 Utilización de las Herramientas OLAP

Se dice que las herramientas de procesamiento analítico en línea son de naturaleza reactiva puesto que el trabajador de conocimiento o analista la utilizará para ver lo que ha pasado e identificará indicadores que le permitan corregir el rumbo, por ejemplo, si al darse cuenta que la tendencia ha sido comprar en “internet” probablemente debería revisar si está recibiendo los descuentos que podría obtener en librerías o valdría la pena revisar cuanto está pagando por gastos de envío para saber si realmente está ahorrando.

El procesamiento analítico en línea nos ofrece reportes y gráficos interactivos que si tuvieran que hacer a partir de las fuentes operacionales seria un proceso complejo de integración de datos que generaría resultados de poca precisión y por lo tanto poca confiabilidad, además de que se invertiría mucho tiempo en completar la construcción de los reportes, tiempo que sería más valioso si se empleara para analizar y tomar decisiones.

3.2 Oracle OLAP

Las herramientas de generación de informes y consultas adhoc generalmente se despliegan utilizando datawarehouses y herramientas basadas en SQL, mientras que aplicaciones más sofisticadas de análisis y planificación se despliegan utilizando otras bases de datos y herramientas.

Esta separación entre data warehouses y bases de datos analíticas es, sin embargo, costosa. El coste de mantenimiento de bases de datos separadas supone recursos adicionales hardware y administradores.

Oracle elimina estas barreras proporcionando una base de datos preparada para el análisis. Oracle OLAP, parte de la base de datos Oracle, proporciona la funcionalidad analítica de una base de datos especializada a la vez que elimina la necesidad de gestionar bases de datos separadas.

Oracle cambia el planteamiento tradicional ofreciendo una base de datos integrada relacional-multidimensional. Oracle RDBMS-MDDS elimina la decisión entre gestionabilidad y rendimiento-poder analítico. Oracle simplifica el proceso y reduce el coste de mantenimiento de los datos, a la vez que se mantiene la habilidad de hacer complejas consultas analíticas y proporciona un rendimiento excelente.

Arquitectura con base de datos Oracle integrada.

Oracle OLAP es parte de una plataforma integrada de data warehousing y business intelligence que contiene funcionalidad ETL, OLAP y data mining en la base de datos. Hay muchos beneficios derivados de tener una base de datos RDBMS-MDDS completamente integrada en comparación con bases de datos multidimensionales y separados:

• Gestión más simple • Alta disponibilidad

• Seguridad mejorada • Acceso abierto desde clientes SQL y OLAP API

• Ciclo de información reducido • Mayor fiabilidad de la información

La base de datos relacional-multidimensional Oracle se compone de tres tecnologías:

• La tecnología relacional gestiona los objetos de base de datos y proporciona una interfaz SQL a los datos.

• La tecnología de objetos permite a la base de datos gestionar datos no relacionales

• La tecnología OLAP proporciona funcionalidad analítica avanzada en el contexto de un modelo multidimensional.

Componentes Oracle Database OLAP

SQL puede acceder a datos multidimensionales a través de funciones de tabla o vistas relacionales. Usando aplicaciones PL/SQL, SQL pueden interactuar directamente con el motor multidimensional.

Todas las tecnologías — relacional, objetos y OLAP — están contenidas en un solo proceso; la base de datos se trata como una sola instancia integrada.

Como la tecnología OLAP es parte de un solo proceso de base de datos, proporciona la misma escalabilidad y fiabilidad que el proceso de base de datos Oracle.

En Oracle todos los datos — relacional y multidimensional — se almacenan en los ficheros de datos Oracle. No hay ficheros multidimensionales separados que debamos gestionar. Los tipos de datos relacional y multidimensional pueden coexistir en los mismos ficheros de datos. Los datos multidimensionales se almacenan en la base de datos en lo que se llaman analytic workspaces.

Oracle OLAP esta basado en un modelo de datos multidimensional,. Éste se presenta como un modelo lógico a través de las OLAP API y OLAP DML.

MODELO LÓGICO EN LA OLAP API

El modelo multidimensional proporciona algunos beneficios al usuario de las aplicaciones analíticas. Los más importantes son:

o Es fácilmente entendible por los usuarios no expertos

o Proporciona el contexto para la selección de datos

o Simplifica el proceso de definición de cáluclos hasta que usuarios no

expertos pueden usar el lenguaje de cálculo.

El modelo multidimensional lógico se presenta a través de las OLAP API y OLAP DML con los siguientes elementos:

• Medidas

• Dimensiones

• Niveles

• Jerarquías

• Atributos

Una medida representa hechos. Ventas en euros y ventas unitarias son ejemplos de medidas. Una medida es análoga a una columna de hechos en una tabla de hechos, pero el catálogo OLAP proporciona meta datos más completos para describirlo. Las dimensiones proporcionan la estructura a los datos organizándolos en niveles y jerarquías, y proporcionándoles atributos. Algunos ejemplos de dimensiones son Producto, Geografía, Tiempo, etc.

Como los analytic workspaces almacenan datos, se necesita un modelo físico de base de datos para organizarlos datos. Oracle OLAP usa un modelo multidimensional como base para el modelo físico en los analytic workspaces. Este modelo proporciona beneficios importantes:

o El modelo fuerza la integridad referencial. Por ejemplo, no es posible

que las medidas contengan claves que no referencien valores válidos en una dimensión.

o El modelo favorece la consistencia de datos al facilitar la reutilización de

dimensiones con múltiples medidas.

o El orden de los miembros de las dimensiones se mantiene. Esto

simplifica los cálculos como por ejemplo el análisis de series temporales. Cuando el orden de los miembros de las dimensiones se mantiene, las funciones pueden usar la posición de un miembro de una dimensión, por lo que se simplifica la definición de los cálculos y se reduce la necesidad de atributos dimensionales.

o Toda la base de datos se presenta como precalculada, sin tener en cuenta si los datos se han precalculado o se calculan en tiempo ejecución. Las aplicaciones no necesitan especificar reglas de agregación o joins cuando consultan la base de datos. Las aplicaciones SQL no se preocupan de cómo los datos están precalculados, simplemente consultan los datos.

Oracle OLAP representa un cambio fundamental en la tecnología OLAP. Las bases de datos relacionales y multidimensionales se han unido para proporcionar capacidades analíticas propias de una base de datos multidimensional en el contexto de la base de datos Oracle.

Todas estas ventajas se obtienen a la vez que se mantiene la potencia de un servidor OLAP dedicado. Oracle OLAP proporciona un conjunto de funciones analíticas a través de la OLAP API, un motor multidimensional y un lenguaje de manipulación de datos OLAP. El resultado es un sistema de menor coste, más seguro y fiable, que da soporte a aplicaciones analíticas, de consulta y de generación de informes.

3.3 Ejercicio con OLAP

Para realizar la practica de OLAP utilizaremos el software Pentaho lo primero que realizaremos será. Descargaremos un archivo desde internet llamando pentaho_demo_mysql Ya que trabajaremos con la base de datos de la unidad pasada. El archivo descargado es una carpeta comprimida en la que vienen todos los archivos necesarios para que el portal funcione, lo único que hay que hacer es descomprimir el archivo en el lugar en que mejor nos parezca.

Una vez descomprimida la carpeta, se debe establecer la contraseña de publicación en el portal. Esto se hace entrando en el archivo C:\Program Files\pentaho_demo_mysql5-1.6.0.GA.863\pentaho-demo\pentaho-solutions\system\publisher_config.xml. Y escribir la contraseña en medio de las etiquetas como se muestra en la figura.

Este password se usara en el momento de publicar el cubo en el portal de Pentaho.

Una vez realizado descomprimimos la carpeta proporcionada por la profesora y simplemente extraemos los archivos esta es una carpeta comprimida que no necesita proceso de instalación sino que solo es necesario descomprimirla en el lugar que uno prefiera. En este caso se hizo en c:\Program Files\

Nota: Antes de empezar, el servicio de la base de datos debe estar activo.

Lo primero que debe hacerse es subir el portal de Pentaho, lo que se hace corriendo el archivo start-pentaho.bat que está en la carpeta descomprimida.

Una vez esté listo Pentaho, se inicia el cube designer dando doble click sobra el icono de la carpeta que descomprimimos anteriormente.

El primer paso es especificar el origen de los datos, dándole un nombre, seleccionando el driver, según el motor que se esté usando, en este caso es mySql, y el usuario y el password que se usara en la conexión.

El siguiente paso es seleccionar los campos de la base de datos que serán usados en el cubo. Arrastrando las tablas que aparecen en la parte inferior izquierda y palomeando los atributos de cada tabla deseada.

A continuación, seleccionaremos el campo de la base de datos que contiene la unidad de medida que va a ser analizada en el cubo:

Seguido de esto viene la creación de las dimensiones del cubo:

Seleccionando el campo, y dando clic en "Add new dimension".

Por último, podemos ver el código del cubo en XML, publicarlo en el portal, y finalmente, verlo:

Al momento de publicarlo, nos pide un usuario y un password del portal, el usuario del portal el Joe, y la contraseña es "password". La contraseña de publicación fue la misma que se configuro en el archivo XML, en este caso es 123456.

Si es exitosa la publicación debe salir:

Ahora si podemos entrar a ver el cubo en el portal de Pentaho, para entrar, ingresamos por el browser a http://localhost:8080/ y elegimos cualquiera de los usuarios predeterminados, por ejemplo Joe:

Y se ingresa en Navigate/Soluciones.

Una vez allí entramos en Ejemplos de Análisis:

Y buscamos el cubo por el nombre que le pusimos en el primer paso del Cube Designer. Una vez ingresemos veremos la página del cubo, en donde podemos manipular las dimensiones y los gráficos como mejor nos parezca para analizar la información de la base de datos:

El software cuenta con diferentes herramientas que nos mostraran la información de manera mas ordenada y grafica de acuerdo a nuestras necesidades para realizar nuestras presentaciones de información con esto finalizamos la unidad numero 3 utilizando la herramienta Penthao que trabaja en conjunto con el programa OLAP para el diseño de cubos de información.