Mejorando la calidad y el ciclo de vida de los datos en proyectos educativos

Mejorando la calidad y el ciclo de vida de los datos en proyectos educativos

SNOLA

Alex Rayón Jerez@alrayon, [email protected]

3 de Diciembre, 2014

mailto:[email protected]

Índice de contenidos

● Introducción● Ciclo de vida del dato● La importancia de la calidad del dato● La calidad del dato bajo un enfoque ETL

Introducción

Introducción (II)

Introducción (III)

Introducción (IV)

Introducción (V)

Introducción (VI)

Source: http://www.economist.com/news/finance-and-economics/21578041-containers-have-been-more-important-globalisation-freer-trade-humble

Introducción (VII)

¿Y en educación?

Ciclo de vida del datoKnowledge Discovery in Databases

Ciclo de vida del datoKnowledge Discovery in Databases (II)

Source: Data Mining with WEKA MOOC (http://www.cs.waikato.ac.nz/ml/weka/mooc/dataminingwithweka/)

Ciclo de vida del datoModelo integral de una solución BI

SQL

XML

CSV

...

Data Management /

Integration

Ciclo / Proceso

datos

Modelodatos

Dashboard

Report

API

Ciclo de vida del datoModelo integral de una solución BI (II)

● Un motor de BI/Analytics tiene que cumplir siempre tres funciones básicaso Obtener datos fuentes

o Disponer de un almacén estructurados de datos listos para explotación

o Ser capaz de generar reports/informes de los datos

Ciclo de vida del datoModelo integral de una solución BI (III)

● Estas tres funciones se traducen en:

Proceso ModeloPlataforma explotación

Datos

Ciclo de análisis de datos

Representación para explotación

Información y conocimiento

1 2 3

Ciclo de vida del datoHeterogeneidad

● Las Bases de Datos heterogéneas son un conjunto de BBDD administradas por diferentes SGBDo La heterogeneidad de éstas se debe a que los datos son

de diferentes tipos o formatos

● En el contexto de BBDD heterogéneas se distinguen tres tipos de heterogeneidad:o Semántica

o Esquemática

o Sintáctica

Importancia calidad datoTipos de datos

● El avance tecnológico ha cambiadosustantivamente las fuentes de datoso Se estima que el 80% de la información del mundo

está desestructurada

o Los datos desestructurados están creciendo a un ritmo de 15 veces superior a los estructurados

o La capacidad de procesamiento está creciendo a un ritmo tan alto que no tenemos en ese sentido problemas

o El acceso a la información es realmente fácil para todos

[Eaton2012]

Importancia calidad datoFuentes

● RDBMS (SQL Server, DB2, Oracle, MySQL, PostgreSQL, Sybase IQ, etc.)

● NoSQL Data: HBase, Cassandra, MongoDB

● OLAP (Mondrian, Palo, XML/A)

● Web (REST, SOAP, XML, JSON)

● Files (CSV, Fixed, Excel, etc.)

● ERP (SAP, Salesforce, OpenERP)

● Hadoop Data: HDFS, Hive

● Web Data: Twitter, Facebook, Log Files, Web Logs

● Others: LDAP/Active Directory, Google Analytics, etc.

Importancia calidad datoFuentes (II)

Source: http://www.bigdata-startups.com/BigData-startup/understanding-sources-big-data-infographic/

Importancia calidad datoRetos

● Los datos están en todos los sitioso Datos ubicuos

● Son inconsistenteso Los registros están expresados de diferentes maneras

en cada sistema

● Problemas de rendimientoo Hacer consultas a base de datos para resumir los datos

suelen ser largos

o Lleva al Sistema Operativo a una carga máxima

● Los datos no siempre están en Bases de Datoso Hojas Excel, servicios web, desestructurados, etc.

Importancia calidad datoRetos (II)

[Mazza2012]● Los datos son incompletos

● Algunos tipos de datos no están registrados en ningún lugaro Al no estar expresados, no podrán ser explotados

● La perspectiva de almacenamiento no suele coincidir con la perspectiva de explotación

● Los usuarios suelen tener recelos para extraer conclusiones de algunos datos

Importancia calidad datoAgregación de datos

● El enfoque de ETL no es suficiente para dar sentido y posibilidad de explotación a los datos agregadoso Los datos, así, deben ser normalizados para poder

eliminar todos los posibles problemas que pueden aparecer en un proceso de integración de datos

o Por ello, se habla de agregación/integración de datos para la normalización de los datos

Importancia calidad datoAgregación de datos (II)

● Además, la mala calidad de los datos genera costes de mantenimiento y reparación

● Además de estos aspectos económicos, la mala calidad de datos también afecta a la satisfacción del usuario y a la reputación sobre la toma de decisiones estratégicas

Importancia calidad datoAgregación de datos (III)

● La agregación/integración de datos es el paso más complicado de un proyecto de BIo Datanami: puede llegar a consumir hasta el 60-70% de

un proyecto

o Según otras fuentes, entre un 70 y un 85%

● Aquí tenemos que hablar de integrar todas las fuentes de datos en un dataset con datos apropiados para el objetivo concreto que se tiene en el proyecto

● Se hace necesario, por lo tanto, un proceso para garantizar la calidad de los datos

http://datanami.com/

Importancia calidad datoAgregación de datos (IV)

Source: http://www.learningfrontiers.eu/?q=story/will-analytics-transform-education

Importancia calidad datoGestión de la calidad de los datos

Importancia calidad datoGestión de la calidad de los datos (II)

● Criterios de medición de la calidad (en función de necesidades particulares)o Completitud

Valores de atributos, registros y tablas

o Precisión

Fiabilidad y veracidad

o Consistencia

Respetar una serie de restricciones/reglas de negocio

o Relevancia

Usabilidad para los stakeholders

o Unicidad

Una entidad (marca, producto, persona, servicio, etc.) es observada en contextos diferentes

[Goasdoué2007]

Importancia calidad datoCriterios: 1) Completitud

● Falta algún valor? (tabla, columna, instancia)o Ejemplos

Falta el código postal en el 50% de los registros

● Algunas métricaso Ratio de valores ausentes (tabla, columna, instancia)

● Para la mejorao Estimación del valor por técnicas estadísticas

o Ignorar el valor para explotaciones futuras

o Emplearlo, a sabiendas de los problemas que puede originar

Importancia calidad datoCriterios: 1) Completitud (II)

● El rendimiento del modelo (el porcentaje de predicciones acertadas) dentro del intervalo de confianza establecidos, depende en mucho de esta criterio de calidad

Importancia calidad datoCriterios: 2) Precisión

● Cercanía entre el valor v y un valor v’ considerando éste como la correcta representación de la realidad que el valor vintenta representar

o Ejemplos

Algunos proveedores que están marcados como Activos fueron a la quiebra hace meses

● Algunas métricas

o Número de estimaciones desviadas

o Comparaciones con valores reales

Fuente: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-34662007000200012

Importancia calidad datoCriterios: 2) Precisión (II)

● Es un parámetro muy relacionado con la precisión, la fiabilidad y la veracidad

● En la práctica, a pesar de la atención que ha recibido, es difícil cuantitivizar la precisión de una medicióno Es una operación muy cara de realizar

o Esto se debe a que para poder realizarlo hay que disponer de datos de referencia externos

o Por ello, se hacen verificaciones menos estrictas (patrones de comienzo de códigos, ratios desproporcionados entre géneros, etc.)

Importancia calidad datoCriterios: 3) Consistencia

● Los datos son consistentes si satisfacen un conjunto de restricciones

● Para que sea efectivo, se deben establecer unas estrategias de controlo Aquí es donde aparece el concepto de “Regla de

negocio”

De este modo, la consistencia se puede ver como una subdimensión de la precisión

Aún así, la consistencia solo da una medida indirecta de la precisión

● Esta dimensión es esencial en la práctica

Importancia calidad datoCriterios: 3) Consistencia (II)

● Métricaso ratio de % de conjuntos de datos que satisfacen las

restricciones

● En el contexto de las herramientas de calidad de datos, los flujos de transformación de datos y sus reglas de negocio se centran básicamente en controles de consistencia

Importancia calidad datoCriterios: 4) Relevancia

● ¿Son los datos relevantes para la tarea que se tiene entre manos?

● Métricaso Grado de utilidad

● Oportunidades de mejorao Encuestas

Preguntando a los stakeholders por el grado de utilidad de las respuestas dadas, ayudará a mejorar la relevancia de tareas de agregación de datos futuras (en especial, la primera tarea de selección de datos)

Importancia calidad datoCriterios: 4) Relevancia (II)

● Éste es un problema nuclear al Big Datao Con la aparición de grandes volúmenes de datos, los

usuarios en ocasiones se sienten frustrados por la incapacidad para sacar algún dato útil entre toda la maraña de datos

o Por ello, los usuarios pueden tener el prejuicio hacia la poca utilidad de los datos resultantes de un proyecto de BI

o Sin embargo, la utilidad juega un papel central en la aceptación del proyecto

o Por lo tanto, habrá que realmente medirlo (y mejorarlo, en su caso, si procediera)

Importancia calidad datoCriterios: 5) Unicidad

● Es un problema que aparece cuando una entidad del modelo de datos aparece en más de una ocasióno Ejemplo

Alexander Rayón y Alex Rayón son el mismo empleado, pero observado en dos fuentes de datos diferentes → pudieran parecer dos entidades, al no coincidir a primera vista

Importancia calidad datoCriterios: 5) Unicidad (II)

● Métricaso % de duplicados

o número de instancias superior a las esperadas (más difícil, por no conocer a priori el número de instancias)

Importancia calidad datoEtapas gestión calidad dato

Definir Procesar Publicar

Importancia calidad datoEtapas gestión calidad dato: 1) Definir

Definir

● Dimensiones

o Dominio/Contexto: unidad mínima de análisis, representación y explotación

o Tiempo: real-time o bajo demanda

o Frecuencia: de medición (fija o variable)

o Extracción de atributos: ¿con qué me quedo? (símil de la extracción de keywords representativas en un texto)

o Jerarquía: para consultas (niveles de abstracción)

o Granularidad: representación para explotación posterior

Reglas de negocio

Esquema / Diccionario de datos

Modelo de datos

Importancia calidad datoEtapas gestión calidad dato: 1) Definir (II)

Source: http://themodernaccountant.com/2012/06/18/pearls-of-wisdom/

Pensando en las dimensiones de calidad de datos anteriormente expuestas

Importancia calidad datoEtapas gestión calidad dato: 1) Definir (III)

Nivel Esquema: conflictos nominales y estructura

● Homónimos: mismo nombre para diferentes objetos

● Sinónimos: diferentes nombres para el mismo objeto

● Diferentes tipos de datos

● Diferentes estructura de componentes

● Diferentes restricciones de integridad

Importancia calidad datoEtapas gestión calidad dato: 1) Definir (IV)

Nivel Instancia

● Atributo

o Valores nulos, misspellings, valores crípticos, abreviaciones, valores embebidos, etc.

● Registro

o Dependencias de atributo incorrectas (zip y ciudad)

● Tipo de registro

o Transposiciones de palabras, registros duplicados, registros contradictorios

● Fuente

o Referencias incorrectas (nº departamento es incorrecto)

● Agregación

o Granularidad (ventas por grupo vs. ventas por producto) o puntos de tiempo (semanal, diaria, quincenal, etc.)

Importancia calidad datoEtapas gestión calidad dato: 1) Definir (V)

Source: http://en.wikipedia.org/wiki/Data_modeling

Importancia calidad datoEtapas gestión calidad dato: 2) Procesar

5) Realimentación - Para evitar trabajos futuros sobre los mismos datos

Procesar Poner los datos a cumplir todas las reglas de negocio

1) Análisis de datos

2) Flujo de transformación y reglas de negocio

3) Verificación

4) Transformación

- Análisis metadatos de los datos: Profiling (1 a 1) o Mining (patrones)

- Quitar duplicados- Atomización → desdoblar en varios campos- Discretización- Normalización: modelo referencial; unión; unicidad; nulos- Integridad- Eliminar ruido (malas observaciones, shocks exógenos, etc.)- Outlier → obtención de conclusiones- Valores vacíos: 1) Eliminar instancia; 2) Predecir por interpolación; 3) Usarlo para procesar- Quitar la tendencia lineal (para fijarse en fluctuaciones… si es lo que interesa)- Validación → dependencias de atributos para validar y corregir

- Verificar efectividad flujo de transformación y reglas de negocio

- Ejecución en serie

Importancia calidad datoEtapas gestión calidad dato: 2) Procesar (II)

Fuente: http://tutorialenexcel.blogspot.com.es/2012/10/15-tutorial-excel-manejando-la.html

Quitar duplicados

Importancia calidad datoEtapas gestión calidad dato: 2) Procesar (III)

Fuente: http://www.educarchile.cl/ech/pro/app/detalle?ID=133092

Atomización

Importancia calidad datoEtapas gestión calidad dato: 2) Procesar (IV)

Fuente: http://7542.fi.uba.ar/tecnica/sonido-en-windows/

Discretización

Importancia calidad datoEtapas gestión calidad dato: 2) Procesar (V)

Fuente: http://www.anmopyc.es/noticia/boletin_de_normalizacion_julio_2014

Normalización

Importancia calidad datoEtapas gestión calidad dato: 2) Procesar (VI)

Integridad

Fuente: http://diariodelapelusa.blogspot.com.es/2013/04/de-la-integridad.html

Importancia calidad datoEtapas gestión calidad dato: 2) Procesar (VII)

Fuente: http://www.dominandocamtasia.com/blog/como-eliminar-el-ruido-de-un-video

Quitar ruido

Importancia calidad datoEtapas gestión calidad dato: 2) Procesar (VIII)

Fuente: http://mathworld.wolfram.com/Outlier.html

Gestión outliers

Importancia calidad datoEtapas gestión calidad dato: 2) Procesar (IX)

Fuente: http://www.fengfly.com/plus/view-169414-1.html

Gestión valores vacíos

Importancia calidad datoEtapas gestión calidad dato: 2) Procesar (X)

Quitar tendencia lineal

Fuente: http://www.monografias.com/trabajos96/regresion-lineal-simplificada-agricola/regresion-lineal-simplificada-agricola.shtml

Importancia calidad datoEtapas gestión calidad dato: 3) Publicar

Importancia calidad datoEtapas gestión calidad dato: 3) Publicar (II)

An ontology is said to be an agreement about a shared, formal, explicit and partial account of a

conceptualization[...]

relative independence of particular applications[...]

it consists of relatively generic knowledge that can be reused by different kinds of

applications/tasks

Importancia calidad datoEtapas gestión calidad dato: 3) Publicar (III)

Importancia calidad datoEtapas gestión calidad dato: 3) Publicar (IV)

Importancia calidad datoHerramientas

Interactive Data Transformation Tools (IDTs)

1. Pentaho Data Integration: Kettle PDI

2. Talend Open Studio

3. DataCleaner

4. Talend Data Quality

5. Google Refine

6. Data Wrangler

7. Potter's Wheel ABC

Enfoque ETLProceso de análisis de datos

Enfoque ETLProceso de análisis de datos (II)

1) Seleccionar 2) Capturar 3) Agregar 4) Procesar 5) Utilizar 6) Refinar

Más datos no es más

conocimiento

Extracción, muestreo y

ética

Proceso de calidad de

datos

Análisis+

Acción

Hacer operativos los

trabajos anteriores

Post-procesamiento

Enfoque ETL1) Seleccionar

1) Seleccionar

● Plantear las preguntas/problemas a resolver

● Seleccionar los datos necesarios para responder a las preguntas formuladas

● Éste es precisamente uno de los retos actuales

o ¿Qué datos son los críticos?

● Hay que poner sensores allí dónde estén los datos más relevantes

o Para este paso, suele ser interesante contar con expertos del dominio

Enfoque ETL1) Seleccionar (II)

1) Seleccionar

● Vivimos en una era en la que tener acceso a datos no es el problema

o El reto está en determinar qué datos son significativos y significantes y por qué

Fuente: http://cesar-organizaciones.blogspot.com.es/2011/05/que-es-un-sistema-de-informacion-un.html

Enfoque ETL1) Seleccionar (III)

1) Seleccionar

“The basic question is not what can we

measure? The basic question is what does a good education look like? Big questions”

Enfoque ETL2) Capturar

2) Capturar

● Extracción de los datos

o Ante la Variedad de las fuentes de datos, se hace necesario disponer de un proceso ETL

● Así, se podrán transformar datos optimizados para transacciones a datos optimizados para el análisis y el reporting

● Se pueden emplear técnicas de muestreo de datos

● Respetar las leyes y la éticaLeer “Aspectos legales y éticos”

Enfoque ETL2) Capturar (II)

2) Capturar

Enfoque ETL3) Agregar

3) Agregar

● Reto actual: Variedad

● Necesidad de un modelo de datos normalizado para disponer de procesos de datos sostenibles

● Tareas

o Limpieza de datos, Integración, Transformación, Reducción, Modelado, Rectificación de inconsistencias y anomalías, Normalización

Enfoque ETL4) Procesar

4) Procesar

● Analizar los datos normalizados y preparados

● Decidir contextos de explotación

o Predicción

o Intervención

o Adaptación

o Personalización

o Recomendación

o Alertas tempranas

o Reflexión

...

Enfoque ETL4) Procesar (II)

4) Procesar

Motor de Analytics

Predicción

Adaptación

Personalización

Recomendación

Intervención

...

Enfoque ETL5) Utilizar

5) Utilizar

● Hacer operativos los trabajos anteriores

● Posibles escenarios de operación

o Dashboard de KPIs

o Informes

o APIs de explotación desde otros sistemas

o ...

Enfoque ETL5) Utilizar (II)

5) Utilizar

Actividad BI.01.4. Pensar en escenarios de puesta en valor del conocimiento descubierto

● ¿Qué?

● ¿Cómo?

● ¿Dónde?

● ¿Cuándo?

● ¿Por qué?

Enfoque ETL6) Refinar

6) Refinar

● Post-procesamiento

o Nuevos atributos al modelo

o Nuevos indicadores

o Nuevos tareas de calidad de datos

o Nuevos métodos de análisis

o ….

Referencias[CdO07] JP. Campbell, PB. deBlois, and DG. Oblinger. Academic analytics: A new tool for a new era. EDUCAUSE Center for Applied Research REVIEW, 2007.[Clo12] Doug Clow. The learning analytics cycle: closing the loop effectively. 2nd International Conference on Learning Analytics and Knowledge, 2012[DA09] J. Dron and T. Anderson. On the design of collective applications. Proceedings of the 2009 International Conference on Computational Science and Engineering, 04:368–374, 2009.[Eli11] Tanya Elias. Learning analytics: definitions, processes and potential. 2011.[Mazza2012] Riccardo Mazza, Marco Bettoni, Marco Far ́, and Luca Mazezola. Moclog–monitoring online courses with log data. 2012.

Copyright (c) 2014 University of DeustoThis work (but the quoted images, whose rights are reserved to their owners*) is licensed under the Creative Commons “Attribution-ShareAlike” License. To view a copy of this license, visit http://creativecommons.org/licenses/by-sa/3.0/




Mejorando la calidad y el ciclo de vida de los datos en proyectos educativos

SNOLA




Mejorando la calidad y el ciclo de vida de los datos en proyectos educativos

Education

Transcript of Mejorando la calidad y el ciclo de vida de los datos en proyectos educativos