Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata...

31
TABD - Introducción Bases de Datos Avanzadas Bases de Datos Avanzadas Introducción Introducción Curso Maestría Curso Maestría Por Por Elizabeth León Guzmán, Ph.D Elizabeth León Guzmán, Ph.D . . Profesora Asociada Profesora Asociada Ingeniería de Sistemas Ingeniería de Sistemas Grupo de Investigación MIDAS Grupo de Investigación MIDAS

Transcript of Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata...

Page 1: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Bases de Datos AvanzadasBases de Datos AvanzadasIntroducciónIntroducciónCurso MaestríaCurso Maestría

PorPorElizabeth León Guzmán, Ph.DElizabeth León Guzmán, Ph.D..

Profesora Asociada Profesora Asociada Ingeniería de SistemasIngeniería de SistemasGrupo de Investigación MIDASGrupo de Investigación MIDAS

Page 2: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

1. ¿Qué son Bases de Datos? Datos, Información, Conocimiento

2. Modelos de Bases de Datos E/R

3. Integracion de Datos

4. Análisis de Datos

5. Recuperación de Datos

Agenda

Page 3: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

¿Qué es un dato?

Hecho individual acerca de algo de interés para alguien

Page 4: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

¿Qué es información?Datos relacionados

Page 5: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Los datos son la materia prima bruta

INFORMACIÓNINFORMACIÓN

Page 6: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Generación de Datos

Web (e-commerce) Supermercados(compras) Bancos (transacciones con tarjetas)

Comercial

Page 7: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Generación de Datos

Satélites (sensores)Telescopios Microarrays (información genética)Simulaciones

CientíficoCientífico

Page 8: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Datos

Datos almacenados

Bases de datos Web Archivos (excel, pdf, txt, etc)

Page 9: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Modelo Relacional

Page 10: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

KDD Descubrimiento de Conocimiento en Bases de Datos

Nos referimos al

Conocimiento

Page 11: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

¿Qué es conocimiento?Información co-relacionada

Patrones!

Page 12: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Algo peor que no tener información disponible es tener mucha información

Y no saber qué hacer con ella.

Información

Page 13: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

KDD Descubrimiento de Conocimiento en Bases de Datos

Page 14: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Necesidad de Análisis“Conocimiento”

● Entender mejor el ambiente

● Seguimiento a transacciones diarias: evaluar como funciona la organización

● Evaluaciones y estrategías tácticas:● Promociones● Porción del mercado controlado● Atracción de nuevos clientes● Globalización● Ambiente cultural● Tecnología

Page 15: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

INTEGRARINTEGRAR ANALIZARANALIZAR

RECUPERARRECUPERAR

BDBDBDBD

BDBD

Optimización

Grandes repositoriosDescripción,

Algoritmos inteligentes

Page 16: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Integrar Información

BODEGA DE

DATOS

BODEGA DE

DATOS

Page 17: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Bodegas de DatosData Warehousing

Page 18: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

Estructura del Proceso de Acceso a Datos y Entrega de Información en BI

Diseño y ConstrucciónModelos OLAP

OLAP

Modelos Molap / Rolap

Data Warehouse

ETLC Fuentes de datos

Calidad de datos

Data Quality

Data Warehouse

Score CardsReportes y ConsultasAnálisis OLAP Agregaciones Minería de datos

Metadata Integrada para Acceder Bases de Datos y Fuentes OLAPMetadata Integrada para Acceder Bases de Datos y Fuentes OLAP

Page 19: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Analizar Información

Análisis Exploratorio Minería de Datos

Page 20: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Análisis Exploratorio

Hacer uso de las habilidades humanas para el reconocimiento de patrones.

Una imagen vale más que mil palabras.

l 10th percentile

l 25th percentile

l 75th percentile

l 50th percentile

l 10th percentile

Gráficas de CajaGráficas de DispersiónHistogramas

Page 21: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

OLAP

Page 22: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Minería de Datos

Uso de métodos inteligentesmétodos inteligentes para extraer conocimiento (búsqueda de oro!oro!) .

Minería de

datos

DatosConocimiento

Page 23: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Minería de datosPaso del KDD,

Que descubre “conocimiento” en grandes conjunto de datosUsa métodos como:

Inteligenciaartificial

Aprendizaje

de Máquina Estadistica

Mineria de datosMineria de datosMineria de datosMineria de datos

Bases de datos

Page 24: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Minería de datos

No es…

• Buscar un número telefónico en un directorio

• Buscar en Google

• Generar histogramas de salarios por grupos de edades diferentes

Page 25: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

es…

• Encontrar grupos de personas con similares hobbies.

• ¿Hay mas probabilidad de desarrollar cáncer si se vive cerca de una línea de poder?

Minería de datos

Page 26: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Inteligencia de Negocios(BI)

Integración Análisis

Page 27: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

Estructura del Proceso de Acceso a Datos y Entrega de Información en BI

Diseño y ConstrucciónModelos OLAP

OLAP

Modelos Molap / Rolap

Data Warehouse

ETLC Fuentes de datos

Calidad de datos

Data Quality

Data Warehouse

Score CardsReportes y ConsultasAnálisis OLAP Agregaciones Minería de datos

Metadata Integrada para Acceder Bases de Datos y Fuentes OLAPMetadata Integrada para Acceder Bases de Datos y Fuentes OLAP

Page 28: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Recuperar InformaciónConsultas (queries) sobre los repositorios de datos

Datos estructuradosDatos estructurados Datos no estructuradosDatos no estructurados

TextoAudioVideo

imagenesIndices

DB

Informaciónestructurada

Page 29: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Sistemas de Recuperación de Información

System(Db,

www,etc)

Query

SystemSystemquery

matched toobject stored

Query

SystemSystemRanking objectsTop ranking objects

System(Db,

www,etc)

Query refined

Page 31: Bases de Datos Avanzadas - Departamento de Ingeniería de ...eleonguz/cursos/bda/... · Metadata Integrada para Acceder Bases de Datos y Fuentes OLAP. TABD - Introducción Recuperar

TABD - Introducción

Optimización: Indices