Casos big data

Casos de Usode Big Data

Wolfram Rozas31 Octubre 2014

2

Agenda

Introduccin

El Lago de Datos

Cambio en el Paradigma Analtico

El rol del Chief Data Officer

Las cinco categoras de Casos de Uso

Ejemplos de Casos de Uso

Experiencias reales

Taller

3

Los datos son el nuevo recurso

natural

Social, Mvilidad, Big Data

Juntas estn enriqueciendo a la sociedadcon conocimiento, a travs de redesque generan expectativas de valor a cambio de su informacin

4

Las 3 ies son la causa del Big Data

instrumentado

interconectado

inteligente

Hasta10.000x

msvolumen

Hasta 10.000x ms rpido

Data Warehouse traditional e Inteligencia

de Negocio

Data

Sca

le

Volu

men

ao mes sem da hora min seg ms

Hexa

Peta

Tera

Giga

Mega

Kilo

Velocidad Tiempo esperado de decisin

ocasionalmente frecuentemente tiempo real

Datos en movimiento

Dato

sen

reposo

Mexcla (no)estructurados

Analtica C

ompleja

5

Integracin y Analtica & (DW, MDM,)

Informacinno vista

Gobierno

SistemasOperacionales

6

Para poder ejecutar las nuevas oportunidades, hay en fuentes de datos no tradicionales

Datos transaccionalesy de aplicacin

Datos Mquina(M2M)

Datos Sociales

Volumen

Estructurado

Throughput

Velocidad

Semiestructurados

Ingestin

Variedad

Altamente desestructurados

Veracidad

Contenido Empresarial

Variedad

Altamente desestructurados

Volumen

7

Datos DISPONIBLESpara una organizacin

Datos que una organizacinpuede PROCESAR

Por tanto, cul es la paradoja de Big Data?

El porcentaje de datos disponibles que una empresa puede analizar decreceen relacin proporcional a la disponibilidad de los mismos.

2009 0,8 Zb (*)

2010 1 Zb

2011 1,8 Zb

2018 estimado 35 Zb

Volumen Datos mundiales

(*) Zb (Zettabyte) = 10 3 Exabyte = 10 6 Petabyte = 10 9 Terabyte

8

Datos en Reposo

Deben procesarseTB-EB

Datos en Movimiento

Datos en streaming, no almacenados,

decision necesaria en ms

Datos con mltiples formatos

Estructurados, no estructurados,

texto, multimedia

Datos ruidosos

Fiabilidad de los datos: desfasados, incom-pletos, conflictivos,

irnicos, equivocados, vagos, errneos

Volumen Velocidad Variedad Veracidad

Qu es Big Data?

GrandeApp Clsicas

Tiempo RealM2M

No estructuradosDocs Corporativos

CalidadSocial Media

9

Volumen

Registros de prstamos analizados cada da

180millonesVelocidad

Clculos de datos de bonos en 1 minuto

2 billonesVariedad

Emails analizados mensualmente

40millones

Analizar ms prstamos por niveles de riesgo y

patrones de fraude

Analizar ms profundamente para

descubrir sentimiento y actitudes de los clientes

Descubrir riesgo e identificar oportunidades ms rpido

que antes

de negocio no confan en la informacin que usan para tomar decisiones

Confirmar la Veracidad de las fuentes Big Data

Retos y oportunidades en Banca

10

Volumen

4 petabytesVelocidad

248millonesVariedad

datos no estructurados80%

de datos de

modelizacin de

climatologa para la

optimizacin de la

situacin de

aerogeneradores

de una smart grid,

predicciones de tiempo,

documentos, etc.

lecturas diarias en un

proyecto estndar de

contadores inteligentes

6.000 millones $ perdidos en US anualmente debido a prdidas no tcnicas

Retos y oportunidades en Utilities

Confirmar la Veracidad de lasfuentes Big Data

11

Volumen

>1000 Millones Velocidad

6000Varieda

d

Perfiles de Redes Sociales

Analizar enormes volmenes

de datos para conseguir una

ntida vista de 260 del cliente

Los clientes envan

variedad de datos -

blogs, videos, emails, pins, tweets, etc.

Conocer dnde estn los

clientes para ofertas

lanzadas en tiempo real

abonados de mvilesPosts de facebook diarios y crecimiento de datos

empresarial

Millones 2800 Millones

Retos y oportunidades en Retail

de negocio no confan en la informacin que usan para tomar decisiones

Confirmar la Veracidad de las fuentes Big Data

12

Exploracin, landing y archivo

Enterprise warehouse

Gobierno de la Informacin

Analtica en Tiempo Real

Data mart

Analytic appliances

InformacinOperacional

Experiencia de cliente

Gestin del Riesgo

Mejoraseconmico-financieras

Fuentes de Datos

SISTEMAS-SEGURIDAD-ALMACENAMIENTO

Datos de aplicaciones y transformaciones

Datos de mquinas y sensores

ContenidoEmpresarial

Datos de RedesSociales

Imagen y video

Datos de Terceros

Enterprise warehouse

Data mart

Appliances Analticos

Reporting, anlisis, analtica contenidos

Modelizacinpredictiva

Apoyo a Toma de Decisiones

Descubrimiento y exploracin

S. Cognitivos

++

Gestin de Operacionesy del Fraude

Ahorros IT

Nuevos modelosde Negocio

AplicacionesMejoradas

Area de Entendimiento

Arquitectura de Nueva Generacin

13

Exploracin y Descubrimiento

Text Analytics

Motor Bsqueda

Metadata Extraction

Resultados WebFeedsSubscripciones

Ruting Federacin Queires

Framework Aplicacin

Modelo Entidad

Aplicaciones Vista 360O

ExtendidaUser Profiles

Aplicaciones Exploracin

CM, RM, DM RDBMS Feeds Web 2.0 Email Web CRM, ERPFile Systems

Framework

Conector

MDM

14

Plataforma Hadoop

Datos almacenados en un sistema de ficheros distribuido en mltiples ordenadores econmicos (intel)

Se puede operar con funciones en los datos

Escalable a miles de nodes y petabytes de datos

Aplicacin MapReduce

1. Fase de Mapeo(divide el trabajo en

muchas partes)

2. Fase de Combinacin(transfiere el output para

procesamiento final)

3. Fase de Reduccin (Reduce todo el output a un

juego sencillo de datos)

Devuelve un conjunto sencillo

de resultados

Juego resultado

Combinar

public static class TokenizerMapper

extends Mapper {

private final static IntWritable

one = new IntWritable(1);

private Text word = new Text();

public void map(Object key, Text val, Context

StringTokenizer itr =

new StringTokenizer(val.toString());

while (itr.hasMoreTokens()) {

word.set(itr.nextToken());

context.write(word, one);

}

}

}

public static class IntSumReducer

extends Reducer

15

ModificarFiltrar/Muestreo

Clasificar

Fusionar

Anotar

Anlisis en Marcha (Streaming)

Puntuar

Agregar

Analizar

Real-time Analytics

ANTES AHORA

16

Data Warehousing de Alto Rendimiento

Velocidad

Considerar un appliance optimizado para analtica

Aceleracin de queries basada en HW

Procesamiento masivamente paralelo (MPP)

Base de Datos In Memory

Escalabilidad

Hasta petabytes

Arquitectura en paralelo

Simplicidad

Integrar SW, procesador y almacenamiento

Facilitar interfaces estndar

Minimizar gestin y optimizacin

Analtica Avanzada

Analtica Avanzada

CargadorCargador

ETLETLBIBI

Aplicaciones

FPGA

Memoria

CPU

FPGA

Memoria

CPU

FPGA

Memoria

CPU

HostsHost

Almacenar Procesar Conectar

Procesamiento Masivamente Paralelo (AMPP)

Orquestrar

17

Analtica de Texto

Analiza texto y detecta significados con

anotadores

Comprende el contexto en el que se

analiza el texto

Incorpora anotadores preconstruidos

para construcciones estndar de texto

como nombres, direcciones, nmeros

de telfono, etc.

Convierte informacin desestructurada

en texto estructurado

Anlisis de sentimiento

Conducta del consumidor

Actividades ilegales

18

Gobernanza del Big data

Integrar cualquier tipo de dato Estructurado

No estructurado

Streaming

Gobernanza Asegurar datos sensibles

Gestionar el ciclo de vida del dato para controlar el crecimiento de datos

Perfiles de fuentes de datos

Validar y gestionar la calidad de los datos

Gestionar la metadata para trazar el linaje de los datos

Datos maestros, integrarlos y extenderlos con big data para hacerlos fiables

Data ArchivingData

MaskingTest Data Management Application RetirementDiscover

PartnerPartner--delivered Solutionsdelivered Solutions

19

Comprende lenguajenatural y estilo de comunicacin humano

Evoluciona y aprendemediante entrenamiento, interaccin y resultados

Genera y contrastahiptesis basadas en evidencias

1 2

3

Me comprende

Me involucra

Aprende y mejora en el tiempo

Me ayuda a descubrir

Genera confianza

Tiene una enorme capacidad analtica

Opera en tiempo real

Los sistemas cognitivos representanuna nueva era de Computacin

Watson de IBM

20

Sistemas Seguridad

Instalacin propia, Cloud, Como un Servicio

Almacenamiento

Infraestructura de Big Data Y Analytics

AplicacionesNuevas/Mejoradas

Datos

Zona de analtica en tiempo real

Zona de DW Corporativo y

appliances

Zona de Gobernanza de Informacin

Zona de aterrijzaje,

exploracin y archivado

Ingestin de

informacin y

zona de

informacin

operacional

Qu podraocurrir? Modelos

predictivos

Qu accintomar?Toma de

Decisiones

Qu estocurriendo?

Descubrimientoy exploracin

Por quocurri?Reporting,

anisis,anlisis de contenidos

Fbricacognitiva

Big Data & Business AnalyticsNo existe lo uno sin lo otro

Data Lake

22

El problema de los Datos

Hay una desproporcin en el tiempo empleado en preparacin de datos en los proyectos de Anlisis

El Big Data complicar ms la situacin con la adicin de datos de mltiples formatos y la ingesta en tiempo real

23

Una demanda creciente.

Negocio quiere...

Acceso abierto a ms informacin Herramientas de anlisis y visualizacin

ms potentes

A los equipos IT

les preocupan los costes les preocupan los requisitos de gobernanza y regulatorios

24

Lagos o Pantanos?

A medida que recogemos datos Podemos preservar la claridad?

Conocemos lo que recogemos?

Podemos encontrar lo que necesitamos?

Estamos creando pantanos de datos?

Cmo construimos confianza en Big Data?

Sabemos para qu se usan los datos?

Hay que gobernar el dato!

25

Qu es un lago de datos?

Un lago de datos facilita datos a unaorganizacin para realizar anlisis de todotipo

Es posible introducir el anlisis en el lago de datos para generar conocimiento adicional de los datos cargados

Un lago de datos gestiona repositorioscompartidos de informacin para analizarla

Cada repositorio del lago de datos se optimiza para un procesamiento particular

Los datos pueden replicarse en mltiples repositorios en el lago de datos y tener distintossignificados/usos

Lago de Datos

Gestin de Informacin y Gobierno del Dato

Servicios del Lago de Datos

Repositorios del Lago de Datos

26

Arquitectura lgica

Data Lake

CatalogInterfaces

Data

Lake R

eposito

ries

HarvestedData

Information Warehouse

Deep Data

Advanced DataProvisioning

DescriptiveData

InformationViews

SharedOperationalData Operational

Status

Inter-lake

Exchange

DepositedData

Catalog

Data Refineries

Real-timeInterfaces

InformationIngestion

PublishingFeeds

CodeHub

InformationIntegration &Governance

InformationBroker

InformationBroker

OperationalGovernanceHub

OperationalGovernanceHub

CodeHub

CodeHub

MonitorMonitor WorkflowWorkflowStaging AreasStaging Areas

Real-timeAnalyics

StreamingAnalytics

StreamingAnalytics

ContentHub

Events to

Evaluate

Information

Service Calls

Data Out

Data In

Information

Federation

Calls

Notifications

Understand

Information

Sources

Deploy

Decision

Models

Information

Service Calls

Search

Requests

Report

Queries

Understand

Information

Sources

Curation

Interaction

Management

Data

Export

Data

Import

Understand

ComplianceInformation

Service Calls

Data

Export

Advertise

Information

Source

Deploy

Real-time

Decision

Models

Data

Import

AnalystInteraction

ReportingData Marts

InformationAccess

Find

Curate

Access

Provision

27

Resumen

A medida que la analtica de una organizacin se hace ms compleja, sernecesario:

Acceder a datos histricos de muchos sistemas

Estos datos incluyen datos sensible y valiosos que son el ncleo de la operacin

Hadoop felxible para almacenar muchos tipos de datso, pero no es suficientemente rpidopara alguna analtica en produccin. Los datos necesitan ser reformateados y copiados en una plataforma especializada paa el anlisis

Un lago o embalse suministra:

Un extraccin sencilla de datos

Catalogar y gobernar el dato

Interfaces sencillos para que la lnea de negocio acceda a la infomracin que precisan

Lago de Datos = Gestin eficiente, Gobernanza, proteccin y acceso

Cambios en el ParadigmaAnaltico

29

Cambios en el Paradigma Analtico

TRADITIONAL APPROACH

Analyze small subsets of information

Analyzedinformation

All available

information

BIG DATA & ANALYTICS APPROACH

Analyze all information

All available

informationanalyzed

Aprovechar ms de los datos que se estn capturando

Lpos datos dirijen y algunas veces las correlaciones son bastantes buenas

Reducir el esfuerzo requerido para aprovechar los datos

Aprovechar los datos a medida que se capturan


Carefully cleanse information before any analysis

Small amount of carefully

organized information


Analyze information as is, cleanse as needed

Large

amount

of messy information

Hypothesis Question

DataAnswer


Start with hypothesis andtest against selected data


Explore all data andidentify correlations

Data Exploration

CorrelationInsight

Repository InsightAnalysisData


Analyze data after its been processed and landed in a warehouse or mart

Data

Insight

Analysis


Analyze data in motion as its generated, in real-time

30

Cambios en el Paradigma Analtico

Predecir y decidir la mejor accin

Sistemas cognitivos

Anlisis intuitivo para cualquiera

Anlisis cmo y cundo lo necesitas


the realm of the specialist


embedded in everything


Scheduled


Real-time


Pre-programmed analysis on structured data


Learn to sense and predict using all types of information


What has happened and why


What will happen and what should you do

Chief Data Officer

32

Chief Data Officer

Fuente: IBM Institute for Business Value, The New Hero of Big Data and Analytics, The Chief Data Officer, June 2014

Es un lder de negocio que crea y ejecuta datos y estrategia de anlisis para generar valor en su negocio

Es responsible de definir, desarrollar e implantar la estrategia y los mtodos por los que la organizacinadquiere, gestiona, analiza y gobierna sus datos.

Tambin se hace cargo de identificar nuevasoportunidades de negocio mediante un uso creativo de

los datos corporativos

33

Cinco maneras en las que los CDO conducen crecimiento e innovacin

34

Entregar valor de negocio es la primeraprioridad del CDO

scarce

1. ExperienciaCliente/ Ciudadano

2. Eficienciaoperacionalmejorada

3. Capacidadmejorada parainnovacin

3 impulsorespara el CEO

Las 5 categoras de casosde uso

36

Innmeros casos de uso en cadaindustria

Seguros

Vista 360 del sujeto Modelizacin

catstrofes Fraude y Abuso Analtica de

rendimiento producto

Banca

Optimizacin de ofertas Servicio a clientes y

eficiencia Deteccin e

investigacin de fraude Riesgo de crdito y de

contrapartida

Telecom.

Call Center proactivo

Analtica de Red

Servicios basados en localizacin

Energa y Utilities

Analtica de Smart Meter

Prediccin/ planificacin de carga

Mantenimiento basadoen condicin

Ofertas a clientes (TOU)

Medios y Entretenimiento

Transformacin de procesos de negocio

Optimizacin de audiencias y marketing

Campaas multicanal Optimizacin de

comercio digital

Retail

Analtica de Cliente y Fidelizacin

Optimizacin de Mercancas

Precios ptimos

Transporte y Turismo


Analtica de MantenimientoPredictivo

Optimizacin de Capacidad y Precios

GranConsumo

Disponibilidad Estante

Optimizacin de Trade Funds

Cumplimiento de mercancas

Alertas/Excepciones de promociones

Gobierno

Servicios pblicos

Defensa e Inteligencia

Servicios fiscales y tributarios

Salud

Medir y actuar sobrelos resultados de salud

Involucrar a los consumidores en susalud

Automocin

Monitorizacinavanzada de condicin

Optimizacin Data Warehouse


Farmacia

Aumentar la visibilidadde la seguridad y efectividad de los medicamentos

Qumica y Petrleo

Vigilancia, Anlisis, OptimizacinOperacional


Investigacin Upstream

Aviacin y Defensa

Plataforma de AccesoInformacin Uniforme


Plataforma de Certificacin Aerolnea


Electrnica de Consumo

Analtica de clientes/ canal


37

ExploracinEncontrar, visualizar, comprender los Big Data para mejorar el proceso de decisin

Vista 360 cliente mejoradaExtender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de informacin internas y externas

Inteligencia OperacionalAnalizar una variedad de datos mquina para mejorar la eficiencia operacional

Aumento del Data WarehouseIntegrar las capacidades de big data y de data warehousing para mejora de resultados de negocio

Seguridad/Inteligencia AumentadaReducir riesgo, detectar fraude y monitorizar seguridad en tiempo real

Las 5 Categoras de Casos de Uso

38







39

Exploracion: Necesidades

Luchar para gestionar y extraer valor de las 3 Vs en la empresa; necesidad de unificar la informacin en fuentes federadas

Incapacidad de relacionar los datosbrutos recogidos de logs de sistema, sensores, clickstreams, etc., con datos de clientes y de negocio

Riesgo de exponer informacin de identificacin personal y/o datosprivilegiados debido a carenciasde conciencia de la sensibilidadde la informacin

Encontrar, visualizar, comprender todos los datos paramejorar el proceso de toma de decisiones

40

Call Center

Highly relevant, secure &

personalized results

Access all sources

or individual source

Refinements based

on metadata

Dynamic

categorization

Narrow down results set

Setup alert to

notify change

Identify topical experts

Tag results

Rate results

Comment results

Store &

share results

4141

Distintos propsitos de exploracin

42IBM Confidential

44







45

Necesidades

Necesita una mayor comprensin del sentimiento de la clientela

Extender las vistas actuales de clientes (MDM, CRM, etc.) aadiendo fuentes de informacininternas y externas

Deseo de mejorar la fidelizacin (activa) del cliente y la satisfaccinidentificando accionessignificativasnecesarias

Desafo en facilitar la informacin correcta a los decisores para suministrar a los clientes lo que realmentenecesitan (resolver problemas, cross-sell, etc.)

46

Anlisis Actitudinal de Clientes

47

Pisadas

Sociodemogrficos y Conducta

Trnsito

Patrones de movimiento de personas y patrones de estancia Anlisis por hora y da Inferencia para mtricas de estancias dentro de edificios

Perfil sociodemogrfico combinado con movimiento Edad, gnero, pas, direccin vivienda, direccin trabajo, tipo dispositivo (datos, status), patrn de actividad

Inferencia de rutas de transporte pblicoincluyendo carreteras, trenes, autobuses

GeoMarketing 2.0 / Geofencing

48

Big Data DWBig Data DW

Datos linealesDatos lineales

Datos no

lineales

Datos no

lineales

Datos

suscripcin

Datos

suscripcin

Datos afinidad

y de gasto

Datos afinidad

y de gasto

Datos Redes

Sociales

Datos Redes

Sociales

Marketing/ ResearchMarketing/ Research

VisualizacinVisualizacin

Motor de

Reglas

Anlisis PredictivoAnlisis Predictivo

Datos

demogrficos

Datos

demogrficos

Gestin de Campaas

multicanal

Gestin de Campaas

multicanal

Procesado

Tiempo Real

Procesado

Tiempo Real Desarrolla modelos predictivosDesarrolla modelos predictivos2

VinculacinVinculacin

Perfil 360Perfil 360

Tipo FanTipo Fan

Crear lista de prospectos mediantemodelos predictivos y producir

campaas de marketing

Crear lista de prospectos mediantemodelos predictivos y producir

campaas de marketing

3

PropensinPropensin

ChurnChurn

PortalPortal

Text

Mining

Lista de Prospectos

Fan

Lista de Prospectos

Fan

Noestructurado

EstructuradoEstructuradoExtraer datos y ejecutar

integracin de entidades paracrear perfilesindividuales

Extraer datos y ejecutar

integracin de entidades paracrear perfilesindividuales

1InfluenciaInfluencia

Anlisis de Pblico Objetivo basado en Fans

49







50

Necesidades

Inteligenciamejorada y Vigilancia

Prediccin y mitigacin de ciberataques en tiempo real

Analizar el trfico de red para: Descubrir nuevas amenazas tempranamente Detectar amenazas complejas conocidas Actuar en tiempo real

Analizar datos sociales y de telecomunicaciones para:

Reunir evidencia criminal Prevenir las actividades criminales Prender criminales proactivamente

Prediccin y proteccin de crmenes

La extensin de Seguridad/Inteligencia mejora lassoluciones de seguridad analizando todo tipo de fuentes

Analizar datos en movimiento y parados para:

Encontrar asociaciones Descubrir patrones y hechos Mantener la actualidad de la informacin

51

Informacin s de Seguridad y Gestin de

Eventos (SIEM)

Co

ne

cto

res

DataWarehouse

Sistema de Monitorizacin de

Vigilancia

Sistema de Seguimiento de

InformacinCriminal

Co

ne

cto

res

Da

tos

no

es

tru

ctu

rad

os

/en

str

ea

min

gD

ato

sE

stru

ctu

rad

os

Tra

dic

ion

ale

s

Anlisis profundo

Anlisisoperacional

Gestin de datosestructurado de alto volumen

Ap

plian

ce d

e m

on

ito

rizacio

nd

e

tele

metr

ad

e r

ed

(O

pcio

nal)

Ingesta y procesamiento en

tiempo real

Video/audio Red Geoespacial Predictivo

Almacenamiento y Anlisis

Text mining Data mining Machine learning

Anlisis de Entidades/ Relaciones

Modelo Conceptual

52

Adaptarse a cambios en

negociosclientes

productos

Evolucin

ProblemasIntegridad?

Consistenciadel proceso

de gestin de riesgo de crdito

Informarinvolucrados

Reportar

ReportingLimitado

Reporting limitado de

exposicionesy colaterales

Limitar el dao usando

cobertura

Cobertura

Respuestaa Tiempo

Falta de herramientas

de monitorizacin

de crdito

Reunir datosde posiciones,

mercados, oportunidades

, etc.

Preparar

DatosHistricos

Muchos datos, cambiandomuy rpido, demasiadavariedad

EstimarRatings y

exposiciones

Exposicin

ClculosScoring

Complejos

Los clculosde scoring necesitan

hacerse msrpido

Compararexposicinagregada

contra lmites

Lmites

Demasiadosdatos

No hay simple vista del riesgo de crdito

(muchasvistas)

Determinarreqs. capital

Capital

MinimizarCostes

Optimizacinde las prdi-

das de crdito, capital,

colaterales

Stress testing y Anlisis de Escenarios

Stress

DemasiadosWhat ifs?

Mltiplesescenarios de stress ad hoc

Mitigacin de riesgoslegales

Documentos

GestinInformacin

Gestionardatos no estruc. de

oportunidadesy colaterales.

Reporting y bsqueda

Datos no estructurados:Anlisis de sentidoscomo Anlisis de EntidadesOtras fuentes de datos comogeoposicionamiento, redes sociales

Anlisis en Tiempo Real:

Clculos en casitiempo realAppliance/funcincalidad streams

Escalabilidad:Capacidad a nivelde petabytes paragrandes portfolios de crdito

Gestin de Datos:

MDM para lasentidades de contrapartida legal

App. Riesgo: App de riesgo de crdito y colaterales

Anlisis masivo:10-100x msrpido quesistemastradicionales con empleo de Appliance

Gestin de Riesgos

53







54

Necesidades

Ganar una visibilidad en tiempo real de lasoperaciones, experiencia de cliente, transacciones y conducta

Planificar proactivamente para mejorar la eficiencia operacional

Analizar una variedad de datos mquina paramejorar los resultados de negocio

La capacidad de analizar datos mquina y combinarlos con los datos corporativosobteniendo una vista completa puede capacitara las organizaciones a:

Identificar e investigar anomalas Monitorizar la infraestructura punto a punto

para evitar proactivamente la degradacin del servicio o las cortes

55

Lo

gs b

ruto

sy d

ato

sm

q

uin

a Indexar, buscar

Modelizacin estadstica

Anlisis Causal

Exploracin y Descubrimiento

Anlisis en tiempo real

Slo almacenar lo necesario

Modelo Conceptual

Acelerador de Datos Mquina

56

Anlisis de los Datos Mquina (M2M)

App. Server Logs

Web Access Logs

Web Proxy Logs

Clickstream Data

Message Queues

System Logs

Configuration Files

Database AuditLogs and Tables

Facility Systems

Sensor Data

Smart Meters

HDFS Logs

Utility Systems

Datos en reposo

Ingestin Datos

Datos en movimiento

Extractores

Estructurado

Anlisis texto

Procesamiento

Algoritmos adaptativos

Indexado

Bsqueda

Causa raz

Anlisis

Anlisis Patrones

Deteccin de Anomalas

Anlisis Predictivo

Queries Dinmicas

Tiempo real

Solucin de Negocio

Visualizacin

No estructurado

Correlacin

57

Deteccin de Anomalas

Datos histricos Ultimos datos

1. Para cada punto de suministro se identifican otros puntos que tenganconducta de consumo similar

200D

5E

15C

10B

100A

LecturaContador

2. Se identifica cunto se desvael ltimo consumo del grupo

3. Se identifican los consumos msanmalos para centrar la investigacin

58

Network Analytics

Anlisis en tiempo real del uso de los clientes y de su experiencia de los servicios de datos y aplicaciones, para mejorar la experiencia de cliente

Recogida y extraccinde datos

Mediacin, Correlacin y Anlisis

Aplicaciones

Soluciones

1. Servicio a Clientes: priorizar problemas de clientes

2. Operaciones de Red: impacto de los eventos de red (cuellos de botella,, llamadas cadas, cortes, etc.) en la

calidad de la experiencia de los abonados

3. Ventas & Marketing: aumentar la tasa de aceptacin

59







60

Necesidades

Necesidad de usar variedad de datos Extender la infraestructura Almacenamiento optimizado, mantenimiento y costes de

licenciamiento para migrar datos raramente usados (fros)a Hadoop

Costes de almacenamiento reducidos por procesamientointeligente de datos en streaming

Rendimiento del data warehouse mejorado determinando

Integrar las capacidades de big data y de data warehouse par amejorar la eficiencia operacional

Anlisis profundo en streaming de datosestructurados, no estructurados

Requerimientos de latencia baja (horas semanas) Se requiere acceso a los datos

61

Valor y Modelo Conceptual

Pre-Processing Hub Query-able Archive Exploratory Analysis

Information Integration

Data Warehouse

StreamsReal-time processing

BigInsightsLanding zone for

all data

Data Warehouse

BigInsights

Can combine with unstructured information

Data Warehouse

1 2 3

Find and view the data

Data Explorer

Data Explorer

BigInsights

StreamsOffload analytics for

microsecond latency

62

Aplicar polticas de retencin de datos

Capturar objetos de negocio completos

Preservar integridad de datos

Preservar metatada

Cargar datos a Hadoop segn sea necesario

Archivar Datos Fros

Almacn interrogable

utilizando Hive en

HadoopArchivar y purgar datos

InfoSphere

Optim

Archivos comprimidos,

auditables, y restaurables

Base de DatosDistribucin

Hadoop

Ficheros

Archive

Offloading

Ejemplos de Caso de Uso

64

ResultadosInteracciones proactivas

Aceptacin mejorada de ofertas

Satisfaccin clientes mejorada

Datos Externos ClienteCredit bureaus, demogrficos

(datos comprados)

Deteccin eventos tiempo real

Microsegmentacin

Sentimiento y Satisfaccin

Optimizar ofertas y timing

Modelos predictivos ms rpidos y precisos

NuevasCapacidades

GeoespacialLatitud, longitud (X,Y)

SocialActitudes,

preferencias

Datos Internos Clientes

Estructurados & No Estructurados

Contact CenterNotas y chats,

Interaccion con cliente

TransaccionesMulticanal

(Web, call-center, oficinal)

EventosTriggers conducta cliente

CorrespondenciaEmails y chats

Optimizacin de ofertas y venta cruzada

65

ResultadosIdentificar oportunidades de trading rentables

Crear una adecuada estructura de pricing para

reducir los picos de demanda

Cumplir los objetivos de uso de nerga

renovables

Evitar sobrecargar la red de transmisin y

distribucin

Prediccin de patrones de demanda

Prediccin de resultado de energa renovable

Predecir la necesidad de comprar o la oportunidad de vender energa en el mercado abierto

Optimizar la planificacin de generacin

Nueva capacidad

Topografa de Distribucin de Energa

Planificacin de mantenimiento de Equipamiento

Optciones de Generacin de EnergaPatrones demanda histricosLmites de capacidad de activosPlanes de produccin industrial

TiempoPrediccionesAlertas

Geoespacial y Temporal Datos GIS

ClientesSensibilidad al

precio por tiempo de uso (TOU)

Trading

Datos de mercado

actuales y previstos de

precios de fuel y energa

Prediccin y planificacin de carga en Utilities

66

ResultadosReducir los costes de marketing

Reducir abandonos

Incrementar fidelizacin

Ejecutar tcticas efectivas de Marketing

Microsegmentacin de clientes y vista 360 extendida

Obtener ms conocimiento del anlisis de sentimiento y de satisfaccin

Entregar ofertas a clientes a tiempo

Nueva capacidad

GeoespacialLatitud, longitud

(X,Y)Social Media

Sentimiento, intencin, preferencias,

ClickstreamActividades Online

clienteSocidemogrficos,

transacciones y patrones de compra

POSLogsTransaccional

VideoVigilancia, trfico de pies en la tienda

EventosTiempo, eventos

locales

Call CenterLlamadas: texto y audio

EmailAnalizar texto

para encontrar patrones

Competidores

Producto, pricing, etc.

Optimizacin de carga en Retail

Experiencias

68

Fabricante aeroespacial globalincrementa la eficiencia de la fuerza laboral y ahorra 36M$ anualmente

Necesidad

Los retrasos en resolucin de problemas de mantenimiento son caros y potencialmente incurren en penalizaciones financieras por tener equipos fuera de servicio

Aumentar la eficiencia de su mantenimiento y apoyar a los tcnicos, personal de apoyo e ingenieros

Beneficios

Dar apoyo a 5,000 agentes de servicio

Uso de manuales de papel eliminado que previamente se empleaban para investigacin

Poner en servicio ms de 40 aviones adicionales sin ms personal de apoyo

Tiempo de llamadas de servicio reducido en un 70% (de 50 a 15 min)

6969

Compaa de Emailing Americana analiza miles de millones de emails no estructurados

Necesidad

Sus clientes envan 35 millardos de emails cada ao (a sus bases de clientes)

Analizar la efectividad de emails es crtica para el xito del cliente

Poder analizar las tendencias

Reducir el tiempo de enviar emails

Saber qu contenidos son ms efectivos en campaa

Beneficios

40X mejora de rendimiento

Tiempo de anlisis reducido de horas a

segundos

Mejora directamente la experiencia de

clientes 15%-25% mejora de respuesta de las

campaas

Fcil de usar por la organizacin

Mejora los sistemas de anlisis

70

Fabricante de tecnologa de datos en streaming de sistemas de vigilancia

Necesidad

Desplegar un sistema de vigilancia para

detectar, clasificar, localizar, y rastrear

amenazas potenciales en un laboratoro

nacional altamente sensible

Beneficios

Tiempo de captura reducido para analizar

275MB de datos acsticos de horas a 1/14

de segundo

Anlisis de datos en tiempo real de

diferentes tipos de sensores y 1,024 canales

individuales para apoyar el permetro de

seguridad

Respuesta ms rpida e inteligente a

cualquier amenaza

71

Un mercado de Bolsa amercianomejora notablemente el rendimientode su gestin de informacin

Necesidad

Mayor flexibilidad para cumplir las

demandas del mercado

Reducir el tiempo necesario para

acceder a datos crticos de negocio

en su red, que sola ser 26 horas

El anterior sistema era ineficiente

en las bsqueda rastreando

mltiple informacin irrelevante

Beneficios

Capacidad de ejecutar rpidas

bsquedas de 650 Tb ;

almacenando alrededor de 1Pb

El tiempo de acceso a datos

crticos de negocio se ha reducido

de 26 horas a 2 minutos

72

Bureau Salud Asitico reduce errores de diagnstico

Necesidad

El servicio telemdico de diagnstico por imgenes tiene como objetivo aumentar la salud rural

Automaticamente mueve y analiza grandes collecciones de imgnesbuscando anomalas y enfermedades

Hace posible que radilogos y patlogos analicen 1000s imgenes de pacientes cada da

Mejoras esperadas:

Reduccin en errores de diagnstico

Resultados mejorados aprovechando el tratamiento mdico de casos similares

73

El Instituto de la Universidad de Ontario detecta los sntomas de neonatos con anterioridad

Ejecuta analtica en tiempo real utilizando datos fisiolgicos de los neonatos

Correlaciona datos continuamente de monitores mdicos para detectar cambios stiles y alertar al personal mdico antes

El sistema avisa a los cuidadores de posibles complicaciones

Beneficios:

Ayuda a detectar condiciones de amenaza hasta 24 horas antes

Reduccin de mortandad infantil y mejora de los cuidados de los pacientes

74

Una gran organizacin no lucrativa de

I+D conduce una proyecto de

demostracin regional para validar las

tecnologas de smart grid

Necesidad

Reunir y analizar datos del rendimiento de la smart grid de 15 sitios de prueba que representan el terreno, meteorologa, y demografa de la regin para derivar conocimiento y validar las tecnologas smart grid

Beneficios

50% de cadas a corto plazo en horas punta

15% de caidas en picos generales

10% reduccin de las facturas de electricidad (recomendaciones de consumo)

70 mil M$ de ahorros proyectados en 20 aos

Poder analizar 10 Pb en minutos

75

Ayudar a reducir los costes de energa y la fiabilidad y rendimiento de la red

Necesidad

Validar la viabilidad de una tcnica de la smart grid llamada control transactivo

Beneficios

Une a consumidores con activos mediante un sistema de seal-respuesta optimiza el sistema e integrar mejor los recursos renovables

Permite analizar y ganar conocimiento de 10Pb en minutos

Aumenta la eficiencia y la fiabilidad de la red mediante la auto-monitorizacin y feedback

Se capacita a la ciudad para evitar una potencial cada de tensin

75

76

Fabricante de aerogeneradores optimiza inversiones de capital

Necesidad

Definir modelos climticos para optimizar la localizacin de las turbinas, maximizando la generacin de energa y la vida residual del equipamiento

Beneficios

Reduce el tiempo requerido para identificar la localizacin de la turbina de semanas a horas

Reduce los costes de IT y disminuye el consumod e energa en un 40%

Incorpora 2,5Pb de flujos de informacin estructurada y no estructurada. Se espera que el volumen de datos crezca hasta 6Pb76

77

Deteccin de cambios medioambientales de recursos hdricos en tiempo real

Necesidad

Recoger y procesar mltiples flujos de datos fsicos, qumicos, y biolgicvos de sensores instalados en la Baha de Hudson

Los datos de sensores se analizan junto con datos meteorolgicos y se agregan

Los datos medioambientales en tiempo real se entregan en formato estndar a los cientficos, ingenieros, polticos y educadores

Beneficios

Estimula la colaboracin publicando los datos del mundo reales a sistemas externos, investigadores, y polticos

Ayuda a la gestin de recursos a responder ms efectivamente ante cambios en los recursos hdricos locales

7777

78

Centro de la Ciudad de Dublin: sistema de control de trfico robusto y eficiente que

Necesidad

Una solucin eficiente en presupuesto para mejorar el sistema de control de trfico

Su objetivo es incrementar la precisin en deteccin de eventos, inferencia de las condiciones de trfico (velocidad) y prediccin de llegada de autobuses

El resto es analizar adecuadamente los datos GPS, que son normalmente masivos y difciles de capturar

Beneficios

Monitorizar 600 autobuses de 150 lneas diariamente

Analizar 50 actualizaciones de localizaciones de autobs por segundo

Recoge, procesa y visualiza los datos de localizacin de todos los vehculos de transporte pblico

7878

Taller

80

Seleccionamos sectores industriales de inters

12

3

45

6

Definimos la

necesidad,

problema u

oportunidad de

negocio

Identificamos la idea innovadora que nos permite implantar la tecnologa

Listamos los datos estructu-rados y no estructurados

Enumeramos los beneficios o nuevas capacidades de su implantacin

Dibujar

la

arquitec

tura

concep

tual de

la

solucin

81

Valoracin de Ideas

Innovacin FactibilidadTcnica

FactibilidadEconmica

Valoramos del 1 al 10

Muchas gracias por su atencin

Casos big data

Data & Analytics

Transcript of Casos big data