Un nuevo algoritmo incremental IADEM-0 Autores: Gonzalo Ramos Jiménez, Rafael Morales Bueno, José...

Un nuevo algoritmo incrementalUn nuevo algoritmo incrementalIADEM-0IADEM-0

Autores:Gonzalo Ramos Jiménez,Rafael Morales Bueno,José del Campo Ávila

Ponente:José del Campo Ávila

Lenguajes y Cienciasde la Computación

E.T.S. Ingeniería InformáticaUniversidad de Málaga

2 de 28

CONTENIDOCONTENIDO

IntroducciónIntroducción

Introducción IADEM-0 Resultados Conclusiones

Descripción de IADEM-0Descripción de IADEM-0

ResultadosResultados

Conclusiones y trabajos futurosConclusiones y trabajos futuros

3 de 28

IntroducciónIntroducción

Sistemas de aprendizaje automático Sistemas de aprendizaje automático trabajan sobre conjuntos de datos para trabajan sobre conjuntos de datos para extraer conocimiento (inducción)extraer conocimiento (inducción)

Conjuntos de datos cada vez mayoresConjuntos de datos cada vez mayoresGrandes bases de datosGrandes bases de datosFlujos de datosFlujos de datos

Extraer conocimiento con algoritmos Extraer conocimiento con algoritmos tradicionales es una tarea inabordabletradicionales es una tarea inabordableRequisitos de memoriaRequisitos de memoria


4 de 28

La memoria en los algoritmosLa memoria en los algoritmos

Modelos de Modelos de memoria de experienciasmemoria de experienciasCompletaCompleta: se guardan todas las experiencias: se guardan todas las experiencias

IB1, ID3, ITIIB1, ID3, ITIParcialParcial: se guardan algunas experiencias: se guardan algunas experiencias

IB2, AQ-PM, FLORAIB2, AQ-PM, FLORASin memoriaSin memoria: no se guardan experiencias: no se guardan experiencias

Winnow, ID4, VFDTWinnow, ID4, VFDT

Modelos de Modelos de memoria de conceptosmemoria de conceptosNingunaNinguna: no almacena descripción de concepto: no almacena descripción de conceptoAlgunaAlguna: reglas, árboles de decisión, etc.: reglas, árboles de decisión, etc.


5 de 28

Representación de conceptosRepresentación de conceptos

Hay tres formas de representar los conceptosHay tres formas de representar los conceptos EjemplarEjemplar: se compone de las experiencias en sí: se compone de las experiencias en sí ClásicaClásica: los conceptos son representados por : los conceptos son representados por

expresiones lógicas que son necesarias y/o suficientes expresiones lógicas que son necesarias y/o suficientes para describir las propiedades de los conceptospara describir las propiedades de los conceptos

ProbabilísticaProbabilística: asume que los conceptos representados : asume que los conceptos representados muestran importantes propiedades de los conceptos muestran importantes propiedades de los conceptos reales, pero cualifica su importancia con probabilidades y reales, pero cualifica su importancia con probabilidades y otras medidas de confianzaotras medidas de confianza

La representación probabilística permite explorar La representación probabilística permite explorar los datos mientras mantenemos la información más los datos mientras mantenemos la información más relevante extraída de las experiencias exploradasrelevante extraída de las experiencias exploradas


6 de 28

Algoritmos incrementalesAlgoritmos incrementales

Distintas interpretaciones Distintas interpretaciones (Michalski, Polikar)(Michalski, Polikar)

Características principales:Características principales:Capacidad de incorporar nuevas experiencias a Capacidad de incorporar nuevas experiencias a

la base de conocimientola base de conocimientoCapacidad de evolucionar la base de Capacidad de evolucionar la base de

conocimiento desde una estructura sencilla hacia conocimiento desde una estructura sencilla hacia otra más complejaotra más compleja

Ejemplos:Ejemplos: ID4, STAGGER, Winnow, AQ-PM, ID5, ITI, VFDTID4, STAGGER, Winnow, AQ-PM, ID5, ITI, VFDT


7 de 28

Gran cantidad de Gran cantidad de experienciasexperiencias

Chernoff y HoeffdingChernoff y HoeffdingChernoff y HoeffdingChernoff y Hoeffding

Árbol decisiónÁrbol decisiónÁrbol decisiónÁrbol decisión

Con memoria Con memoria de conceptosde conceptos

Llegada de nuevas Llegada de nuevas experienciasexperiencias

Fundamentos de IADEM-0Fundamentos de IADEM-0


Grandes bases de datos Grandes bases de datos que no crecenque no crecen

Grandes bases de datos Grandes bases de datos que crecenque crecen

++Flujos de datosFlujos de datos

Sin memoria de Sin memoria de experienciasexperiencias

Algoritmos Algoritmos incrementalesincrementales

IADEM-0IADEM-0IADEM-0IADEM-0

Representación Representación probabilísticaprobabilística

8 de 28

IADEM-0 (I)IADEM-0 (I)


InicializarInicializar

mientrasmientras ( ( ¬ Condición_Parada ¬ Condición_Parada ¬ Condición_Completamente_Expandido) hacer:¬ Condición_Completamente_Expandido) hacer:

Muestrear y RecalcularMuestrear y Recalcular

sisi ( ( ¬ Condición_Parada ¬ Condición_Parada Condición_Expansión) Condición_Expansión)

entoncesentonces sisi Condición_Es_Expansible(peor_nodo) Condición_Es_Expansible(peor_nodo)

entoncesentonces Expandir_ÁrbolExpandir_Árbol

IInducción denducción de

IIAADEDEMM-- 00ÁÁrboles derboles de

DEDEcisión porcisión porMMuestreouestreo

9 de 28




sisi ( ( ¬ Condición_Parada ¬ Condición_Parada Condición_Expansión) Condición_Expansión)

entoncesentonces sisi Condición_Es_Expansible(peor_nodo) Condición_Es_Expansible(peor_nodo)





sisi ( ( ¬ Condición_Parada ¬ Condición_Parada Condición_Expansión Condición_Expansión))

entoncesentonces sisi Condición_Es_Expansible(peor_nodo)Condición_Es_Expansible(peor_nodo)


IADEM-0 (II)IADEM-0 (II)


¿Cuándo expandir el árbol?¿Cuándo expandir el árbol? No solución deseadaNo solución deseada Frontera de expansiónFrontera de expansión Sea expansibleSea expansible

(mejor atributo del peor nodo)(mejor atributo del peor nodo)

¿Cuándo parar?¿Cuándo parar? Solución deseadaSolución deseada Árbol totalmente expandidoÁrbol totalmente expandido


mientrasmientras ( ( ¬ Condición_Parada ¬ Condición_Parada ¬ Condición_Completamente_Expandido¬ Condición_Completamente_Expandido) hacer:) hacer:

ProcedimientosProcedimientos

Muestrear nuevas experiencias y recalcular valoresMuestrear nuevas experiencias y recalcular valores Expandir el árbolExpandir el árbol



Inicializar las estructurasInicializar las estructuras

Expandir_ÁrbolExpandir_Árbol

10 de 28

IADEM-0 (III)IADEM-0 (III)

Parámetros y procedimientosParámetros y procedimientos

Diferencias entre nodos reales y virtualesDiferencias entre nodos reales y virtuales

Grupo elemental de variablesGrupo elemental de variables


PredicadosPredicados

11 de 28

Parámetros y argumentosParámetros y argumentos

ArgumentosArgumentos Descripción del problema ( atributos y sus valores )Descripción del problema ( atributos y sus valores ) Conjunto de experienciasConjunto de experiencias Error buscado ( Error buscado ( (0,1) (0,1) )) Confianza ( Confianza ( (0,1)(0,1) ) )


ParámetrosParámetros Factor de expansión ( Factor de expansión ( (0,1) (0,1) ))

determina la frontera de expansióndetermina la frontera de expansión

Diferenciación de atributos ( Diferenciación de atributos ( d d (0,1)(0,1) ) )determina cuándo los atributos son realmente diferentesdetermina cuándo los atributos son realmente diferentes

Medida de desorden ( medida: Medida de desorden ( medida: [0,1][0,1]kk R R ++ {0} {0} ))puede elegirse cualquierapuede elegirse cualquiera

Número de experiencias por muestreo ( Número de experiencias por muestreo ( nn N N ++ ) )

12 de 28

Nodos reales y nodos virtuales (I)Nodos reales y nodos virtuales (I)


BB

CC

A={aA={a11,a,a22}}

B={bB={b1 1 ,b,b2 2 ,b,b33}}

C={cC={c11,c,c22}}

X={xX={x11,x,x22}}

XX

CC

XX XXcc11 cc22

AA

XX XXaa11 aa22

AA

XX XXaa11 aa22

XXXX AA

XX XXaa11 aa22

XX

CC

XX XXcc11 cc22

AA

XX XXaa11 aa22

bb11 bb22 bb33

cc11 cc22

13 de 28

Nodos reales y nodos virtuales (II)Nodos reales y nodos virtuales (II)


BB

CC

A={aA={a11,a,a22}}

B={bB={b1 1 ,b,b2 2 ,b,b33}}

C={cC={c11,c,c22}}

X={xX={x11,x,x22}}

XX

CC

XX XXcc11 cc22

AA

XX XXaa11 aa22

AA

XX XXaa11 aa22

XXXX AA

XX XXaa11 aa22

XXAA

CC

XX XXcc11 cc22

bb11 bb22 bb33

cc11 cc22

CC

XX XXcc11 cc22

XXXX

aa11 aa22

14 de 28

Grupo elementalGrupo elemental

Árbol definido en base a los nodos hoja Árbol definido en base a los nodos hoja HOJASHOJAS N N ++


Grupo Elemental ( para el nodo Grupo Elemental ( para el nodo ii HOJASHOJAS)) atributos_usadosatributos_usados i i

atributos_libresatributos_libres i i

LL i i

AA i i

VV i, r i, r

virtualesvirtuales n’n’ ( i, r, v ) ( i, r, v )

n’n’ ( i, r, v ), z ( i, r, v ), z

tt i i

nn i i

nn i, z i, z

totaltotal i i nodosnodos i i

Subgrupo EstructuralSubgrupo Estructural

Subgrupo ContadoresSubgrupo Contadores

Subgrupo VirtualesSubgrupo Virtuales

15 de 28


InicializarInicializar Primer nodo hoja del árbolPrimer nodo hoja del árbol Valores iniciales a las variables del grupo elementalValores iniciales a las variables del grupo elemental

Muestrear_y_RecalcularMuestrear_y_Recalcular Toma Toma nn experiencias y actualiza la estructura experiencias y actualiza la estructura Se recalculan variables y predicadosSe recalculan variables y predicados

Expandir_ÁrbolExpandir_Árbol Elimina el Elimina el peor_nodopeor_nodo hoja hoja Inserta como nuevas hojas a los hijos del Inserta como nuevas hojas a los hijos del peor_nodopeor_nodo

16 de 28

Condición_Parada : 2Condición_Parada : 2NN { { V, F V, F }}

Condición_Parada(HOJAS) Condición_Parada(HOJAS) sup( error ) sup( error )

Predicados (I)Predicados (I)


S_ERRORmax VALORE (error) sup

H..., ,1i

)qsup(),qinf(h

1g

)wsup(),winf(g

)h - (1 g x 1,0)x..., ,x(ERROR_VECTORES

iii

H

1ii

iii

iiiH

H1 |

ERROR_VECTORES X )X( ERROR_VALORES |H

1i

H

i

RROR VALORES_Emin (error) inf


Condición_Parada(HOJAS) Condición_Parada(HOJAS) sup( error )sup( error )

17 de 28

Predicados (II)Predicados (II)


0 t si 0

0 t si t / n) w( est

i

i i ii

0 t si 1

0 ) w est( 0 t si 1 ,) / 2 ln(t 2

1 ,) / 2 ln(

t

3 min

0 ) w est( 0 t si 1 ,) / 2 ln(t 2

1 ,) / 2 ln(

t

) w( est 3 min

) w(

i

i ii

2i

i ii i

i

i

} ) w( ) w( est 1, { min ) w sup(

} ) w( ) w( est 0, { max ) w inf(

i i i

i i i



18 de 28

Predicados (III)Predicados (III)


psup ,pinf x 1x 1,0)x,...,x(P jijij

k

1jj

k k1i |

k..., 1, t )X()X( PX )X(M

k

t

k

ji

k

jj,i |

k

1jj,ii MM

ii

ii

Mmax )(q sup

M min )(q inf

0 n si 0

0 n si n/ n) p( est

i

i i z,iz,i

0 n si 1

0 ) p est( 0 n si 1 ,) / 2 ln(n 2

1 ,) / 2 ln(

n

3 min

0 ) p est( 0 n si 1 ,) / 2 ln(n 2

1 ,) / 2 ln(

n

) p( est 3 min

) p(

i

z,i ii

2i

z,i ii i

z,i

z,i

} ) p( ) p( est 1, { min ) p sup(

} ) p( ) p( est 0, { max ) p inf(

z,i z,i z,i

z,i z,i z,i



19 de 28

Predicados (IV)Predicados (IV)


sup(error)sup(error)

inf(error)inf(error)



20 de 28

Predicados (V)Predicados (V)


Condición_hojas_disponiblesCondición_hojas_disponibles: : 22NN { { V, F V, F }}

Condición_hojas_disponibles (HOJAS) Condición_hojas_disponibles (HOJAS) | { | { i i HOJAS | atributos_libresHOJAS | atributos_libresii = = }} | > | > 00

Condición_de_expansión : 2Condición_de_expansión : 2NN { { V, F V, F }}

Condición_de_expansión(HOJAS) Condición_de_expansión(HOJAS) inf( error ) inf( error ) ( 1 – ( 1 – ) )

sup(error)sup(error)

inf(error)inf(error)

Frontera de expansión = Frontera de expansión = ( 1 – ( 1 – ) )

21 de 28

Predicados (VI)Predicados (VI)


Condición_Es_ExpansibleCondición_Es_Expansible: : HOJASHOJAS { { V, F V, F }}

Condición_Es _Expansible(i) Condición_Es _Expansible(i) sup( medidasup( medidai i ( mejor_atributo( mejor_atributo

ii ) ) ) ) inf( medidainf( medidai i (r) ) (r) )

rr atributos_libres atributos_libresi i – { – { mejor_atributomejor_atributo

ii }}

| | sup( medidasup( medidaii( mejor_atributo( mejor_atributo

ii ) ) – –

minmin{{ inf( medida inf( medidaii(r) )(r) ) | |


ii } }} } | | d d

'psup ,'pinf x 1x 1,0)x,...,x('P t),v,r,i(t),v,r,i(t

k

1tt

k k1)v,r,i( |

)v,r,i()v,r,i( 'P X ) X ( medidaMEDIDAS |

r

r

m

1v)v,r,i(

m

1v)v,r,i()v,r,i(

i

'n

)'n · )MEDIDAS((max))r(medidasup(

r

r

m

1v)v,r,i(

m

1v)v,r,i()v,r,i(

i

'n

)'n · )MEDIDAS((min))r(medidainf(


Condición_Es _Expansible(i) Condición_Es _Expansible(i) sup( medidasup( medidai i (( mejor_atributo mejor_atributo

ii ) )) ) inf( medidainf( medidai i ((rr) )) )


ii }}

| | sup( medidasup( medidaii(( mejor_atributo mejor_atributo

ii )) )) – –

minmin{{ inf( medidainf( medidaii((rr) )) ) | |


ii } }} } | | d d

22 de 28

peor_nodopeor_nodo

Predicados (VII)Predicados (VII)


} libres atributos_ s

(s)) sup(medida )) r( sup(medida | libres atributos_ {r ATRIBUTOS _ MEJORES

i

i i i i

} RIBUTOS MEJORES_AT s

(s)) inf(medida )) r( inf(medida | RIBUTOS MEJORES_AT {r min atributo _ mejor

i

i i i i

ES} HOJAS_LIBR j ) sup( ) sup( | LIBRES _ HOJAS i { min nodo _ peor

HOJAS nodo _ peor

j i

} 0 nodos libres atributos_ | HOJAS i { LIBRES _ HOJASi i

} L, ,1{ i )] w sup( ), w [inf( x 1 x | ] 1, 0[ ) x, , (x W donde

)) inf(q - (1 0 nodos } W X | ) X( max ) sup(

i i i

L

1 ii

HH 1

i i

H

i i


Condición_Es _Expansible(i) Condición_Es _Expansible(i) sup( medidasup( medidai i ( mejor_atributo( mejor_atributo



ii }}

| | sup( medidasup( medidaii( mejor_atributo( mejor_atributo

ii ) ) – –



ii } }} } | | d d


Condición_Es _Expansible(i) Condición_Es _Expansible(i) sup( medidasup( medidai i ( ( mejor_atributomejor_atributo



ii }}

| | sup( medidasup( medidaii( ( mejor_atributomejor_atributo

ii ) ) – –



ii } }} } | | d d

23 de 28

ResultadosResultados

Objetivos:Objetivos:PrecisiónPrecisiónTamaño del árbolTamaño del árbol


Conjuntos de datos Conjuntos de datos RealesReales

UCIUCIComparado con C4.5 e ITIComparado con C4.5 e ITI

SintéticosSintéticosComparado con ITIComparado con ITI

Validación cruzada por deciles (10-cross)Validación cruzada por deciles (10-cross)

Test de significancia (t-student)Test de significancia (t-student)

24 de 28

Casos reales (I)Casos reales (I)


Dataset Algoritmo Hojas Precisión C4.5 12.90 ±8.81 (+) 71.66 ±8.14 ITI 90.60 ±4.35 (-) 64.37 ±6.49 Cancer IADEM-0 25.50 ±15.76 66.05 ±8.43

C4.5 14.10 ±5.43 (-) 66.07 ±6.32 (-) ITI 81.30 ±4.19 (-) 65.74 ±6.99 (-)

Cancer (*) IADEM-0 4.60 ±1.65 73.77 ±4.54

C4.5 122.70 ±6.17 (+) 92.65 ±3.28 ITI 111.80 ±4.78 (+) 96.99 ±1.96

Car IADEM-0 272.90 ±8.70 93.12 ±2.94

C4.5 58.00 ±4.11 (+) 96.58 ±1.75 ITI 111.80 ±4.78 (-) 96.99 ±1.96

Car (*) IADEM-0 62.80 ±3.39 97.51 ±1.28

C4.5 30.30 ±1.77 (+) 99.45 ±0.49 ITI 50.50 ±2.17 (-) 99.69 ±0.29

KR-vs-KP IADEM-0 46.80 ±2.49 99.69 ±0.26

C4.5 28.30 ±1.77 (+) 99.45 ±0.49 ITI 50.50 ±2.17 (-) 99.69 ±0.29

KR-vs-KP (*) IADEM-0 43.10 ±2.28 99.62 ±0.29

25 de 28

Casos reales (II)Casos reales (II)


Dataset Algoritmo Hojas Precisión C4.5 26.70 ±1.89 (-) 100.00 ±0.00 ITI 12.00 ±0.00 (+) 100.00 ±0.00

Mushrooms IADEM-0 22.00 ±0.00 100.00 ±0.00

C4.5 9.30 ±0.48 (+) 100.00 ±0.00 ITI 12.00 ±0.00 100.00 ±0.00

Mushrooms (*) IADEM-0 12.10 ±1.29 100.00 ±0.00

C4.5 328.00 ±11.69 (+) 82.72 ±13.12 ITI 272.00 ±4.35 (+) 99.61 ± 0.16 (+)

Nursery IADEM-0 498.30 ±31.37 83.21 ±13.33

C4.5 185.10 ±18.44 (-) 83.17 ±11.85 ITI 247.70 ±16.25 (-) 84.75 ±13.20

Nursery (*) IADEM-0 139.20 ±15.40 81.57 ±11.29

26 de 28

Casos sintéticosCasos sintéticos


Hojas Atr. Prof. Algoritmo Hojas Precisión ITI 33329.20 ±3489.21 (-) 95.42 ±0.66 1173 30 5 IADEM-0 1772.70 ±982.93 95.89 ±0.37 ITI 19111.40 ±1753.72 (-) 97.87 ±0.29 (-) 787 30 5 IADEM-0 742.00 ±0.00 98.73 ±0.03 ITI 51516.80 ±846.69 (-) 93.04 ±0.16 (-) 805 25 6 IADEM-0 865.60 ±127.44 93.99 ±0.15 ITI 31792.70 ±679.64 (-) 96.05 ±0.17 (-) 666 25 6 IADEM-0 1536.90 ±9.94 96.25 ±0.06 ITI 14059.20 ±169.30 (-) 98.67 ±0.05 (-) 593 20 5 IADEM-0 680.80 ±3.68 99.34 ±0.02 ITI 6407.50 ±207.85 (-) 99.67 ±0.02 (-) 398 20 5 IADEM-0 473.00 ±5.42 99.85 ±0.06 ITI 12248.20 ±121.02 (-) 99.11 ±0.04 (-) 406 20 7 IADEM-0 661.60 ±65.50 99.34 ±0.04 ITI 8367.80 ±345.55 (-) 99.56 ±0.04 (-) 308 20 7 IADEM-0 1417.80 ±205.67 99.73 ±0.04

ITI Sin memoria 1173 30 5 IADEM-0 1917.80 ±2306.83 96.07 ±0.22

27 de 28

ConclusionesConclusiones

Sin memoria de experienciasSin memoria de experiencias La memoria usada no depende del tamaño de la fuente La memoria usada no depende del tamaño de la fuente

de datos sino de la estructura de conocimiento de datos sino de la estructura de conocimiento almacenadaalmacenada


Algoritmo incrementalAlgoritmo incremental Pueden llegar nuevas experiencias y el conocimiento se Pueden llegar nuevas experiencias y el conocimiento se

va refinandova refinando

Usa las cotas de Chernoff y HoeffdingUsa las cotas de Chernoff y Hoeffding Se conoce el error estimado del árbol inducidoSe conoce el error estimado del árbol inducido Detección automática tras satisfacer los requisitos del Detección automática tras satisfacer los requisitos del

usuario (usuario ( ,, )) Se da información detallada para la predicción: valor Se da información detallada para la predicción: valor

estimado + margen de errorestimado + margen de error

28 de 28

Trabajos futurosTrabajos futuros

Capacidad para trabajar con ruido yCapacidad para trabajar con ruido y

no determinismono determinismo


Aprendizaje con cambio de conceptoAprendizaje con cambio de concepto

Implementación distribuidaImplementación distribuida

Un nuevo algoritmo incrementalUn nuevo algoritmo incremental

IADEM-0IADEM-0

Autores:Gonzalo Ramos Jiménez,Rafael Morales Bueno,José del Campo Ávila

Un nuevo algoritmo incremental IADEM-0 Autores: Gonzalo Ramos Jiménez, Rafael Morales Bueno, José...

Documents

Transcript of Un nuevo algoritmo incremental IADEM-0 Autores: Gonzalo Ramos Jiménez, Rafael Morales Bueno, José...