FUNDACIÓN UNIVERSITARIA KONRAD LORENZFACULTAD DE MATEMÁTICAS E INGENIERÍAS
PROGRAMA DE INGENIERÍA DE SISTEMASCURSO DE SISTEMAS BASADOS EN EL CONOCIMIENTO
BOGOTÁ- COLOMBIA
EJEMPLO APRENDIZAJE DE ÁRBOLES DE DECISIÓN
ALGORITMO ID3 DE QUINLANREALIZADO POR : PERVYS RENGIFO RENGIFO
El aprendizaje de árboles de decisión es un método de funciones de valores discretosen el cual la función aprendida es representada por un árbol de decisión. Los árboles aprendidos pueden ser re-representados como conjuntos de reglas si... Entonces... con el fin de mejorar su comprensión y legibilidad.Estos métodos de aprendizaje están entre los más populares algoritmos de inferencia inductiva y ha sido aplicado exitosamente a un amplia variedad de tareas desde el aprendizaje del diagnóstico de casos médicos hasta la evaluación de riesgo de créditode empresas prestamistas.
PATRON AMBIENTE TEMPERATURA HUMEDAD viento1 soleado caliente alta débil2 soleado caliente alta fuerte3 nublado caliente alta débil4 lluvioso moderada alta débil5 lluvioso fría Normal débil6 lluvioso fría Normal fuerte7 nublado fría Normal fuerte8 soleado moderada alta débil9 soleado fría Normal débil
10 lluvioso moderada Normal débil11 soleado moderada Normal fuerte12 nublado moderada alta fuerte13 nublado caliente Normal débil14 lluvioso moderada alta fuerte
Se desea construir un árbol de decisión que permita determinar si se juega o no tenis,a partir del valor de los atributos: Ambiente, Temperatura, Humedad y Viento|
1) DECIDIR CUAL ES EL ATRIBUTO RAIZ, ES DECIR EL ATRIBUTO QUE PROPORCIONA MÁS INFORMACIÓN CON RESPECTO A LAVARIABLE DE DECISIÓN(JUGAR TENIS)
CALCULO DE LA ENTROPÍA DEL SISTEMAPara todos los cálculos, a partir de la tabla anterior podríamos aplicar filtros convenientes, con el fin de obtener los valoresUna forma, más cómoda de obtener la información necesaria es construir una tabla dinámicas, que se puede modificar para ir obteniendo los valores necesarios:Se ilustrará el proceso de construcción de la tabla dinámica en excel 2007Ubique la celda activa en una de las celdas dela tablas que utilizará como fuente de los patrones
Haga clic en la opción insertar del menú prinicpal de excel
Luego saldrá la siguiente pantalla
Como se puede apreciar, excel selecciona automáticamente la tabla, en caso de no ubicar la celda activa en la tabla antes de seleccionar la opciónde tabla dinámica, debe elegir manualmente la tabla correspondiente, haciendo clic donde se indica en la figura anteriorAl darle clic en aceptar se crea una nueva hoja de cálculo, que se ve, como se muestra a continuación
celda activa
Haga clic aquí para seleccionar un conjunto de datos diferentes
Campo de los datos de origen que se asigna a una orientación de página (o filtro) en un informe de tabla dinámica. Por ejemplo, Ambiente puede considerarse como un campo de filtro, si se quiere mostrar los datos resumidos para ambiente=soleado, ambiente=lluvioso. o ambiente =nublado
Campo de datos Campo de los datos de origen que contiene los valores que se van a resumir. Por ejemplo, en este caso el número de "n" y de "s" en la variable de respuesta,"jugar tenis" un campo de datos. Para los tipos de datos de origen, se puede elegir cómo se van a resumir los datos (por ejemplo, por suma, promedio o recuento). Un campo de datos suele resumir números pero también puede resumir texto. Por ejemplo, puede contar el número de veces que aparece una entrada de texto específica (por ejemplo, Sí o No) en un campo.
Ahora podemos arrastrar los atributos, de acuerdo a nuestras necesidades, ya sea directamente a la tabla dinámicao podemos arrastrarlos a la lista de campos de la tabla dinámica, que aparece en el cuadro señalado con el rectángulo rojoSi usted selecciona uno o varios de estos campos excel asumirá automáticamente que son campos de fila
Para diseñar la tabla, lo que necesitamos saber inicialmente es cuantos patrones tiene "jugar tenis"=s y cuántos tienen "jugar tenis"=nentonces, una opción podría ser colocar como campo fila a "jugar tenis", y como campo de datos: "cuenta jugar tenis"Para hacer esto, se arrastra el campo "jugar tenis", desde la lista de campos, hasta el campo de filas de la tabla dinámica
Luego arrastre "jugar tenis" al campo de datos
Con lo cual, la tabla dinámica se verá de la siguiente forma:
Campo de fila Campo de los datos de origen que se asigna a una orientación de fila en un informe de tabla dinámica. Por ejemplo. Como necesitamos saber cuantos "jugar tenis" = n o s, para cada atributo, entonces, juagar tenis podría considerarse como un campo fila
Campo de columna Campo de los datos de origen que se asigna a una orientación de columna en un informe de tabla dinámica., para que se detalle cada campo de fila, de acuerdo con esos campos de columna, teniendo como base el campo de datos. Por ejemplo, si en el campo de fila se tiene jugar tenis(con dos valores) en el campo de datos se tiene cuenta Jugar tenis(cuenta del número de cada valos "s" y "n"), y como campo columna "ambiente",(3 valores) entonces , el campo de datos tendrá básicamente 2(valores en jugar tenis)x 3(valroes en ambiente), el encabezado de las columnas serán los valores de "ambiente", y las etiquetas de las filas serán los valores de "jugar tenis". En la celda s-soleado, se mostrará, el número de patrones que tiene ambiente=soleado y corresponden a "jugar tenis"=n
Lista de campos de la tabla dinámica
Lo cual indica que hay 5 patrones con "jugar tenis=n" y 9 patrones con "jugar tenis=s"
La entropía es el número promedio de bits requeridos para codificar la variable de decisión del sistemaes también una medida de la heterogeneidad de los datos
n(S)=14 n(s)=Número de patrones con variables de decisión=Sín(s)=9 n(n)=Número de patrones con variables de decisión=Non(n)=5 n(S)=Número de patrones de en sistema
CALCULO DE LA GANANCIA DE INFORMACIÓN PARA CADA ATRIBUTO
ATRIBUTO AMBIENTE
Entropía esperada del sistema, luego de conocer el valor del atributo AMBIENTE
Entropía Ambiente=soleado
PATRONES CON AMBIENTE=SOLEADO
PATRON AMBIENTE TEMPERATURA HUMEDAD
1 soleado caliente alta
2 soleado caliente alta8 soleado moderada alta9 soleado fría Normal
11 soleado moderada Normal
La tabla anterior fue obtenida mediante un filtro a la tabla original, pero podría obtenerse mediante la tabla dinámica, adicionandocomo filtro, el atributo ambiente
Con lo cual se obtendrá, una apariencia así:
Entropia (S )=−n (s )n(S )
log2( n (s )n (S ))− n (n )
n (S )log2( n (n )
n( S ))Entropia (S )=−
914
log2( 914 )− 5
14log2 ( 5
14 )=0 . 940
Ahora haga clic en la lista desplegable de Ambiente y se selecciona soleado
Luego de hacer esto, la aparciencia de la pantalla será la siguiente:
n(So)=5 n(So)=Número de patrones con Ambiente=soleadon(s/So)=2 n(s/So)=Número de con Ambiente= soleado y variable de decisión= Sín(n/So)=3 n(n/So)=Número de con Ambiente= soleado y variable de decisión= No
Entropía Ambiente= nublado
PATRONES CON AMBIENTE=NUBLADOPATRON AMBIENTE TEMPERATURA HUMEDAD
3 nublado caliente alta7 nublado fría Normal
12 nublado moderada alta13 nublado caliente Normal
Si en la tabla dinámica se seleccióna Ambiente-nublado, obtiene lo siguiente
AMBIENTE nublado
Cuenta de Jugar tenisJugar tenis Totals 4
Entropia (Soleado )=−25
log2( 25 )−3
5log2( 3
5 )=0 . 970950594
Entropia (Soleado )=−n( s/ So)n( So)
log2 (n (s /So )n (So ) )−n( n/So )
n( So)log2( n(n /So )
n(So ) )
Total general 4
Esto indica, que si se sabe que el AMBIENTE=nublado, entonces, jugar tenis=s, y no se requiere información adicionaln(Nu)=4 n(Nu)=Número de patrones con Ambiente=nubladon(s/Nu)=4 n(s/Nu)=Número de con Ambiente= nublado y variable de decisión= Sín(n/Nu)=0 n(n/Nu)=Número de con Ambiente= nublado y variable de decisión= No
Este valor de entropía confirma esto
Entropía Ambiente= lluvioso
PATRONES CON AMBIENTE=LLUVIOSOPATRON AMBIENTE TEMPERATURA HUMEDAD
4 lluvioso moderada alta5 lluvioso fría Normal6 lluvioso fría Normal
10 lluvioso moderada Normal14 lluvioso moderada alta
Si en la tabla dinámica se seleccióna Ambiente-lluvioso, obtiene lo siguienteAMBIENTE lluvioso
Cuenta de Jugar tenisJugar tenis Totals 3n 2Total general 5
n(Llu)=5 n(Llu)=Número de patrones con Ambiente=Lluvioson(s/Llu)=3 n(s/Llu)=Número de con Ambiente= Lluvioso y variable de decisión= Sín(n/Llu)=2 n(n/Llu)=Número de con Ambiente= Lluvioso y variable de decisión= No
CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL AMBIENTEEntropia(S/Ambiente) Entropia esperada
Entropia (Nublado )=−44
log2( 44 )−0
4log2 ( 0
4 )=0
Entropia (Lluvioso )=−35
log2( 35 )−2
5log2( 2
5 )=0. 970950594
Entropia (Nublado )=−n(s/Nu )n( Nu)
log2( n(s/Nu )n(Nu ) )−n( n/Nu )
n (Nu)log2( n(n/Nu )
n( Nu) )
Entropia (Lluvioso)=−n(s/Llu )n(Llu )
log2( n(s/Llu )n (Llu ) )−n(n/Llu )
n(Llu )log2( n( n/Llu )
n(Llu ) )
Entropia (S/ Ambiente )=n(So )n( S )
Entropia (soleado )+n( Nu)n( S )
Entropia (nublado)+n(Llu )n(S )
Entropia ( lluvioso )
Entropia (S, Ambiente )=5
140.970950594+
414
0+5
140 .970950594=0 .693536139
GANANCIA DE INFORMACIÓN EN EL SISTEMA AL CONOCER EL AMBIENTE
G(S, Ambiente)
ATRIBUTO HUMEDAD
Entropía esperada luego de conocer el valor del atributo HUMEDAD
Entropía Humedad= Alta
PATRONES CON HUMEDAD=ALTAPATRON AMBIENTE TEMPERATURA HUMEDAD
1 soleado caliente alta2 soleado caliente alta3 nublado caliente alta4 lluvioso moderada alta8 soleado moderada alta
12 nublado moderada alta14 lluvioso moderada alta
En la tabla dinámica se puede arrastar el atibuto HUMEDAD, desde la lista de campos de la tabla(a la derecha de la pantalla)hasta los campos de filtro de la tabla(debajo de ambiente) Como se necesita conocer el comportamientode los patrones para cada valor de humedad sin restricciones adicionales, entonces se fija AMBIENTE a Todas y a HUMEDAD= altapara obtener los patrones correspondientes a este tipo de humedad. La tabla se verá así
AMBIENTE (Todas)HUMEDAD alta
Cuenta de Jugar tenisJugar tenis Totals 3n 4Total general 7
n(Al)=7 n(Al)=Número de patrones con Humedad=Altan(s/Al)=3 n(s/Al)=Número de con Humedad= Alta y variable de decisión= Sín(n/Al)=4 n(n/Al)=Número de con Humedad= Alta y variable de decisión= No
Entropía Humedad=Normal
Ganancia (S, Ambiente )=Entropia ( S )−Entropía (S / Ambiente )
Ganancia (S, Ambiente )=0. 940285959−0 .693536139=0. 24674982
Entropia (alta )=−37
log2( 37 )−4
7log2 ( 4
7 )=0 . 985228136
Entropia (S, Ambiente )=5
140.970950594+
414
0+5
140 .970950594=0 .693536139
Entropia (alta )=−n( s/ Al )n( Al )
log2( n( s/ Al )n( Al ) )−n (n/Al )n( Al )
log2 ( n(n/ Al )n (Al ) )
PATRONES CON HUMEDAD=NORMALPATRON AMBIENTE TEMPERATURA HUMEDAD
5 lluvioso fría Normal6 lluvioso fría Normal7 nublado fría Normal9 soleado fría Normal
10 lluvioso moderada Normal11 soleado moderada Normal13 nublado caliente Normal
Se fija Humedad=NormalAMBIENTE (Todas)HUMEDAD Normal
Cuenta de Jugar tenisJugar tenis Totals 6n 1Total general 7
n(No)=7 n(No)=Número de patrones con Humedad=Normaln(s/No)=1 n(s/No)=Número de con Humedad=Normal y variable de decisión= Sín(n/No)=6 n(n/No)=Número de con Humedad= Normal y variable de decisión= No
CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE LA HUMEDADEntropia(S,Humedad) Entropia esperada
GANANCIA DE INFORMACIÓN EN EL SISTEMA AL CONOCER LA HUMEDAD
G(S, Humedad)
ATRIBUTO VIENTO
Entropia (nomal )=−67
log2 (67 )−1
7log2( 1
7 )=0 . 591672779
Ganancia (S, Humedad )=Entropia (S )−Entropía ( S /Humedad )
Ganancia(S, Humedad )=0 .940285959−0.788450457=0 .151835501
Entropia (normal )=−n (s /No )n (No )
log2 ( n(s /No)n(No) )−n( n/No)n(No)
log 2( n(n /No )n(No) )
Entropia (S, Humedad )=7
140 .985228136+
714
0 .591672779=0 .788450457
Entropia (S, Humedad )=n( Al )n( S )
Entropia (alta )+n( No)n(S )
Entropia ( normal )
Entropía esperada luego de conocer el valor del atributo viento
Entropía Viento=Fuerte
PATRONES CON VIENTO=FUERTEPATRON AMBIENTE TEMPERATURA HUMEDAD
2 soleado caliente alta6 lluvioso fría Normal7 nublado fría Normal
11 soleado moderada Normal12 nublado moderada alta14 lluvioso moderada alta
En la tabla dinámica se puede arrastar el atibuto VIENTO, desde la lista de campos de la tabla(a la derecha de la pantalla)hasta los campos de filtro de la tabla(debajo de AMBIENTE Y HUMEDAD) Como se necesita conocer el comportamientode los patrones para cada valor de humedad sin restricciones adicionales, entonces se fija AMBIENTE a Todas , HUMEDAD a Todas, y VIENTO=fuerte, para obtener los patrones correspondientes a este tipo de viento. La tabla se verá así
AMBIENTE (Todas)HUMEDAD (Todas)viento fuerte
Cuenta de Jugar tenisJugar tenis Totaln 3s 3Total general 6
n(Fu)=6 n(Fu)=Número de patrones con Viento=Fuerten(s/Fu)=3 n(s/Fu)=Número de con Viento=Fuerte y variable de decisión= Sín(n/Fu)=3 n(n/Fu)=Número de con Viento=Débil y variable de decisión= No
Entropía Viento=Débil
PATRONES CON VIENTO=DEBILPATRON AMBIENTE TEMPERATURA HUMEDAD
1 soleado caliente alta3 nublado caliente alta4 lluvioso moderada alta5 lluvioso fría Normal8 soleado moderada alta9 soleado fría Normal
10 lluvioso moderada Normal13 nublado caliente Normal
Entropia ( fuerte )=−36
log2( 36 )−3
6log2( 3
6 )=1. 0
Entropia ( fuerte )=−n(s /Fu)n(Fu)
log2( n( s /Fu )n(Fu ) )−n(n /Fu )
n(Fu)log2( n(n /Fu )
n(Fu) )
Se fija Viento= débil, en a tabla dinámicaAMBIENTE (Todas)HUMEDAD (Todas)viento fuerte
Cuenta de Jugar tenisJugar tenis Totaln 3s 3Total general 6
n(De)=8 n(De)=Número de patrones con Viento=Débiln(s/De)=6 n(s/De)=Número de con Viento=Débil y variable de decisión= Sín(n/De)=2 n(n/De)=Número de con Viento=Débil y variable de decisión= No
0.811278124
CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL ATRIBUTO VIENTO
GANANCIA DE INFORMACIÓN AL CONOCER EL VIENTO
ATRIBUTO TEMPERATURAEntropía esperada luego de conocer el valor del atributo TEMPERATURA
Entropía Temperatura=Caliente
PATRONES CON TEMPERATURA=CALIENTEPATRON AMBIENTE TEMPERATURA HUMEDAD
1 soleado caliente alta
Entropia (débil )=−n (s /De )n(De )
log2( n( s/De)n(De) )−n(n/De )n (De )
log2 ( n(n/De)n(De ) )Entropia (débil )=−
68
log2 (68 )−2
8log2 (2
8 )=0 .811278124
Ganancia (S, Viento )=Entropia( S )−Entropía ( S/Viento )
Ganancia(S, Viento ) 0.940285959 0.892158928 0.048127031
Entropia (S/Viento )=n( Fu )n(S )
Entropia (fuerte )+n(De )n( S )
Entropia (debil )
6 8Entropia (S/Viento ) 1.0 0.811278124 0.892158928
14 14
2 soleado caliente alta3 nublado caliente alta
13 nublado caliente Normal
En la tabla dinámica se puede arrastar el atibuto TEMPERATURA, desde la lista de campos de la tabla(a la derecha de la pantalla)hasta los campos de filtro de la tabla(debajo de AMBIENTE,HUMEDAD Y VIENTO) Como se necesita conocer el comportamientode los patrones para cada valor de humedad sin restricciones adicionales, entonces se fija AMBIENTE a Todas , HUMEDAD a Todas, VIENTO=Todas y TEMPERATURA = caliente, para obtener los patrones correspondientes a este tipo de temperatura. La tabla se verá así
AMBIENTE (Todas)HUMEDAD (Todas)viento (Todas)TEMPERATURA caliente
Cuenta de Jugar tenisJugar tenis Totaln 2s 2Total general 4
n(Ca)=4 n(Ca)=Número de patrones con Temperatura=calienten(s/Ca)=2 n(s/Ca)=Número de con Temperatura=caliente y variable de decisión= Sín(n/Ca)=2 n(n/Ca)=Número de con Temperratura=caliente y variable de decisión= No
Entropía Temperatura=Fría
PATRONES CON TEMPERATURA=FRIAPATRON AMBIENTE TEMPERATURA HUMEDAD
5 lluvioso fría Normal6 lluvioso fría Normal7 nublado fría Normal9 soleado fría Normal
Se fija TEMPERATURA=fría, en la tabla dinámicaAMBIENTE (Todas)HUMEDAD (Todas)viento (Todas)TEMPERATURA fría
Cuenta de Jugar tenisJugar tenis Totals 3n 1Total general 4
Entropia (caliente )=−n( s/Ca)n(Ca)
log2( n( s/Ca)n(Ca) )−n(n/Ca)n (Ca )
log2( n (n/Ca)n(Ca) )
Entropia (caliente )=−24
log2 ( 24 )−2
4log2( 2
4 )=1 . 0
n(Fr)=4 n(Fr)=Número de patrones con Temperatura=Frían(s/Fr)=3 n(s/Fr)=Número de con Temperatura=Fría y variable de decisión= Sín(n/Fr)=1 n(n/Fr)=Número de con Temperratura=Fría y variable de decisión= No
Entropía Temperatura=Moderada
PATRONES CON TEMPERATURA=MODERADAPATRON AMBIENTE TEMPERATURA HUMEDAD
4 lluvioso moderada alta8 soleado moderada alta
10 lluvioso moderada Normal11 soleado moderada Normal12 nublado moderada alta14 lluvioso moderada alta
Se fija TEMPERATURA=Moderada, en la tabla dinámicaAMBIENTE (Todas)HUMEDAD (Todas)viento (Todas)TEMPERATURA moderada
Cuenta de Jugar tenisJugar tenis Totals 4n 2Total general 6
n(Mo)=6 n(Mo)=Número de patrones con Temperatura=Moderadan(s/Mo)=4 n(s/Mo)=Número de con Temperatura=Moderada y variable de decisión= Sín(n/Mo)=2 n(n/Mo)=Número de con Temperratura=Moderada y variable de decisión= No
CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL ATRIBUTO TEMPERATURA
Entropia(S,Temperatura) Entropia esperada
Entropia ( fria )=−n (s /Fr )n (Fr )
log2( n(s /Fr )n(Fr ) )−n( n/Fr )n(Fr )
log2( n(n /Fr )n(Fr ) )
Entropia (mod erada )=−n (s /Mo )n (Mo )
log2 ( n(s /Mo )n(Mo ) )−n(n /Mo )
n(Mo )log2 ( n(n/Mo )
n (Mo ) )
Entropia (S, Temperatura )=4
141 .0+
414
0 .81127812+6
140. 91829583=0 .91106339
Entropia ( fria )=−34
log2( 34 )−1
4log2 ( 1
4 )=0 . 81127812
Entropia (mod erada )=−46
log2( 46 )−2
6log2 ( 2
6 )=0 . 91829583
Entropia (S/Temperatura )=n(Ca )n( S )
Entropia (caliente)+n(Fr )n( S )
Entropia ( fría )+n(Mo )n (S )
Entropia ( moderada )
GANANCIA DE INFORMACIÓN AL CONOCER LA TEMPERATURA
G(S, Temperatura)
RESUMEN DE RESULTADOS SOBRE LA GANANCIA DEL SISTEMA CON RESPECTO A CADA UNO DE LOS ATRIBUTOS
ATRIBUTO GANANCIAAMBIENTE 0.246 ATRIBUTO GANADORHUMEDAD 0.151
VIENTO 0.048TEMPERATURA 0.029
Lo anterior indica que el atributo que más información proporciona para tomar la decisión de jugar o no tenis es el AMBIENTE
Ahora se debe decidir para cada uno de los valores del atributo AMBIENTE, qué atributo es el que proporciona mayor información
RAMA SOLEADOAMBIENTE =SOLEADOConociendo que el ambiente es soleado. Cuál es el atributo que proporciona mayor información?En este caso el sistema se restringe a todos los patrones con AMBIENTE=SOLEADOPor lo tanto la entropia del sistema restringido es igual a la entropía de soleadoEntropía(Sistema/Soleado)=Entropía(soleado)= 0.970950594
PATRONES CON AMBIENTE=SOLEADOPATRON AMBIENTE TEMPERATURA HUMEDAD viento
1 soleado caliente alta débil2 soleado caliente alta fuerte8 soleado moderada alta débil9 soleado fría Normal débil
11 soleado moderada Normal fuerte
AMBIENTE
3 patrones con respuesta n2 patrones con respuesta s
4 patrones con respuesta s
2 patrones con respuesta n3 patrrones con respuesta s
Soleado Nublado
Lluvioso
Entropia (S, Temperatura )=4
141 .0+
414
0 .81127812+6
140. 91829583=0 .91106339
Ganancia (S, Temperatura )=Entropia (S )−Entropía (S /Temperatura)
Ganancia (S, Temperatura )=0 .940285959−0 . 91106339=0 .02922257
Se evalúa la ganancia de información para cada uno de los otros atributos: TEMPERATURA, HUMEDAD, VIENTO
ATRIBUTO TEMPERATURA
Entropia(Caliente/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = CALIENTEPATRON AMBIENTE TEMPERATURA HUMEDAD viento
1 soleado caliente alta débil2 soleado caliente alta fuerte
En este caso se debe fijar AMBIENTE=soleado y TEMPERATURA=caliente
AMBIENTE soleadoHUMEDAD (Todas)viento (Todas)TEMPERATURA caliente
Cuenta de Jugar tenisJugar tenis Totaln 2Total general 2
n(So y Ca)=2 n(So y Ca)=Número de patrones con Ambiente=soleado y Temperatura=calienten(s/So y Ca)=0 n(s/So y Ca)=Número de patrones con Ambiente=soleado y Temperatura=caliente con variable de decisión = Sín(n/So y Ca)=2 n(n/So y Ca)=Número de patrones con Ambiente=soleado y Temperatura=caliente con variable de decisión = No
Entropia(Fría/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = FRIAPATRON AMBIENTE TEMPERATURA HUMEDAD viento
9 soleado fría Normal débil
Se fija TEMPERATURA=fríaAMBIENTE soleadoHUMEDAD (Todas)viento (Todas)TEMPERATURA fría
Cuenta de Jugar tenisJugar tenis Totals 1Total general 1
Entropia (caliente / soleado)=−n (s /So y Ca)n (So y Ca)
log2( n( s/ So y Ca)n( So y Ca) )−n( n/So y Ca)
n( So y Ca )log2( n (n/So y Ca )
n( So y Ca) )Entropia (caliente / soleado)=−
02
log2 ( 02 )−2
2log2( 2
2 )=0
n(So y Fr)=1 n(So y Fr)=Número de patrones con Ambiente=soleado y Temperatura=Frían(s/So y Fr)=1 n(s/So y Fr)=Número de patrones con Ambiente=soleado y Temperatura=Fría con variable de decisión = Sín(n/So y Fr)=0 n(n/So y Fr)=Número de patrones con Ambiente=soleado y Temperatura=Fría con variable de decisión = No
Entropia(Moderada/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = MODERADAPATRON AMBIENTE TEMPERATURA HUMEDAD viento
8 soleado moderada alta débil11 soleado moderada Normal fuerte
Se fija TEMPERATURA=moderadaAMBIENTE soleadoHUMEDAD (Todas)viento (Todas)TEMPERATURA moderada
Cuenta de Jugar tenisJugar tenis Totals 1n 1Total general 2
n(So y Mo)=2 n(So y Mo)=Número de patrones con Ambiente=soleado y Temperatura=Moderadan(s/So y Mo)=1 n(s/So y Mo)=Número de patrones con Ambiente=soleado y Temperatura=Moderada con variable de decisión = Sín(n/So y Mo)=1 n(n/So y Mo)=Número de patrones con Ambiente=soleado y Temperatura=Moderada con variable de decisión = No
-1CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO TEMPERATURA
GANANCIA DE INFORMACIÓN EN SOLEADO AL CONOCER LA TEMPERATURA
Entropia (Fría /soleado)=−n(s /So y Fr )n(So y Fr )
log2( n (s /So y Fr )n (So y Fr ) )−n (n/So y Fr )
n( So y Fr )log2 ( n(n/ So y Fr )
n( So y Fr ) )Entropia (Fría /soleado)=−
11
log2 (11 )−0
1log2 ( 0
1 )=0
Entropia (Moderada/soleado)=−n(s /So y Mo )n(So y Mo )
log2 ( n(s /So y Mo )n(So y Mo ) )−n(n/ So y Mo )
n( So y Mo )log2 ( n(n/ So y Mo )
n (So y Mo ) )Entropia (Moderada/soleado)=−
12
log2 ( 12 )−1
2log2 ( 1
2 )=1 . 0
Ganancia (Soleado, Temperatura )=Entropia( Soleado)−Entropía( Soleado /Temperatura)
Entropia (Soleado/Temperatura )=n(Ca )n(So )
Entropia (caliente/soleado)+n(Fr )n(So)
Entropia (fría/soleado)+n(Mo )n(So)
Entropia ( moderada/soleado)
Entropia (Soleado/Temperatura )=25
0+15
0+25
1 .0=0 .4
ATRIBUTO HUMEDAD
Entropia(alta/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=ALTAPATRON AMBIENTE TEMPERATURA HUMEDAD viento
1 soleado caliente alta débil2 soleado caliente alta fuerte8 soleado moderada alta débil
En este caso se debe fijar AMBIENTE=soleado y HUMEDAD=alta
AMBIENTE soleadoHUMEDAD altaviento (Todas)TEMPERATURA (Todas)
Cuenta de Jugar tenisJugar tenis Totaln 3Total general 3
n(So y Al)=3 n(So y Al)=Número de patrones con Ambiente=soleado y Humedad=Altan(s/So y Al)=0 n(s/So y Al)=Número de patrones con Ambiente=soleado y Humedad=Alta con variable de decisión = Sín(n/So y Al)=3 n(n/So y Al)=Número de patrones con Ambiente=soleado y Humedad=Alta con variable de decisión = No
Entropia(Normal/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=NORMALPATRON AMBIENTE TEMPERATURA HUMEDAD viento
9 soleado fría Normal débil11 soleado moderada Normal fuerte
En este caso se debe fijar AMBIENTE=soleado y HUMEDAD=Normal
AMBIENTE soleadoHUMEDAD Normalviento (Todas)TEMPERATURA (Todas)
Entropia (alta/ soleado)=−n (s /So y Al )n (So y Al )
log2( n( s/ So y Al )n( So y Al ) )−n(n /So y Al )
n (So y Al )log2 ( n(n/ So y Al )
n (So y Al ) )Entropia (alta/ soleado)=−
03
log2 ( 03 )−3
3log2( 3
3 )=0
Ganancia (Soleado, Temperatura )=Entropia( Soleado)−Entropía( Soleado /Temperatura)
Ganancia (Soleado, Humedad )=0.970950594−0. 4=0 .570950594
Cuenta de Jugar tenisJugar tenis Totals 2Total general 2
n(So y No)=2 n(So y No)=Número de patrones con Ambiente=soleado y Humedad=Normaln(s/So y No)=2 n(s/So y No)=Número de patrones con Ambiente=soleado y Humedad=Normal con variable de decisión = Sín(n/So y No)=0 n(n/So y No)=Número de patrones con Ambiente=soleado y Humedad=Normal con variable de decisión = No
CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO HUMEDAD
SI SE SABE QUE EL AMBIENTE ES SOLEADO, EL ATRIBUTO HUMEDAD ELIMINA TODA LA INCERTIDUMBRECON RESPECTO A LA VARIABLE DE DECISIÓN(JUGAR TENIS)
GANANCIA DE INFORMACIÓN EN SOLEADO AL CONOCER LA HUMEDAD
ATRIBUTO VIENTO
Entropia(fuerte/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y VIENTO=FUERTEPATRON AMBIENTE TEMPERATURA HUMEDAD viento
2 soleado caliente alta fuerte11 soleado moderada Normal fuerte
En este caso se debe fijar AMBIENTE=soleado y VIENTO=Fuerte
AMBIENTE soleadoHUMEDAD (Todas)viento fuerteTEMPERATURA (Todas)
Cuenta de Jugar tenisJugar tenis Totals 1
Entropia(Normal/soleado )=−n( s/ So y No)n( So y No)
log2( n( s/ So y No )n( So y No ) )−n(n /So y No)
n(So y No)log2( n(n /So y No)
n( So y No ) )Entropia (Normal/soleado )=−
22
log2( 22 )−0
2log2 (0
2 )=0
Entropia (Soleado/Humedad )=n(Al )n(So)
Entropia (alta/soleado)+n (No)n(So )
Entropia (normal/soleado)
Ganancia (Soleado, Humedad )=Entropia ( Soleado)−Entropía ( Soleado /Humedad )
Ganancia(Soleado, Humedad )=0.970950594−0=0 .970950594
Entropia (Soleado/Humedad )=35
0+25
0=0
n 1Total general 2
n(So y Fu)=2 n(So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fuerten(s/So y Fu)=1 n(s/So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fuerte con variable de decisión = Sín(n/So y Fu)=1 n(n/So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fuerte con variable de decisión = No
Entropia(débil/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y VIENTO=DEBILPATRON AMBIENTE TEMPERATURA HUMEDAD viento
1 soleado caliente alta débil8 soleado moderada alta débil9 soleado fría Normal débil
En este caso se debe fijar AMBIENTE=soleado y VIENTO=débil
AMBIENTE soleadoHUMEDAD (Todas)viento débilTEMPERATURA (Todas)
Cuenta de Jugar tenisJugar tenis Totals 1n 2Total general 3
n(So y De)=3 n(So y De)=Número de patrones con Ambiente=soleado y Viento=Débiln(s/So y De)=1 n(s/So y De)=Número de patrones con Ambiente=soleado y Viento=Débil con variable de decisión = Sín(n/So y De)=2 n(n/So y De)=Número de patrones con Ambiente=soleado y Viento=Débil con variable de decisión = No
Entropia ( fuerte / soleado)=−12
log2( 12 )−1
2log2( 1
2 )=1.0
Entropia (débil /soleado)=−n(s /So y De )n(So y De )
log2( n( s/ So y De )n( So y De ) )−n(n /So y De )
n( So y De )log2( n(n/ So y De )
n( So y De) )Entropia (débil /soleado)=−
13
log2( 13 )−2
3log2( 2
3 )=0 . 91829583
Entropia( fuerte /soleado )=−n( s /So y Fu)n( So y Fu)
log2( n( s /So y Fu)n( So y Fu) )−n(n/ So y Fu )
n( So y Fu)log2( n(n /So y Fu)
n(So y Fu ) )
CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO VIENTO
GANANCIA DE INFORMACIÓN EN SOLEADO AL CONOCER LA HUMEDAD
RESUMEN DE RESULTADOS DE LA GANANCIA DE INFORMACIÓN EN SOLEADO CON RESPECTO A CADA UNO DE LOS ATRIBUTOS DISPONIBLES
ATRIBUTO GANANCIATEMPERATURA 0.5709506
HUMEDAD 0.9709506 ATRIBUTO GANADORVIENTO 0.0199731
ES DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE ES SOLEADO, EL ATRIBUTO QUE MÁS INFORMACIÓN PROPORCIONA ESLA HUMEDADCOMO EL ATRIBUTO GANADOR FUE LA HUMEDAD Y LA ENTROPÍA(SOLEADO/HUMEDAD)=0, ENTONCES QUIEREDECIR QUE LA INCERTIDUMBRE SE HA ELIMINADO Y EL ARBOL NO PROSIGUE POR ESTA RAMACOMO SE PUEDE OBSERVAR EN LA TABLA SIGUIENTE, TODOS LOS PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD ALTA,CORRESPONDE A "NO JUGAR TENIS" Y TODOS LOS PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=NORMAL, CORRESPONDEN A SI JUGAR TENIS", ES DECIR UNA VEZ CONOCIDO QUE EL AMBIENTE ES SOLEADO, EL CONOCIMIENTO DEL ATRIBUTOHUMEDAD PERMITE DECIDIR SI SE JUEGA O NO TENIS
PATRONES CON AMBIENTE=SOLEADOPATRON AMBIENTE TEMPERATURA HUMEDAD
1 soleado caliente alta2 soleado caliente alta8 soleado moderada alta9 soleado fría Normal
11 soleado moderada Normal
CON ESTAS PRECISIONES EL ÁRBOL QUEDARÍA PARCIALMENTE COMO SIGUE
AMBIENTE
HUMEDAD
Soleado Nublado Lluvioso
4 patrones con respuesta s
Entropia (Soleado/Viento )=n(Fu )n(So )
Entropia (fuerte/soleado)+n(De)n(So)
Entropia (débil/soleado )
Entropia (Soleado/Viento )=25
1 .0+35
0 . 91829583=0 . 9509775
Ganancia (Soleado, Viento )=Entropia (Soleado )−Entropía (Soleado /Viento )
Ganancia(Soleado, Temperatura )=0 .970950594−0 .9509775=0 .01997309
RAMA NUBLADO
En este caso el sistema se restringe a todos los patrones con AMBIENTE=NUBLADOPor lo tanto la entropia del sistema restringido es igual a la entropía de soleadoEntropía(Sistema/Nublado)=Entropía(Nublado)= 0COMO LA ENTROPÍA=0, ENTONCES ESTA RAMA NO PROSIGUEESTO INDICA QUE UNA VEZ SE SEPA QUE EL ATRIBUTO AMBIENTE ES NUBLADO, YA SE PUEDE DECIDIR SI SE JUEGA TENIS O NOESTO SE PUEDE EVIDENCIAR EN LA SIGUIENTE TABLA
PATRONES CON AMBIENTE=NUBLADOPATRON AMBIENTE TEMPERATURA HUMEDAD
3 nublado caliente alta7 nublado fría Normal
12 nublado moderada alta13 nublado caliente Normal
COMO SE PUEDE APRECIAR, TODOS LOS PATRONES CON AMBIENTE=NUBLADO, CORRESPONDEN A JUGAR TENISESTO QUIERE DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE=NUBLADO, SE SABRÁ QUE JUGAR TENIS=SI. Y NO HABRÁ INCERTIDUMBRE
CON ESTAS PRECISIONES EL ÁRBOL QUEDA PARCIALMENTE SE LA SIGUIENTE FORMA
RAMA LLUVIOSO
En este caso el sistema se restringe a todos los patrones con AMBIENTE=LLUVIOSOPor lo tanto la entropia del sistema restringido es igual a la entropía de lluviosoEntropía(Sistema/Lluvioso)=Entropía(Lluvioso)= 0.970950594
No Si
Alta Normal
AMBIENTE
HUMEDAD
Soleado Nublado
No Si
Alta Normal
Si
PATRONES CON AMBIENTE=LLUVIOSOPATRON AMBIENTE TEMPERATURA HUMEDAD
4 lluvioso moderada alta5 lluvioso fría Normal6 lluvioso fría Normal
10 lluvioso moderada Normal14 lluvioso moderada alta
ATRIBUTO TEMPERATURA
Entropia(Caliente/Ambiente=Lluvioso)
En este caso se debe fijar AMBIENTE=lluvioso y TEMPERATURA=Caliente
AMBIENTE lluviosoHUMEDAD (Todas)viento (Todas)TEMPERATURA caliente
Cuenta de Jugar tenisJugar tenis TotalTotal general
Como no hay patrones con Ambiente =Lluvioso y Temperatura=Calienteentonces no se toma en cuenta
Entropia(Fría/Ambiente=lluvioso)
PATRONES CON AMBIENTE=LLUVIOSO Y TEMPERATURA=FRÍAPATRON AMBIENTE TEMPERATURA HUMEDAD
5 lluvioso fría Normal6 lluvioso fría Normal
En este caso se debe fijar AMBIENTE=lluvioso y TEMPERATURA=fría
AMBIENTE lluviosoHUMEDAD (Todas)viento (Todas)TEMPERATURA fría
Cuenta de Jugar tenisJugar tenis Totals 1n 1Total general 2
n(LLu y Fr)=2 n(LLu y Fr)=Número de patrones con Ambiente=Lluvioso y Temperatura=Frían(s/LLu y Fr)=1 n(s/LLu y Fr)=Número de patrones con Ambiente=Lluvioso y Temperatura=Fría con variable de decisión = Sín(n/LLu y Fr)=1 n(n/LLu y Fr)=Número de patrones con Ambiente=Lluvioso y Temperatura=Fría con variable de decisión = No
Entropia(Moderada/Ambiente=lluvioso)
PATRONES CON AMBIENTE=LLUVIOSO Y TEMPERATURA=MODERADAPATRON AMBIENTE TEMPERATURA HUMEDAD
4 lluvioso moderada alta10 lluvioso moderada Normal14 lluvioso moderada alta
En este caso se debe fijar AMBIENTE=lluvioso y TEMPERATURA=moderada
AMBIENTE lluviosoHUMEDAD (Todas)viento (Todas)TEMPERATURA moderada
Cuenta de Jugar tenisJugar tenis Totals 2n 1Total general 3
n(LLu y Mo)=3 n(LLu y Mo)=Número de patrones con Ambiente=Lluvioso y Temperatura=Moderadan(s/LLu y Mo)=2 n(s/LLu y Mo)=Número de patrones con Ambiente=Lluvioso y Temperatura=Moderada con variable de decisión = Sín(n/LLu y Mo)=1 n(n/LLu y Mo)=Número de patrones con Ambiente=Lluvioso y Temperatura=Moderada con variable de decisión = No
CALCULO DE LA ENTROPÍA DE LLUVIOSO QUE SE CONOCE EL ATRIBUTO TEMPERATURAEntropia(Lluvioso/Temperatura)
GANANCIA DE INFORMACIÓN EN LLUVIOSO AL CONOCER LA TEMPERATURA
Entropia (Fría /lluvioso )=−n( s/Llu y Fr )n(Llu y Fr )
log2 (n (s /Llu y Fr )n (Llu y Fr ) )−n(n /Llu y Fr )
n(Llu y Fr )log2( n(n /Llu y Fr )
n(Llu y Fr ) )Entropia (Fría /lluvioso )=−
12
log2( 12 )−1
2log2( 1
2 )=1 . 0
Entropia(Moderada/lluvioso )=−n( s /Llu y Mo )n(Llu y Mo )
log2 ( n(s /Llu y Mo )n(Llu y Mo ) )−n (n/Llu y Mo)
n(Llu y Mo)log2( n(n /Llu y Mo)
n(Llu y Mo) )Entropia (Moderada /lluvioso )=−
23
log2( 23 )−1
3log2( 1
3 )=0 . 91829583
Entropia (Lluvioso/Temperatura )=n(Ca )n(So)
Entropia (caliente/lluvioso )+n( Fr )n (So )
Entropia ( fría/lluvioso )+n (Mo )n(So )
Entropia (moderada/lluvioso )
Entropia (Lluvioso/Temperatura )=0+25
1 .0+35
0 .91829583=0 .950977498
Ganancia(Lluvioso,Tempertura)
ATRIBUTO HUMEDAD
Entropia(alta/Ambiente=lluvioso)
PATRONES CON AMBIENTE=LLUVIOSO Y HUMEDAD=ALTAPATRON AMBIENTE TEMPERATURA HUMEDAD
4 lluvioso moderada alta14 lluvioso moderada alta
En este caso se debe fijar AMBIENTE=lluvioso y HUMEDAD=alta
AMBIENTE lluviosoHUMEDAD altaviento (Todas)TEMPERATURA (Todas)
Cuenta de Jugar tenisJugar tenis Totals 1n 1Total general 2
n(LLu y Al)=2 n(LLu y Al)=Número de patrones con Ambiente=Lluvioso y Humedad=Altan(s/LLu y Al)=1 n(s/LLu y Al)=Número de patrones con Ambiente=Lluvioso y Humedad=Alta con variable de decisión = Sín(n/LLu y Al)=1 n(n/LLu y Al)=Número de patrones con Ambiente=Lluvioso y Humedad=Alta con variable de decisión = No
Entropia(Normal/Ambiente=lluvioso)
PATRONES CON AMBIENTE=LLUVIOSO Y HUMEDAD=NORMALPATRON AMBIENTE TEMPERATURA HUMEDAD
5 lluvioso fría Normal6 lluvioso fría Normal
10 lluvioso moderada Normal
En este caso se debe fijar AMBIENTE=lluvioso y HUMEDAD=Normal
Entropia(alta/ lluvioso )=−n( s/Llu y Al )n(Llu y Al )
log2( n( s/Llu y Al )n(Llu y Al ) )−n(n/Llu y Al )
n(Llu y Al )log2( n(n /Llu y Al )
n(Llu y Al ) )Entropia (alta/ lluvioso )=−
12
log2 ( 12 )−1
2log2( 1
2 )=1 . 0
Ganancia (Lluvioso, Temperatura )=Entropia (Lluvioso )−Entropía (Lluvioso /Temperatura)
Ganancia (Lluvioso, Temperatura )=0 .970950594−0 . 950977498=0 . 0199731
AMBIENTE lluviosoHUMEDAD Normalviento (Todas)TEMPERATURA (Todas)
Cuenta de Jugar tenisJugar tenis Totals 2n 1Total general 3
n(LLu y No)=3 n(LLu y No)=Número de patrones con Ambiente=Lluvioso y Humedad=Normaln(s/LLu y No)=2 n(s/LLu yNo)=Número de patrones con Ambiente=Lluvioso y Humedad=Normal con variable de decisión = Sín(n/LLu y No)=1 n(n/LLu y No)=Número de patrones con Ambiente=Lluvioso y Humedad=Normal con variable de decisión = No
Entropia(Lluvioso/Humedad)
Ganancia(Lluvioso,Humedad)
ATRIBUTO VIENTO
Entropia(fuerte/Ambiente=lluvioso)
PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=FUERTEPATRON AMBIENTE TEMPERATURA HUMEDAD
6 lluvioso fría Normal14 lluvioso moderada alta
En este caso se debe fijar AMBIENTE=lluvioso y VIENTO=Fuerte
AMBIENTE lluviosoHUMEDAD (Todas)viento fuerteTEMPERATURA (Todas)
Entropia(Normal/ lluvioso)=−n (s /Llu y No)n (Llu y No)
log2( n( s/Llu y No)n(Llu y No) )−n(n/Llu y No )
n (Llu y No)log2 ( n(n/Llu y No)
n(Llu y No ) )Entropia (Normal/ lluvioso)=−
23
log2 (23 )−1
3log2( 1
3 )=0 . 91829583
Entropia (Lluvioso/Humedad)=n (Al )n (So)
Entropia (alta/lluvioso)+n(No )n(So)
Entropia (normal/lluvioso )
Ganancia (Lluvioso, Humedad )=Entropia (Lluvioso )−Entropía (Lluvioso /Humedad )
Ganancia (Lluvioso, Humedad )=0 . 970950594−0 . 950977498=0 . 0199731
Entropia (Lluvioso/Humedad)=25
1. 0+35
0 . 91829583=0 .950977498
Cuenta de Jugar tenisJugar tenis Totaln 2Total general 2
n(LLu y Fu)=2 n(LLu y Fu)=Número de patrones con Ambiente=Lluvioso y Viento=Fuerten(s/LLu y Fu)=0 n(s/LLu y Fu)=Número de patrones con Ambiente=Lluvioso y Viento=Fuerte con variable de decisión = Sín(n/LLu y Fu)=2 n(n/LLu y Fu)=Número de patrones con Ambiente=Lluvioso y Viento=Fuerte con variable de decisión = No
Entropia(débil/Ambiente=lluvioso)
PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=DEBILPATRON AMBIENTE TEMPERATURA HUMEDAD
4 lluvioso moderada alta5 lluvioso fría Normal
10 lluvioso moderada Normal
En este caso se debe fijar AMBIENTE=lluvioso y VIENTO=débil
AMBIENTE lluviosoHUMEDAD (Todas)viento débilTEMPERATURA (Todas)
Cuenta de Jugar tenisJugar tenis Totals 3Total general 3
n(LLu y De)=3 n(LLu y De)=Número de patrones con Ambiente=Lluvioso y Viento=Débiln(s/LLu y De)=3 n(s/LLu y De)=Número de patrones con Ambiente=Lluvioso y Viento=Débil con variable de decisión = Sín(n/LLu y De)=0 n(n/LLu y De)=Número de patrones con Ambiente=Lluvioso y Viento=Débil con variable de decisión = No
Entropia ( fuerte / lluvioso)=−n(s /Llu y Fu)n(Llu y Fu)
log2( n (s /Llu y Fu )n (Llu y Fu ) )−n (n/Llu y Fu)
n(Llu y Fu )log2( n (n/Llu y Fu)
n(Llu y Fu ) )Entropia ( fuerte / lluvioso)=−
02
log2( 02 )−2
2log2( 2
2 )=0
Entropia(débil /lluvioso )=−n( s /Llu y De )n(Llu y De )
log2( n( s/Llu y De )n(Llu y De ) )−n(n /Llu y De)
n(Llu y De)log2( n(n /Llu y De)
n(Llu y De) )Entropia (débil /lluvioso )=−
33
log2( 33 )−0
3log2( 0
3 )=0
Entropia(Lluvioso/Viento)
Ganancia(Lluvioso,Viento)
RESUMIENDO LAS GANANCIAS DE INFORMACIÓN DE CADA ATRIBUTO CON RESPECTO A AMBIENTE=SOLEADO
ATRIBUTO GANANCIATEMPERATURA 0.019973096
HUMEDAD 0.019973096VIENTO 0.970950594 ATRIBUTO GANADOR
ES DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE ES LLUVIOSO EL ATRIBUTO QUE MÁS INFORMACIÓN PROPORCIONA ESVIENTOCOMO EL ATRIBUTO GANADOR FUE EL VIENTO Y LA ENTROPÍA(SOLEADO/VIENTO)=0, ENTONCES QUIEREDECIR QUE LA INCERTIDUMBRE SE HA ELIMINADO Y EL ARBOL NO PROSIGUE POR ESTA RAMACOMO SE PUEDE OBSERVAR EN LA TABLA SIGUIENTE, TODOS LOS PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=FUERTE,CORRESPONDE A "NO JUGAR TENIS" Y TODOS LOS PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=DÉBIL, CORRESPONDEN A SI JUGAR TENIS", ES DECIR UNA VEZ CONOCIDO QUE EL AMBIENTE ES LLUVIOSO, EL CONOCIMIENTO DEL ATRIBUTOVIENTO PERMITE DECIDIR SI SE JUEGA O NO TENIS
PATRON AMBIENTE TEMPERATURA HUMEDAD4 lluvioso moderada alta5 lluvioso fría Normal6 lluvioso fría Normal
10 lluvioso moderada Normal14 lluvioso moderada alta
HUMEDAD
Soleado
Alta Normal
Entropia (Lluvioso/Viento)=n(Fu )n(So )
Entropia ( fuerte/Lluvioso)+n(De)n(So)
Entropia (débil/Lluvioso )
Entropia (Lluvioso/Viento)=25
0+35
0=0
Ganancia (Lluvioso, Temperatura )=0 .970950594−0=0 .970950594
Ganancia (Lluvioso, Viento )=Entropia (Lluvioso)−Entropía (Lluvioso /Viento)
LAS REGLAS ASOCIADAS A ESE ARBOL SON:1) SI AMBIENTE =SOLEADO Y HUMEDAD=ALTA, ENTONCES NO JUGAR TENIS2) SI AMBIENTE =SOLEADO Y HUMEDAD=NORMAL, ENTONCES SI JUGAR TENIS3) SI AMBIENTE =NUBLADO, ENTONCES SI JUGAR TENIS4) SI AMBIENTE =LLUVIOSO Y VIENTO=FUERTE, ENTONCES NO JUGAR TENIS5) SI AMBIENTE =LLUVIOSO Y VIENTO=DEBIL, ENTONCES SI JUGAR TENIS
LOS 14 PATRONES INICIALES SE HAN REDUCIDO A 6 REGLAS, ESTO INDICA QUE SE HA LOGRADO SIMPLIFICAR LA INFORMACIÓNLOGRÁNDOSE UN FACTOR DE COMPRESIÓN DE 14:6= 2.33
No Si
Alta Normal
FUNDACIÓN UNIVERSITARIA KONRAD LORENZFACULTAD DE MATEMÁTICAS E INGENIERÍAS
PROGRAMA DE INGENIERÍA DE SISTEMASCURSO DE SISTEMAS BASADOS EN EL CONOCIMIENTO
BOGOTÁ- COLOMBIA
EJEMPLO APRENDIZAJE DE ÁRBOLES DE DECISIÓN
El aprendizaje de árboles de decisión es un método de funciones de valores discretosen el cual la función aprendida es representada por un árbol de decisión. Los árboles
Estos métodos de aprendizaje están entre los más populares algoritmos de inferencia
aprendizaje del diagnóstico de casos médicos hasta la evaluación de riesgo de créditoVARIABLE DE DECISION
Jugar tenisnnsssnsnsssssn
Se desea construir un árbol de decisión que permita determinar si se juega o no tenis,a partir del valor de los atributos: Ambiente, Temperatura, Humedad y Viento
1) DECIDIR CUAL ES EL ATRIBUTO RAIZ, ES DECIR EL ATRIBUTO QUE PROPORCIONA MÁS INFORMACIÓN CON RESPECTO A LA
Para todos los cálculos, a partir de la tabla anterior podríamos aplicar filtros convenientes, con el fin de obtener los valoresUna forma, más cómoda de obtener la información necesaria es construir una tabla dinámicas, que se puede modificar
Ubique la celda activa en una de las celdas dela tablas que utilizará como fuente de los patrones
Como se puede apreciar, excel selecciona automáticamente la tabla, en caso de no ubicar la celda activa en la tabla antes de seleccionar la opciónde tabla dinámica, debe elegir manualmente la tabla correspondiente, haciendo clic donde se indica en la figura anteriorAl darle clic en aceptar se crea una nueva hoja de cálculo, que se ve, como se muestra a continuación
Haga clic aquí para seleccionar un conjunto de datos diferentes
Campo de los datos de origen que se asigna a una orientación de página (o filtro) en un informe de tabla dinámica. Por ejemplo, Ambiente puede considerarse como un campo de filtro, si se quiere mostrar los datos resumidos para ambiente=soleado, ambiente=lluvioso. o ambiente =nublado
Campo de datos Campo de los datos de origen que contiene los valores que se van a resumir. Por ejemplo, en este caso el número de "n" y de "s" en la variable de respuesta,"jugar tenis" un campo de datos. Para los tipos de datos de origen, se puede elegir cómo se van a resumir los datos (por ejemplo, por suma, promedio o recuento). Un campo de datos suele resumir números pero también puede resumir texto. Por ejemplo, puede contar el número de veces que aparece una entrada de texto específica (por ejemplo, Sí o No) en un campo.
Ahora podemos arrastrar los atributos, de acuerdo a nuestras necesidades, ya sea directamente a la tabla dinámicao podemos arrastrarlos a la lista de campos de la tabla dinámica, que aparece en el cuadro señalado con el rectángulo rojoSi usted selecciona uno o varios de estos campos excel asumirá automáticamente que son campos de fila
Para diseñar la tabla, lo que necesitamos saber inicialmente es cuantos patrones tiene "jugar tenis"=s y cuántos tienen "jugar tenis"=nentonces, una opción podría ser colocar como campo fila a "jugar tenis", y como campo de datos: "cuenta jugar tenis"Para hacer esto, se arrastra el campo "jugar tenis", desde la lista de campos, hasta el campo de filas de la tabla dinámica
Campo de columna Campo de los datos de origen que se asigna a una orientación de columna en un informe de tabla dinámica., para que se detalle cada campo de fila, de acuerdo con esos campos de columna, teniendo como base el campo de datos. Por ejemplo, si en el campo de fila se tiene jugar tenis(con dos valores) en el campo de datos se tiene cuenta Jugar tenis(cuenta del número de cada valos "s" y "n"), y como campo columna "ambiente",(3 valores) entonces , el campo de datos tendrá básicamente 2(valores en jugar tenis)x 3(valroes en ambiente), el encabezado de las columnas serán los valores de "ambiente", y las etiquetas de las filas serán los valores de "jugar tenis". En la celda s-soleado, se mostrará, el número de patrones que tiene ambiente=soleado y corresponden a "jugar tenis"=n
Lo cual indica que hay 5 patrones con "jugar tenis=n" y 9 patrones con "jugar tenis=s"
La entropía es el número promedio de bits requeridos para codificar la variable de decisión del sistema
n(s)=Número de patrones con variables de decisión=Sín(n)=Número de patrones con variables de decisión=No
CALCULO DE LA GANANCIA DE INFORMACIÓN PARA CADA ATRIBUTO
Entropía esperada del sistema, luego de conocer el valor del atributo AMBIENTE
PATRONES CON AMBIENTE=SOLEADO
viento Jugar tenis
débil n
fuerte ndébil ndébil sfuerte s
La tabla anterior fue obtenida mediante un filtro a la tabla original, pero podría obtenerse mediante la tabla dinámica, adicionando
VOLVER
Ahora haga clic en la lista desplegable de Ambiente y se selecciona soleado
n(So)=Número de patrones con Ambiente=soleadon(s/So)=Número de con Ambiente= soleado y variable de decisión= Sín(n/So)=Número de con Ambiente= soleado y variable de decisión= No
PATRONES CON AMBIENTE=NUBLADOviento Jugar tenisdébil sfuerte sfuerte sdébil s
Si en la tabla dinámica se seleccióna Ambiente-nublado, obtiene lo siguiente
VOLVER
Entropia (Soleado )=−n( s/ So)n( So)
log2 (n (s /So )n (So ) )−n( n/So )
n( So)log2( n(n /So )
n(So ) )
Esto indica, que si se sabe que el AMBIENTE=nublado, entonces, jugar tenis=s, y no se requiere información adicionaln(Nu)=Número de patrones con Ambiente=nubladon(s/Nu)=Número de con Ambiente= nublado y variable de decisión= Sín(n/Nu)=Número de con Ambiente= nublado y variable de decisión= No
Este valor de entropía confirma esto
PATRONES CON AMBIENTE=LLUVIOSOviento Jugar tenisdébil sdébil sfuerte ndébil sfuerte n
Si en la tabla dinámica se seleccióna Ambiente-lluvioso, obtiene lo siguiente
n(Llu)=Número de patrones con Ambiente=Lluvioson(s/Llu)=Número de con Ambiente= Lluvioso y variable de decisión= Sín(n/Llu)=Número de con Ambiente= Lluvioso y variable de decisión= No
CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL AMBIENTE
VOLVER
Entropia (Nublado )=−n(s/Nu )n( Nu)
log2( n(s/Nu )n(Nu ) )−n( n/Nu )
n (Nu)log2( n(n/Nu )
n( Nu) )
Entropia (Lluvioso)=−n(s/Llu )n(Llu )
log2( n(s/Llu )n (Llu ) )−n(n/Llu )
n(Llu )log2( n( n/Llu )
n(Llu ) )
Entropia (S/ Ambiente )=n(So )n( S )
Entropia (soleado )+n( Nu)n( S )
Entropia (nublado)+n(Llu )n(S )
Entropia ( lluvioso )
Entropia (S, Ambiente )=5
140.970950594+
414
0+5
140 .970950594=0 .693536139
GANANCIA DE INFORMACIÓN EN EL SISTEMA AL CONOCER EL AMBIENTE
PATRONES CON HUMEDAD=ALTAviento Jugar tenisdébil nfuerte ndébil sdébil sdébil nfuerte sfuerte n
En la tabla dinámica se puede arrastar el atibuto HUMEDAD, desde la lista de campos de la tabla(a la derecha de la pantalla)hasta los campos de filtro de la tabla(debajo de ambiente) Como se necesita conocer el comportamientode los patrones para cada valor de humedad sin restricciones adicionales, entonces se fija AMBIENTE a Todas y a HUMEDAD= altapara obtener los patrones correspondientes a este tipo de humedad. La tabla se verá así
n(s/Al)=Número de con Humedad= Alta y variable de decisión= Sín(n/Al)=Número de con Humedad= Alta y variable de decisión= No
Entropia (S, Ambiente )=5
140.970950594+
414
0+5
140 .970950594=0 .693536139
PATRONES CON HUMEDAD=NORMALviento Jugar tenisdébil sfuerte nfuerte sdébil sdébil sfuerte sdébil s
n(No)=Número de patrones con Humedad=Normaln(s/No)=Número de con Humedad=Normal y variable de decisión= Sín(n/No)=Número de con Humedad= Normal y variable de decisión= No
CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE LA HUMEDAD
GANANCIA DE INFORMACIÓN EN EL SISTEMA AL CONOCER LA HUMEDAD
Ganancia(S, Humedad )=0 .940285959−0.788450457=0 .151835501
Entropia (normal )=−n (s /No )n (No )
log2( n(s /No)n(No) )−n( n/No)n(No)
log 2( n(n /No )n(No) )
Entropia (S, Humedad )=7
140 .985228136+
714
0 .591672779=0 .788450457
PATRONES CON VIENTO=FUERTEviento Jugar tenisfuerte nfuerte nfuerte sfuerte sfuerte sfuerte n
En la tabla dinámica se puede arrastar el atibuto VIENTO, desde la lista de campos de la tabla(a la derecha de la pantalla)hasta los campos de filtro de la tabla(debajo de AMBIENTE Y HUMEDAD) Como se necesita conocer el comportamientode los patrones para cada valor de humedad sin restricciones adicionales, entonces se fija AMBIENTE a Todas , HUMEDAD a Todas, y VIENTO=fuerte, para obtener los patrones correspondientes a este tipo de viento. La tabla se verá así
n(s/Fu)=Número de con Viento=Fuerte y variable de decisión= Sín(n/Fu)=Número de con Viento=Débil y variable de decisión= No
PATRONES CON VIENTO=DEBILviento Jugar tenisdébil ndébil sdébil sdébil sdébil ndébil sdébil sdébil s
Entropia ( fuerte )=−n(s /Fu)n(Fu)
log2( n( s /Fu )n(Fu ) )−n(n /Fu )
n(Fu)log2( n(n /Fu )
n(Fu) )
n(s/De)=Número de con Viento=Débil y variable de decisión= Sín(n/De)=Número de con Viento=Débil y variable de decisión= No
CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL ATRIBUTO VIENTO
Entropía esperada luego de conocer el valor del atributo TEMPERATURA
PATRONES CON TEMPERATURA=CALIENTEviento Jugar tenisdébil n
Entropia (débil )=−n (s /De )n(De )
log2( n( s/De)n(De) )−n(n/De )n (De )
log2 ( n(n/De)n(De ) )
Ganancia(S, Viento ) 0.940285959 0.892158928 0.048127031
6 8Entropia (S/Viento ) 1.0 0.811278124 0.892158928
14 14
fuerte ndébil sdébil s
En la tabla dinámica se puede arrastar el atibuto TEMPERATURA, desde la lista de campos de la tabla(a la derecha de la pantalla)hasta los campos de filtro de la tabla(debajo de AMBIENTE,HUMEDAD Y VIENTO) Como se necesita conocer el comportamientode los patrones para cada valor de humedad sin restricciones adicionales, entonces se fija AMBIENTE a Todas , HUMEDAD a Todas, VIENTO=Todas y TEMPERATURA = caliente, para obtener los patrones correspondientes
n(Ca)=Número de patrones con Temperatura=calienten(s/Ca)=Número de con Temperatura=caliente y variable de decisión= Sín(n/Ca)=Número de con Temperratura=caliente y variable de decisión= No
PATRONES CON TEMPERATURA=FRIAviento Jugar tenisdébil sfuerte nfuerte sdébil s
Entropia (caliente )=−n( s/Ca)n(Ca)
log2( n( s/Ca)n(Ca) )−n(n/Ca)n (Ca )
log2( n (n/Ca)n(Ca) )
n(Fr)=Número de patrones con Temperatura=Frían(s/Fr)=Número de con Temperatura=Fría y variable de decisión= Sín(n/Fr)=Número de con Temperratura=Fría y variable de decisión= No
PATRONES CON TEMPERATURA=MODERADAviento Jugar tenisdébil sdébil ndébil sfuerte sfuerte sfuerte n
n(Mo)=Número de patrones con Temperatura=Moderadan(s/Mo)=Número de con Temperatura=Moderada y variable de decisión= Sín(n/Mo)=Número de con Temperratura=Moderada y variable de decisión= No
CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL ATRIBUTO TEMPERATURA
Entropia (mod erada )=−n (s /Mo )n (Mo )
log2 ( n(s /Mo )n(Mo ) )−n(n /Mo )
n(Mo )log2 ( n(n/Mo )
n (Mo ) )
Entropia (S, Temperatura )=4
141 .0+
414
0 .81127812+6
140.91829583=0 .91106339
Entropia (S/Temperatura )=n(Ca )n( S )
Entropia (caliente)+n(Fr )n( S )
Entropia ( fría )+n(Mo )n (S )
Entropia ( moderada )
RESUMEN DE RESULTADOS SOBRE LA GANANCIA DEL SISTEMA CON RESPECTO A CADA UNO DE LOS ATRIBUTOS
Lo anterior indica que el atributo que más información proporciona para tomar la decisión de jugar o no tenis es el AMBIENTE
Ahora se debe decidir para cada uno de los valores del atributo AMBIENTE, qué atributo es el que proporciona mayor información
Conociendo que el ambiente es soleado. Cuál es el atributo que proporciona mayor información?En este caso el sistema se restringe a todos los patrones con AMBIENTE=SOLEADO
PATRONES CON AMBIENTE=SOLEADOJugar tenis
nnnss
IR A DONDE SE HIZO ESTE CÁLCULO
2 patrones con respuesta n3 patrrones con respuesta s
Entropia (S, Temperatura )=4
141 .0+
414
0 .81127812+6
140.91829583=0 .91106339
Se evalúa la ganancia de información para cada uno de los otros atributos: TEMPERATURA, HUMEDAD, VIENTO
PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = CALIENTEJugar tenis
nn
n(So y Ca)=Número de patrones con Ambiente=soleado y Temperatura=calienten(s/So y Ca)=Número de patrones con Ambiente=soleado y Temperatura=caliente con variable de decisión = Sín(n/So y Ca)=Número de patrones con Ambiente=soleado y Temperatura=caliente con variable de decisión = No
PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = FRIAJugar tenis
s
Entropia (caliente / soleado)=−n (s /So y Ca)n (So y Ca)
log2( n( s/ So y Ca)n( So y Ca) )−n( n/So y Ca)
n( So y Ca )log2( n (n/So y Ca )
n( So y Ca) )
n(So y Fr)=Número de patrones con Ambiente=soleado y Temperatura=Frían(s/So y Fr)=Número de patrones con Ambiente=soleado y Temperatura=Fría con variable de decisión = Sín(n/So y Fr)=Número de patrones con Ambiente=soleado y Temperatura=Fría con variable de decisión = No
PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = MODERADAJugar tenis
ns
n(So y Mo)=Número de patrones con Ambiente=soleado y Temperatura=Moderadan(s/So y Mo)=Número de patrones con Ambiente=soleado y Temperatura=Moderada con variable de decisión = Sín(n/So y Mo)=Número de patrones con Ambiente=soleado y Temperatura=Moderada con variable de decisión = No
CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO TEMPERATURA
GANANCIA DE INFORMACIÓN EN SOLEADO AL CONOCER LA TEMPERATURA
Entropia (Fría /soleado)=−n(s /So y Fr )n(So y Fr )
log2( n (s /So y Fr )n (So y Fr ) )−n (n/So y Fr )
n( So y Fr )log2 ( n(n/ So y Fr )
n( So y Fr ) )
Entropia (Moderada/soleado)=−n(s /So y Mo )n(So y Mo )
log2 ( n(s /So y Mo )n(So y Mo ) )−n(n/ So y Mo )
n( So y Mo )log2 ( n(n/ So y Mo )
n (So y Mo ) )
Ganancia (Soleado, Temperatura )=Entropia( Soleado)−Entropía( Soleado /Temperatura)
Entropia (Soleado/Temperatura )=n(Ca )n(So )
Entropia (caliente/soleado)+n(Fr )n(So)
Entropia (fría/soleado)+n(Mo )n(So)
Entropia ( moderada/soleado)
PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=ALTAJugar tenis
nnn
n(So y Al)=Número de patrones con Ambiente=soleado y Humedad=Altan(s/So y Al)=Número de patrones con Ambiente=soleado y Humedad=Alta con variable de decisión = Sín(n/So y Al)=Número de patrones con Ambiente=soleado y Humedad=Alta con variable de decisión = No
PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=NORMALJugar tenis
ss
Entropia (alta/ soleado)=−n (s /So y Al )n (So y Al )
log2( n( s/ So y Al )n( So y Al ) )−n(n /So y Al )
n (So y Al )log2 ( n(n/ So y Al )
n (So y Al ) )
Ganancia (Soleado, Temperatura )=Entropia( Soleado)−Entropía( Soleado /Temperatura)
n(So y No)=Número de patrones con Ambiente=soleado y Humedad=Normaln(s/So y No)=Número de patrones con Ambiente=soleado y Humedad=Normal con variable de decisión = Sín(n/So y No)=Número de patrones con Ambiente=soleado y Humedad=Normal con variable de decisión = No
CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO HUMEDAD
SI SE SABE QUE EL AMBIENTE ES SOLEADO, EL ATRIBUTO HUMEDAD ELIMINA TODA LA INCERTIDUMBRECON RESPECTO A LA VARIABLE DE DECISIÓN(JUGAR TENIS)
PATRONES CON AMBIENTE=SOLEADO Y VIENTO=FUERTEJugar tenis
ns
Entropia(Normal/soleado )=−n( s/ So y No)n( So y No)
log2( n( s/ So y No )n( So y No ) )−n(n /So y No)
n(So y No)log2( n(n /So y No)
n( So y No ) )
Entropia (Soleado/Humedad )=n(Al )n(So)
Entropia (alta/soleado)+n (No)n(So )
Entropia (normal/soleado)
n(So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fuerten(s/So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fuerte con variable de decisión = Sín(n/So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fuerte con variable de decisión = No
PATRONES CON AMBIENTE=SOLEADO Y VIENTO=DEBILJugar tenis
nns
n(So y De)=Número de patrones con Ambiente=soleado y Viento=Débiln(s/So y De)=Número de patrones con Ambiente=soleado y Viento=Débil con variable de decisión = Sín(n/So y De)=Número de patrones con Ambiente=soleado y Viento=Débil con variable de decisión = No
Entropia (débil /soleado)=−n(s /So y De )n(So y De )
log2( n( s/ So y De )n( So y De ) )−n(n /So y De )
n( So y De )log2( n(n/ So y De )
n( So y De) )
Entropia( fuerte /soleado )=−n( s /So y Fu)n( So y Fu)
log2( n( s /So y Fu)n( So y Fu) )−n(n/ So y Fu )
n( So y Fu)log2( n(n /So y Fu)
n(So y Fu ) )
CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO VIENTO
RESUMEN DE RESULTADOS DE LA GANANCIA DE INFORMACIÓN EN SOLEADO CON RESPECTO A CADA UNO DE LOS ATRIBUTOS DISPONIBLES
ES DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE ES SOLEADO, EL ATRIBUTO QUE MÁS INFORMACIÓN PROPORCIONA ES
COMO EL ATRIBUTO GANADOR FUE LA HUMEDAD Y LA ENTROPÍA(SOLEADO/HUMEDAD)=0, ENTONCES QUIEREDECIR QUE LA INCERTIDUMBRE SE HA ELIMINADO Y EL ARBOL NO PROSIGUE POR ESTA RAMACOMO SE PUEDE OBSERVAR EN LA TABLA SIGUIENTE, TODOS LOS PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD ALTA,CORRESPONDE A "NO JUGAR TENIS" Y TODOS LOS PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=NORMAL, CORRESPONDEN A SI JUGAR TENIS", ES DECIR UNA VEZ CONOCIDO QUE EL AMBIENTE ES SOLEADO, EL CONOCIMIENTO DEL ATRIBUTO
PATRONES CON AMBIENTE=SOLEADOviento Jugar tenisdébil nfuerte ndébil ndébil sfuerte s
CON ESTAS PRECISIONES EL ÁRBOL QUEDARÍA PARCIALMENTE COMO SIGUE
Lluvioso
2 patrones con respuesta n3 patrrones con respuesta s
4 patrones con respuesta s
Entropia (Soleado/Viento )=n(Fu )n(So )
Entropia (fuerte/soleado)+n(De)n(So)
Entropia (débil/soleado )
En este caso el sistema se restringe a todos los patrones con AMBIENTE=NUBLADOPor lo tanto la entropia del sistema restringido es igual a la entropía de soleado
ESTO INDICA QUE UNA VEZ SE SEPA QUE EL ATRIBUTO AMBIENTE ES NUBLADO, YA SE PUEDE DECIDIR SI SE JUEGA TENIS O NO
PATRONES CON AMBIENTE=NUBLADOviento Jugar tenisdébil sfuerte sfuerte sdébil s
COMO SE PUEDE APRECIAR, TODOS LOS PATRONES CON AMBIENTE=NUBLADO, CORRESPONDEN A JUGAR TENISESTO QUIERE DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE=NUBLADO, SE SABRÁ QUE JUGAR TENIS=SI. Y NO HABRÁ INCERTIDUMBRE
CON ESTAS PRECISIONES EL ÁRBOL QUEDA PARCIALMENTE SE LA SIGUIENTE FORMA
En este caso el sistema se restringe a todos los patrones con AMBIENTE=LLUVIOSOPor lo tanto la entropia del sistema restringido es igual a la entropía de lluvioso
REGRESAR A VER ESTE CALCULO
REGRESAR A VER ESTE CALCULO
AMBIENTE
?
Nublado Lluvioso
Si 2 patrones con respuesta n3 patrrones con respuesta s
PATRONES CON AMBIENTE=LLUVIOSOviento Jugar tenisdébil sdébil sfuerte ndébil sfuerte n
Como no hay patrones con Ambiente =Lluvioso y Temperatura=Caliente
PATRONES CON AMBIENTE=LLUVIOSO Y TEMPERATURA=FRÍAviento Jugar tenisdébil sfuerte n
n(LLu y Fr)=Número de patrones con Ambiente=Lluvioso y Temperatura=Frían(s/LLu y Fr)=Número de patrones con Ambiente=Lluvioso y Temperatura=Fría con variable de decisión = Sín(n/LLu y Fr)=Número de patrones con Ambiente=Lluvioso y Temperatura=Fría con variable de decisión = No
PATRONES CON AMBIENTE=LLUVIOSO Y TEMPERATURA=MODERADAviento Jugar tenisdébil sdébil sfuerte n
n(LLu y Mo)=Número de patrones con Ambiente=Lluvioso y Temperatura=Moderadan(s/LLu y Mo)=Número de patrones con Ambiente=Lluvioso y Temperatura=Moderada con variable de decisión = Sín(n/LLu y Mo)=Número de patrones con Ambiente=Lluvioso y Temperatura=Moderada con variable de decisión = No
CALCULO DE LA ENTROPÍA DE LLUVIOSO QUE SE CONOCE EL ATRIBUTO TEMPERATURA
GANANCIA DE INFORMACIÓN EN LLUVIOSO AL CONOCER LA TEMPERATURA
Entropia (Fría /lluvioso )=−n( s/Llu y Fr )n(Llu y Fr )
log2 (n (s /Llu y Fr )n (Llu y Fr ) )−n(n /Llu y Fr )
n(Llu y Fr )log2( n(n /Llu y Fr )
n(Llu y Fr ) )
Entropia(Moderada/lluvioso )=−n( s /Llu y Mo )n(Llu y Mo )
log2 ( n(s /Llu y Mo )n(Llu y Mo ) )−n (n/Llu y Mo)
n(Llu y Mo)log2( n(n /Llu y Mo)
n(Llu y Mo) )
Entropia (Lluvioso/Temperatura )=n(Ca )n(So)
Entropia (caliente/lluvioso )+n( Fr )n (So )
Entropia ( fría/lluvioso )+n (Mo )n(So )
Entropia (moderada/lluvioso )
Entropia (Lluvioso/Temperatura )=0+25
1 .0+35
0 .91829583=0 . 950977498
PATRONES CON AMBIENTE=LLUVIOSO Y HUMEDAD=ALTAviento Jugar tenisdébil sfuerte n
n(LLu y Al)=Número de patrones con Ambiente=Lluvioso y Humedad=Altan(s/LLu y Al)=Número de patrones con Ambiente=Lluvioso y Humedad=Alta con variable de decisión = Sín(n/LLu y Al)=Número de patrones con Ambiente=Lluvioso y Humedad=Alta con variable de decisión = No
PATRONES CON AMBIENTE=LLUVIOSO Y HUMEDAD=NORMALviento Jugar tenisdébil sfuerte ndébil s
Entropia(alta/ lluvioso )=−n( s/Llu y Al )n(Llu y Al )
log2( n( s/Llu y Al )n(Llu y Al ) )−n(n/Llu y Al )
n(Llu y Al )log2( n(n /Llu y Al )
n(Llu y Al ) )
Ganancia (Lluvioso, Temperatura )=Entropia (Lluvioso )−Entropía (Lluvioso /Temperatura)
Ganancia (Lluvioso, Temperatura )=0 .970950594−0 . 950977498=0 . 0199731
n(LLu y No)=Número de patrones con Ambiente=Lluvioso y Humedad=Normaln(s/LLu yNo)=Número de patrones con Ambiente=Lluvioso y Humedad=Normal con variable de decisión = Sín(n/LLu y No)=Número de patrones con Ambiente=Lluvioso y Humedad=Normal con variable de decisión = No
PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=FUERTEviento Jugar tenisfuerte nfuerte n
Entropia(Normal/ lluvioso)=−n (s /Llu y No)n (Llu y No)
log2( n( s/Llu y No)n(Llu y No) )−n(n/Llu y No )
n (Llu y No)log2 ( n(n/Llu y No)
n(Llu y No ) )
Entropia (Lluvioso/Humedad)=n (Al )n (So)
Entropia (alta/lluvioso)+n(No )n(So)
Entropia (normal/lluvioso )
Ganancia (Lluvioso, Humedad )=Entropia (Lluvioso )−Entropía (Lluvioso /Humedad )
Ganancia (Lluvioso, Humedad )=0 . 970950594−0 . 950977498=0 . 0199731
n(LLu y Fu)=Número de patrones con Ambiente=Lluvioso y Viento=Fuerten(s/LLu y Fu)=Número de patrones con Ambiente=Lluvioso y Viento=Fuerte con variable de decisión = Sín(n/LLu y Fu)=Número de patrones con Ambiente=Lluvioso y Viento=Fuerte con variable de decisión = No
PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=DEBILviento Jugar tenisdébil sdébil sdébil s
n(LLu y De)=Número de patrones con Ambiente=Lluvioso y Viento=Débiln(s/LLu y De)=Número de patrones con Ambiente=Lluvioso y Viento=Débil con variable de decisión = Sín(n/LLu y De)=Número de patrones con Ambiente=Lluvioso y Viento=Débil con variable de decisión = No
Entropia ( fuerte / lluvioso)=−n(s /Llu y Fu)n(Llu y Fu)
log2( n (s /Llu y Fu )n (Llu y Fu ) )−n (n/Llu y Fu)
n(Llu y Fu )log2( n (n/Llu y Fu)
n(Llu y Fu ) )
Entropia(débil /lluvioso )=−n( s /Llu y De )n(Llu y De )
log2( n( s/Llu y De )n(Llu y De ) )−n(n /Llu y De)
n(Llu y De)log2( n(n /Llu y De)
n(Llu y De) )
RESUMIENDO LAS GANANCIAS DE INFORMACIÓN DE CADA ATRIBUTO CON RESPECTO A AMBIENTE=SOLEADO
ATRIBUTO GANADOR
ES DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE ES LLUVIOSO EL ATRIBUTO QUE MÁS INFORMACIÓN PROPORCIONA ES
COMO EL ATRIBUTO GANADOR FUE EL VIENTO Y LA ENTROPÍA(SOLEADO/VIENTO)=0, ENTONCES QUIEREDECIR QUE LA INCERTIDUMBRE SE HA ELIMINADO Y EL ARBOL NO PROSIGUE POR ESTA RAMACOMO SE PUEDE OBSERVAR EN LA TABLA SIGUIENTE, TODOS LOS PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=FUERTE,CORRESPONDE A "NO JUGAR TENIS" Y TODOS LOS PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=DÉBIL, CORRESPONDEN A SI JUGAR TENIS", ES DECIR UNA VEZ CONOCIDO QUE EL AMBIENTE ES LLUVIOSO, EL CONOCIMIENTO DEL ATRIBUTO
VIENTO JUGAR TENISdébil sdébil sfuerte ndébil sfuerte n
AMBIENTE
HUMEDAD VIENTO
Soleado Nublado Lluvioso
Normal
Si
Fuerte Débil
Entropia (Lluvioso/Viento)=n(Fu )n(So )
Entropia ( fuerte/Lluvioso)+n(De)n(So)
Entropia (débil/Lluvioso )
Ganancia (Lluvioso, Viento )=Entropia (Lluvioso)−Entropía (Lluvioso /Viento)
1) SI AMBIENTE =SOLEADO Y HUMEDAD=ALTA, ENTONCES NO JUGAR TENIS2) SI AMBIENTE =SOLEADO Y HUMEDAD=NORMAL, ENTONCES SI JUGAR TENIS
4) SI AMBIENTE =LLUVIOSO Y VIENTO=FUERTE, ENTONCES NO JUGAR TENIS5) SI AMBIENTE =LLUVIOSO Y VIENTO=DEBIL, ENTONCES SI JUGAR TENIS
LOS 14 PATRONES INICIALES SE HAN REDUCIDO A 6 REGLAS, ESTO INDICA QUE SE HA LOGRADO SIMPLIFICAR LA INFORMACIÓN
Si
Normal
No Si
Fuerte Débil
1) DECIDIR CUAL ES EL ATRIBUTO RAIZ, ES DECIR EL ATRIBUTO QUE PROPORCIONA MÁS INFORMACIÓN CON RESPECTO A LA
RESUMEN DE RESULTADOS SOBRE LA GANANCIA DEL SISTEMA CON RESPECTO A CADA UNO DE LOS ATRIBUTOS
Ahora se debe decidir para cada uno de los valores del atributo AMBIENTE, qué atributo es el que proporciona mayor información
FUNDACIÓN UNIVERSITARIA KONRAD LORENZFACULTAD DE MATEMÁTICAS E INGENIERÍASSISTEMAS BASADOS EN EL CONOCIMIENTO I
PROFESOR: PERVYS RENGIFO RENGIFO
REALIZADO POR: FELIPE FORERO
SE TIENE UN CONJUNTO DE CUERPOS DE DOS CLASE: A, BSE DESEA INDUCIR UN ÁRBOL DE DECISIÓN QUE PERMITA DETERMINAR, A PARTIR DE LAS CARACTERÍSTICAS DE TAMAÑO, COLOR Y FORMA,DE ESTOS CUERPOS, LA CLASE A LA QUE PERTENECEN
TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA AGRANDE ROJO REDONDEADA APEQUEÑO ROJO REDONDEADA APEQUEÑO NEGRO REDONDEADA BGRANDE NEGRO CÚBICA BGRANDE AMARILLO CÚBICA BGRANDE NEGRO REDONDEADA BPEQUEÑO AMARILLO CÚBICA B
ATRIBUTO TAMAÑO
TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA AGRANDE ROJO REDONDEADA APEQUEÑO ROJO REDONDEADA APEQUEÑO NEGRO REDONDEADA BGRANDE NEGRO CÚBICA BGRANDE AMARILLO CÚBICA BGRANDE NEGRO REDONDEADA BPEQUEÑO AMARILLO CÚBICA B
Tamaño = Pequeño
TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA APEQUEÑO ROJO REDONDEADA APEQUEÑO NEGRO REDONDEADA BPEQUEÑO AMARILLO CÚBICA B
Entropia (S )=−n (s )n(S )
log2( n (s )n (S ))− n (n )
n (S )log2( n (n )
n( S ))
Entropia (S )=−49
log2(49 )−59
log2(59 )¿0 .99107606
Tamaño = Grande
TAMAÑO COLOR FORMA CLASEGRANDE AMARILLO REDONDEADA AGRANDE ROJO REDONDEADA AGRANDE NEGRO CÚBICA BGRANDE AMARILLO CÚBICA BGRANDE NEGRO REDONDEADA B
GANANCIA DE TAMAÑO
ATRIBUTO COLORTAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA AGRANDE ROJO REDONDEADA APEQUEÑO ROJO REDONDEADA APEQUEÑO NEGRO REDONDEADA BGRANDE NEGRO CÚBICA BGRANDE AMARILLO CÚBICA BGRANDE NEGRO REDONDEADA BPEQUEÑO AMARILLO CÚBICA B
Color = Amarillo
TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA AGRANDE AMARILLO CÚBICA BPEQUEÑO AMARILLO CÚBICA B
Entropia (Am )=−24
log2 (24 )−24
log2 (24 )¿1
Entropia (Gran)=−25
log2(25 )−3
5log2 (35 )
¿0 .97095059
Ganancia (S, Tamaño )=0 .99107606−0 .98386144
Ganancia (S, Tamaño )=0 .99107606−0 .98386144=0.00721462
Entropia (Peq)=−24
log2 (24 )−24
log2 (24 )¿1
Color = RojoTAMAÑO COLOR FORMA CLASEGRANDE ROJO REDONDEADA APEQUEÑO ROJO REDONDEADA A
Color = negro
TAMAÑO COLOR FORMA CLASEPEQUEÑO NEGRO REDONDEADA BGRANDE NEGRO CÚBICA BGRANDE NEGRO REDONDEADA B
GANANCIA DE COLOR
ATRIBUTO FORMA
TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA AGRANDE ROJO REDONDEADA APEQUEÑO ROJO REDONDEADA APEQUEÑO NEGRO REDONDEADA BGRANDE NEGRO CÚBICA BGRANDE AMARILLO CÚBICA BGRANDE NEGRO REDONDEADA BPEQUEÑO AMARILLO CÚBICA B
Forma = Redondeada
TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA AGRANDE ROJO REDONDEADA APEQUEÑO ROJO REDONDEADA A
Entropia (Roj )=−22
log2(22 )−02
log2 (02 )¿0
Entropia (Neg)=−33
log2 (33 )−03
log2(03 )¿0
Ganancia(S, Color )=0 . 99107606−0 .44444444=0.54663162
PEQUEÑO NEGRO REDONDEADA BGRANDE NEGRO REDONDEADA B
Forma = cubica
TAMAÑO COLOR FORMA CLASEGRANDE NEGRO CÚBICA BGRANDE AMARILLO CÚBICA BPEQUEÑO AMARILLO CÚBICA B
GANANCIA DE FORMA
ATRIBUTO GANANCIATAMAÑO 0.00721462COLOR 0.54663162FORMA 0.15887886
Atributo que brinda mayor Informacion, a partir de Color = Amarilloentropia(amarillo) = 1
TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA AGRANDE AMARILLO CÚBICA BPEQUEÑO AMARILLO CÚBICA B
AMARILLO / TAMAÑOTamaño= pequeño
TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA APEQUEÑO AMARILLO CÚBICA B
Entropia (Red )=−46
log2(46 )−2
6log2 (26 )
¿0 .91829583
Entropia (Cub)=−33
log2 (33 )−03
log2(03 )¿0
Ganancia (S, Color )=0 . 99107606−0 . 61219722=0.15887886
Tamaño= grande
TAMAÑO COLOR FORMA CLASEGRANDE AMARILLO REDONDEADA AGRANDE AMARILLO CÚBICA B
AMARILLO / FORMA
TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA AGRANDE AMARILLO CÚBICA BPEQUEÑO AMARILLO CÚBICA B
FORMA = REDONDEADA
TAMAÑO COLOR FORMA CLASEPEQUEÑO AMARILLO REDONDEADA AGRANDE AMARILLO REDONDEADA A
TAMAÑO COLOR FORMA CLASEGRANDE AMARILLO CÚBICA BPEQUEÑO AMARILLO CÚBICA B
Entropia (Peq / Ama )=−12
log2(12 )−12
log2 (12 )¿1
Entropia (Gran / Ama )=−12
log2(12 )−12
log2(12 )
¿1
Entropia ( t amaño)=12∗1+
12∗1
=1
Ganancia( Amarillo, Tamaño)=1−1=0
Entropia (Red / Ama )=−22
log2(22 )−02
log2(02 )¿0
ATRIBUTO GANANCIATAMAÑO 0FORMA 1
Como el atributo forma reduce la incertidumbre a cero, quiere decir que es el final de esta rama, ya que su entropia es ceroel arbol quedaria asi:
Al evaluar la entropia de los valores de Color, la de rojo y de negro dieron 0, lo que quiere decir que reducen al minimo la incertidumbrepodemos darnos cuenta que si color=rojo, entonces clase=A, y si color=negro, clase = B. El arbol final seria:
AMARILLO
FORMA
CUBICA REDONDEADA
CLASE B CLASE A
Entropia (Cub / Ama )=−02
log2(02 )−22
log2 (22 )¿0
Entropia (Foma )=24∗0+
24∗0
=0
Ganancia ( Amarillo, Forma )=1−0=1
FORMA
CUBICA
CLASE B
FUNDACIÓN UNIVERSITARIA KONRAD LORENZFACULTAD DE MATEMÁTICAS E INGENIERÍASSISTEMAS BASADOS EN EL CONOCIMIENTO I
PROFESOR: PERVYS RENGIFO RENGIFO
REALIZADO POR: FELIPE FORERO
SE DESEA INDUCIR UN ÁRBOL DE DECISIÓN QUE PERMITA DETERMINAR, A PARTIR DE LAS CARACTERÍSTICAS DE TAMAÑO, COLOR Y FORMA,
0.99107606
Entropia (S )=−n (s )n(S )
log2( n (s )n (S ))− n (n )
n (S )log2( n (n )
n( S ))
Entropia (S/ Ambiente )=n(So )n( S )
Entropia (soleado )+n( Nu)n( S )
Entropia (nublado)+n(Llu )n(S )
Entropia ( lluvioso )
Ganancia (S, Ambiente )=Entropia ( S )−Entropía (S / Ambiente )
Entropia (S/ Ambiente )=n(So )n( S )
Entropia (soleado )+n( Nu)n( S )
Entropia (nublado)+n(Llu )n(S )
Entropia ( lluvioso )
COLOR
AMARILLO ROJO NEGRO
Como el atributo forma reduce la incertidumbre a cero, quiere decir que es el final de esta rama, ya que su entropia es cero
Al evaluar la entropia de los valores de Color, la de rojo y de negro dieron 0, lo que quiere decir que reducen al minimo la incertidumbrepodemos darnos cuenta que si color=rojo, entonces clase=A, y si color=negro, clase = B. El arbol final seria:
COLOR
AMARILLO ROJO NEGRO
REDONDEADA
CLASE A
COLOR
AMARILLO ROJO NEGRO
AMARILLO ROJO NEGRO
FORMA
REDONDEADA
CLASE A
CLASE A CLASE B
Top Related