Metia 10

7/31/2019 Metia 10

1/70

Mtodos de

Inteligencia Artificial

L. Enrique Sucar (INAOE)

[email protected]/esucarTecnologas de Informacin

UPAEP

7/31/2019 Metia 10

2/70

Redes Bayesianas: Parte I Introduccin

Representacin Inferencia Propagacin en rboles

7/31/2019 Metia 10

3/70

Representacin Las redes bayesianas son una

representacin grfica de dependencias

para razonamiento probabilstico, en la cuallos nodos y arcos representan: Nodos: Variables proposicionales. Arcos: Dependencia probabilstica

La variable a la que apunta el arco esdependiente (causa-efecto) de la que esten el origen de ste.

7/31/2019 Metia 10

4/70

Ejemplo de una red bayesiana

Borracho

Sed Dolor-Cabeza

Vino

7/31/2019 Metia 10

5/70

MGP - RB I, L.E. Sucar 5

Otro ejemplo

Influenza

Fiebre Dolor-Cabeza

Contagio

7/31/2019 Metia 10

6/70

1. Distribucin de probabilidad:Representa la distribucin de la probabilidad

conjunta de las variables representadas en lared.

Podemos interpretar a una RB de dos formas:

Por ejemplo:

P(C, I, F, D) = P(C) P(I | C) P(F | I) P (D | I)

7/31/2019 Metia 10

7/70

2. Base de reglas:Cada arco representa un conjunto de reglasque asocian las variables involucradas,Por ejemplo:

Si IentoncesF

Dichas reglas estn cuantificadas porlas probabilidades respectivas.

7/31/2019 Metia 10

8/70

Otro ejemplo

7/31/2019 Metia 10

9/70

Estructura La topologa o estructura de la red nos da

informacin sobre las dependencias

probabilsticas entre las variables.

La red tambin representa las independenciascondicionales de una variable (o conjunto devariables) dada otra variable(s).

7/31/2019 Metia 10

10/70

Ejemplo Para el caso del domo:

{Fva} es cond. indep. de {Fv, Fe, Nd} dado {Fb}

Esto es:P(Fva | Fv, Fe, Nd, Fb)= P(Fva | Fb)

Esto se representa grficamente por el nodo Fb separando alnodo Fva del resto de las variables.

7/31/2019 Metia 10

11/70

7/31/2019 Metia 10

12/70

Independencias condicionales En una RB todas la relaciones de independencia condicional

representadas en el grafo corresponden a relaciones deindependencia en la distribucin de probabilidad.

Dichas independencias simplifican la representacin delconocimiento (menos parmetros) y el razonamiento(propagacin de las probabilidades).

7/31/2019 Metia 10

13/70

Representacin Grfica Una red bayesiana representa en forma

grfica las dependencias e independenciasentre variables aleatorias, en particular lasindependencias condicionales

Independencia en la distribucin

P(X | Y,Z) = P(X | Z) Independencia en el grafo

X separada de Y por Z

7/31/2019 Metia 10

14/70

Representacin GrficaNotacin:

Independencia en la distribucin I(X,Z,Y)

Independencia en el grafo < X | Z | Y >

X Z Y

7/31/2019 Metia 10

15/70

Separacin D El conjunto de variables A es

independiente del conjunto B dado elconjunto C, si no existe trayectoria entreA y B en que

1. Todos los nodos convergentes estn o tienen

descendientes en C2. Todos los dems nodos estn fuera de C

7/31/2019 Metia 10

16/70

Separacin D Tres casos bsicos

Arcos divergentes

Arcos en secuencia Arcos convergentes

7/31/2019 Metia 10

17/70

Separacin D casos bsicos caso 1: Secuencia:

X Z Y

caso 2: Divergentes:

caso 3: Convergentes:

X Z Y

X Z Y

7/31/2019 Metia 10

18/70

Ejemplos Separacin-DA

DC

F G

B

E I(A,CD,F)?I(A,CD,B)?I(BD,A,C)?

I(A,G,B)?I(A,D,G)?I(C,BEG,D)?

7/31/2019 Metia 10

19/70

Especificacin Estructural En una RB, cualquier nodo X es

independiente de todos los nodos que no

son sus descendientes dados sus nodospadres Pa(X) contorno de X

La estructura de una RB se especificaindicando el contorno (padres) de cadavariable

7/31/2019 Metia 10

20/70

Especificacin EstructuralA

DC

F G

B

E

Pa(A) = 0Pa(B) = 0

Pa(C) = APa(D) = A, BPa(E) = BPa(F) = C, D

Pa(G) = D

7/31/2019 Metia 10

21/70

Cobija de Markov La cobija de Markov de un nodo es el

conjunto de nodos que lo hacen

independiente del resto de la red Para una RB la cobija de Markov est

formada por: Nodos padre Nodos hijo Otros padres de los hijos

7/31/2019 Metia 10

22/70

Cobija de MarkovA

DC

F G

B

E

CM (D) ?

7/31/2019 Metia 10

23/70

Parmetros

Complementan la definicin de una redbayesiana las probabilidades condicionalesde cada variable dados sus padres.

Nodos raz: vector de probabilidadesmarginales

Otros nodos: matriz de probabilidadescondicionales dados sus padres

7/31/2019 Metia 10

24/70

P(C)

P(T|C)P(G)

P(R|T) P(F|T,G)

Comida

GripeTifoidea

Fiebre Dolor Reacciones

P(D|T,G)

Ejemplo

7/31/2019 Metia 10

25/70

P(C)

P(T|C)P(G)

P(R|T) P(F|T,G)

Comida

GripeTifoidea


P(D|T,G)

Ejemplo0.80.2

SalIns

7/31/2019 Metia 10

26/70

P(C)

P(T|C)P(G)

P(R|T) P(F|T,G)

Comida

GripeTifoidea


P(D|T,G)

0.80.2

SalIns

.9.3No

.1.7Si

SalIns

7/31/2019 Metia 10

27/70

P(C)

P(T|C)P(G)

P(R|T)

P(F|T,G)

Comida

GripeTifoidea


P(D|T,G)

0.80.2

SalIns

.9.3No

.1.7Si

SalIns

0.90.50.40.2~F

0.10.50.60.8FNo,NoNo,SiSi,NoSi, Si

7/31/2019 Metia 10

28/70

Especificacin Paramtrica Dado que los contornos (padres) de cada nodo especifican

la estructura, mediante las probabilidades condicionales dedichos nodos podemos especificar tambin lasprobabilidades requeridas

Aplicando la regla de la cadena y las independenciascondicionales, se puede verificar que con dichasprobabilidades se puede calcular la probabilidad conjunta

7/31/2019 Metia 10

30/70

Especificacin Paramtrica En general, la probabilidad conjunta se

especifica por el producto de las

probabilidades de cada variable dados suspadres:

P(X1,X2, ..., Xn) = P(Xi | Pa(Xi))

7/31/2019 Metia 10

31/70

Inferencia probabilstica En RB, la inferencia probabilstica consiste en:

dadas ciertas variables conocidas (evidencia), calcular la

probabilidad posterior de las dems variables(desconocidas)

Es decir, calcular: P(Xi | E), donde: E es un subconjunto de variables de la RB (posiblemente vaci)

Xi es cualquier variable en la RB, no en E

7/31/2019 Metia 10

32/70

Inferencia bayesianaC

H

E

P(H|C)

P(E|H)

Causal:

C H

Evidencial:

E H

Mixta:C, E H

7/31/2019 Metia 10

33/70

Tipos de Tcnicas

Calcular probabilidades posteriores: Una variable, cualquier estructura: algoritmo

de eliminacin (variable elimination)

Todas las variable, estructuras sencillamenteconectadas (rboles, polirboles): propagacin

Todas las variables, cualquier estructura:

Agrupamiento (junction tree) Simulacin estocstica

Condicionamiento

7/31/2019 Metia 10

34/70

Tipos de Tcnicas

Obtener variable(s) de mayor probabilidaddada cierta evidencia abduccin:

Abduccin total Abduccin parcial

7/31/2019 Metia 10

35/70

Tipos de estructuras

Sencillamenteconectadas rboles

Polirboles

Multiconectadas

7/31/2019 Metia 10

36/70

Cada nodo corresponde a una variablediscreta, B (B 1, B 2,, B m) con surespectiva matriz de probabilidadcondicional, P(B|A)=P(Bj| Ai)

Propagacin en rboles

7/31/2019 Metia 10

37/70

Propagacin en rboles

A

D

C

F G

B

E

H

I

7/31/2019 Metia 10

38/70

Dada cierta evidencia E-representada por lainstanciacin de ciertas variables- laprobabilidad posterior de cualquier variableB, por el teorema de Bayes:

P( Bi | E)=P( Bi ) P(E | Bi) / P( E )

B

7/31/2019 Metia 10

39/70

Evidencia

A

D

C

F G

B

E

H

I

E = {I,F,E}

7/31/2019 Metia 10

40/70

Ya que la estructura de la red es un rbol, elNodo B la separa en dos subrboles, por lo

que podemos dividir la evidencia en dosgrupos:

E-: Datos en el rbol que cuya raz es B

E+: Datos en el resto del rbol

Evidencia

7/31/2019 Metia 10

41/70

Evidencia

A

D

C

F G

B

E

H

I

E+

E-

7/31/2019 Metia 10

43/70

Si definimos los siguientes trminos:

Definiciones:

(Bi) = P ( E- | Bi)

Entonces:

(Bi) = P (Bi | E+ )

P(Bi | E ) = (B i) (B i)

7/31/2019 Metia 10

44/70

Desarrollo En base a la ecuacin anterior, se puede

integrar un algoritmo distribuido para

obtener la probabilidad de un nodo dadacierta evidencia Para ello se descompone el clculo de cada

parte:

Evidencia de los hijos () Evidencia de los dems nodos ()

7/31/2019 Metia 10

45/70

Evidencia de los hijos (l ) Dado que los hijos son condicionalmente

independientes dado el padre:

(Bi) = P ( E- | Bi) = k P ( Ek

- | Bi)

Donde Ek- corresponde a la evidencia delsubrbol del hijo k

7/31/2019 Metia 10

46/70

Evidencia

hijosA

D

C

F G

B

E

H

I

E-(D) E-(E)

J

7/31/2019 Metia 10

47/70

Evidencia de los hijos (

) Condicionando respecto a los posibles

valores de los hijos de B:

(Bi)= k[ j P ( Ek- | Bi, Sjk) P(Sjk | Bi) ]

Donde Sk es el hijo kde B, y la sumatoria essobre los valores de dicho nodo (teorema deprobabilidad total)

7/31/2019 Metia 10

48/70

Evidencia de los hijos (

) Dado que B es condicionalmente

independiente de la evidencia dados sus hijos:

(Bi) = k [ j P ( Ek- | Sj

k) P(Sjk | Bi) ]

Substituyendo la defincin de :

(Bi)= k [ j P(Sjk | Bi) (Sj

k)]

7/31/2019 Metia 10

49/70

Evidencia

hijosA

D

C

F G

B

E

H

I

(E)(D)

7/31/2019 Metia 10

50/70

Evidencia de los hijos (l ) Recordando que es un vector (un valor por

cada posible valor de B), lo podemos ver en

forma matricial:

= P (S | B)

7/31/2019 Metia 10

51/70

Evidencia de los dems nodos (

) Condicionando sobre los diferentes valores

del nodo padre (A):

(Bi) = P (Bi | E+ ) = j P (Bi | E

+ , Aj) P(Aj | E+ )

Donde Aj corresponde a los diferentes valoresdel nodo padre de B

7/31/2019 Metia 10

52/70

Evidencia

padreA

D

C

F G

B

E

H

IE+

7/31/2019 Metia 10

53/70

Evidencia de los dems nodos (p)

Dado que B es independiente de la evidencia arriba de A,dado A:

(Bi) = j P (Bi | Aj) P(Aj | E+ )

La P(Aj | E+ ) corresponde a la P posterior de A dada toda laevidencia excepto B y sus hijos, por lo que se puede escribircomo:

P(Aj | E+ ) = (A i) k B k (A i)

7/31/2019 Metia 10

54/70

Evidencia

padreA

D

C

F G

B

E

H

I

(C)

(B)

(A)

7/31/2019 Metia 10

55/70

Evidencia de los dems nodos ()

Substituyendo P(Aj | E+ ) en la ecuacin de :

(Bi) = j P (Bi | Aj) [ (A i) k B k (A i) ] De forma que se obtiene combinando la de

del nodo padre con la

de los dems hijos

7/31/2019 Metia 10

56/70

Evidencia de los dems nodos (p) Dado que tambin es un vector, lo podemos ver en forma

matricial (donde PA es el producto de la evidencia de padre yotros hijos):

= P (B | A) PA

7/31/2019 Metia 10

57/70

Algoritmo

Mediante estas ecuaciones se integra unalgoritmo de propagacin de

probabilidades en rboles.

Cada nodo guarda los valores de losvectores y , as como su matriz de

probabilidad condicional (CPT), P.

La propagacin se hace por un mecanismode paso de mensajes, en donde cada nodoenva los mensajes correspondientes a su

padre e hijos

7/31/2019 Metia 10

58/70

Mensaje al padre (hacia arriba) nodo B a su padre A:

Mensaje a los hijos (hacia abajo) -nodo B a su hijo Sk :

7/31/2019 Metia 10

59/70

Algoritmo Al instanciarse ciertos nodos, stos envan

mensajes a sus padres e hijos, y se propagan hastaa llegar a la raz u hojas, o hasta encontrar unnodo instanciado.

As que la propagacin se hace en un solo paso,en un tiempo proporcional al dimetro de la red.

7/31/2019 Metia 10

60/70

Propagacin

A

D

C

F G

B

E

H

I

I (H)

E(B)

G(D)F(D)

C(A)

D(B)

B(A)

A(H)

7/31/2019 Metia 10

61/70

Propagacin

A

D

C

F G

B

E

H

I

H(I)

B(E)

D(G)D(F)

A(C)

B(D)

A(B)

H(A)

7/31/2019 Metia 10

62/70

Condiciones Iniciales

Nodos hoja no conocidos: (Bi) = [1,1, ]

Nodos asignados (conocidos):

(Bi) = [0,0, ..1, 0, , 0] (1 para valor asignado)(Bi)= [0,0, ..1, 0, , 0] (1 para valor asignado)

Nodo raz no conocido:

(A)= P(A), (probabilidad marginal inicial)

7/31/2019 Metia 10

63/70

Ejemplo

Enf.

Fiebre Dolor

Comida

P(F|E)0.9 0.5

0.1 0.5

P(D|E)0.7 0.4

0.3 0.6

P(E|C)

0.9 0.70.1 0.3

P(C)0.8 0.2

7/31/2019 Metia 10

64/70

7/31/2019 Metia 10

65/70

Ejemplo

Enf.

Fiebre Dolor

ComidaF= [1,0] *

[.9 .5 |.1 .5]

= [.9 .5]

D= [1,1] *[.7 .4 |.3 .6]

= [1 1]

P(D|E)0.7 0.4

0.3 0.6

P(F|E)0.9 0.5

0.1 0.5

7/31/2019 Metia 10

66/70

Ejemplo

Enf.

Fiebre Dolor

Comida

(E) = [.9 .5] * [1 1] = [.9 .5]

P(D|E)0.7 0.4

0.3 0.6

P(F|E)0.9 0.5

0.1 0.5

(C) = [.9 .5] * [.9 .7|.1 .3]

= [.86 .78]

P(E|C)0.9 0.70.1 0.3

7/31/2019 Metia 10

67/70

Ejemplo

Enf.

Fiebre Dolor

Comida(E) = [.8 .2] * [.9 .7|

.1 .3] = [.86 .14]

P(D|E)0.7 0.4

0.3 0.6

P(F|E)0.9 0.5

0.1 0.5

(C) = [.8 .2]

P(E|C)0.9 0.70.1 0.3

7/31/2019 Metia 10

68/70

Ejemplo

Enf.

Fiebre Dolor

Comida

(E) = [.86 .14]

P(D|E)0.7 0.4

0.3 0.6

(C) = [.8 .2]

(D) = [.86 .14] * [.9 .5][.7 .4|.3 .6]

= [.5698 .2742]

7/31/2019 Metia 10

69/70

Ejemplo

Enf.

Fiebre Dolor

Comida(E) = [.86 .14]

(C) = [.8 .2]

(D) = [.57 .27]

(D)=[1,1]

(E) = [.9 .5]

(C) = [.86 .78]P(C)=[.688 .156]

P(C)= [.815 .185]P(E)=[.774 .070]P(E)= [.917 .083]

P(D)=[.57 .27]P(D)= [.67 .33]

7/31/2019 Metia 10

70/70

Tarea Leer sobre redes bayesianas (captulo en la

pgina)

Metia 10

Documents

Transcript of Metia 10