Tema 11: Aprendizaje de conceptosjalonso/cursos/ra-00/temas/tema-11.pdf · Aprendizaje de conceptos...

Razonamiento Automatico Curso 2000–2001

Tema 11: Aprendizaje deconceptos

Jose A. Alonso Jimenez

Miguel A. Gutierrez Naranjo

Dpto. de Ciencias de la Computacion e Inteligencia Artificial

Universidad de Sevilla

RA 2000–01 CcIa Aprendizaje de conceptos 11.1

Aprendizaje de conceptos

x Distintas aproximaciones

x Un concepto no es mas que el conjunto de todas sus instancias(Leibnitz)

.

u La Humanidad es el conjunto de todos los hombres.

u La sociedad andaluza es el conjunto de habitantes de Andalucıa.

u La relacion mayor que definida sobre el conjunto de los numeros reales es el conjunto

de pares (x, y) tales que x es mayor que y.



• Para conocer un conjuntos tenemos dos tipos de definiciones:

– Extensiva: Enumerando uno tras otro sus elementos

Vocales = {a, e, i, o ,u}– Intensiva: Dando una propiedad que tengan todos aquellos y solo

aquellos elementos del conjunto

ParesN = {n ∈ N|∃m ∈ N(n = 2×m)}



x El aprendizaje de conceptos estudia como conseguir la definicion de unacategorıa a partir de ejemplos positivos y negativos de esa categorıa.

x El aprendizaje de conceptos estudia como inferir automaticamenteuna funcion general sobre el conjunto de ejemplos que tome valoresbooleanos y caracterice los ejemplos conocidos.

f : Ejemplos −→ {0, 1}

x Dos objetivos:

u Compresion de la informacion

u Capacidad predictiva



x Graficamente

⊕ ⊕

⊕

⊕

⊕⊕

ªª

ª

ª

ª ª

ª◦

◦◦

◦

◦◦

◦

◦

◦◦

◦

◦

◦◦

◦

◦◦

◦

◦

'

&

$

%

'

&

$

%

'

&

$

%

'

&

$

%


Ejemplo

Problema: Un amigo nuestro practica deportes acuaticos. Unos dıas lospractica y otros no. Nos gustarıa saber si hoy va a ir a practicarlos o no.

o o o O o o o

• Universo: Conjunto de todos los dias posibles

• Objetivo: Conjunto de todos los dias que practica deporte

• Funcion objetivo: Funcion caracterıstica del conjunto objetivo

Hacer deporte : Dıas −→ {0, 1}


El problema de la representacion

¿Como representamos un dıa?

• Pares atributo–valor

• Seleccion de atributos: Cielo, Temperatura, Humedad, VientoAgua, Prevision

• Seleccion de valores:

Cielo: Soleado, lluvioso. Viento: Fuerte, debil, sin viento.Temperatura: Alta, templada, frıa. Agua: Caliente, templada, frıa.Humedad: Alta, normal, baja. Prevision: Cambio, Sigue igual.


Ejemplo

Conjunto de entrenamiento:

Cielo Temperatura Humedad Viento Agua Prevision Hacer DeporteSoleado Templada Normal Fuerte Templada Sigue igual SıSoleado Templada Alta Fuerte Templada Siguel igual SıLluvioso Frıa Alta Fuerte Templada Cambio NoSoleado Templada Alta Fuerte Frıa Cambio Sı

• ¿Cuando hacemos deporte?

• ¿Podemos definir el concepto Hacer Deporte?


El problema del aprendizaje de conceptos (I) (Inf.)

•Dados:

– Un universo o conjunto de instancias X (Dıas posibles, cada unodescrito por los atributos Cielo, Temperatura, Humedad, Viento,Agua y Prevision).

– Una funcion de clasificacion definida sobre X desconocida:

c : X −→ Clasif

donde Clasif es el conjunto de posibles clasificaciones que tiene unainstancia. En nuestro ejemplo podemos considerar

Clasif={Sı, No} o Clasif = {0, 1}


El problema del aprendizaje de conceptos (Inf.)

– Un conjunto de entrenamiento (conocido)

D = {(x1, c(x1)), (x2, c(x2)), . . . , (xn, c(xn))}formado por pares (xi, c(xi)) donde xi ∈ X y c(xi) es la clasificacionde la instancia xi por la funcion c.

• Encontrar:

– Una funcion objetivo

h : X −→ Clasif

tal que si (xi, c(xi)) ∈ D entonces h(xi) = c(xi)


Hipotesis

La Hipotesis del Aprendizaje Inductivo:

Cualquier hipotesis que aproxime la funcion obje-tivo sobre un conjunto suficientemente grande deejemplos de entrenamiento tambien aproximarala funcion objetivo sobre el resto de los ejemplos.


El problema de la representacion

Seguimos con nuestro ejemplo

•Muchas representaciones posibles

• Pares valor–atributo

•Hipotesis: Conjuncion de restricciones sobre las instancias de los atrib-utos

• Cada restriccion puede ser:

– Un valor especıfico (p. e. Agua = Templada)

– Cualquier valor (p. e. Agua = ?)

– No se permite ningun valor (p. e. Agua = ∅)


Elpro

ble

ma

de

lare

pre

senta

cion

Eje

mplo

s

•Pod

emos

consi

der

arqu

elo

sdıa

spar

ahac

erde-

por

teso

naq

uel

los

enlo

squ

e

Cie

lo=

Sol

eado

yTem

per

atura

=?

yH

um

edad

=?

yV

ient

o=

Fuer

tey

Agu

a=

?y

Pre

visi

on=

Sig

ue

igual

•Oco

nuna

repre

sent

acio

nm

asco

mpac

ta

(Sol

eado,

?,?,

Fuer

te,?

,Sig

ue

igual

)

•Que

repre

sent

ael

subco

nju

nto

de

Xfo

rmad

opor

aquel

osdıa

sen

los

que

elat

ributo

Cie

loto

ma

elva

lorSol

eado

,el

Vie

nto

esFuer

tey

laPre

vision

esSig

ue

igual

,y

los

dem

asat

ributo

spued

ento

mar

cual

quie

rva

lor.

RA

2000

–01

CcI a

Apre

ndiz

aje

de

conce

pto

s11

.13

Apre

ndiz

aje

induct

ivo

xU

nsi

stem

afo

rmal

con

un

lenguaje

Ly

tres

suble

nguaje

s:

uL

B(e

lle

ngu

aje

delco

noc

imie

nto

base

)

uL

H(e

lle

ngu

aje

dela

shi

pot

esis

)

uL

E(e

lle

ngu

aje

delo

sej

empl

os)

xElpro

ble

ma

sedefine

de

lasi

guie

nte

manera

:

•Dados

–B∈

LB

Con

ocim

ient

obas

e

–E⊕∈

LE

Eje

mplo

spos

itiv

os

–Eª∈

LE

Eje

mplo

sneg

ativ

os

tale

squ

ecu

mpla

n:

∗Nec

esid

ada

prio

ri:∃e

⊕∈

E⊕

T6`

e⊕

∗Con

sist

enci

aa

prio

ri:∀e

ª∈

Eª

T6`

eª

•Enco

ntr

ar

un

conju

nto

finit

oH∈

LH

talqu

ese

cum

-pla

n ∗Sufici

enci

aa

post

erio

ri:∀e

⊕∈

E⊕

T⋃

H`

e⊕

∗Con

sist

enci

aa

post

erio

ri:∀e

ª∈

Eª

T⋃

H6`

eª

RA

2000

–01

CcI a

Apre

ndiz

aje

de

conce

pto

s11

.14


• En nuestro ejemplo no consideramos conocimiento base

•Dados:

• LE es el conjunto de todas las sextuplas formadas por los corrrespondi-entes valores, esto es, todas las instancias expresables.

• LH sera el conjunto de todas la aplicaciones

h : LE −→ {0, 1}cada aplicacion se representara como una sextupla del tipo

(Soleado,?,?,Fuerte,?,Sigue igual)

que represeanta el conjunto de instancias clasificadas positivamente.



• Un conjunto de entrenamiento

E⊕ = {(xi, 1}i∈I Eª = {(xi, 0}i∈I

(o de manera resumida D = {(xi, c(xi)}i∈I)

• Encontrar:

h ∈ H tal que ∀i ∈ I(h(xi) = c(xi))


Aprendizaje como busqueda

• Numero de instancias del conjunto X = 3× 2× 2× 2× 2× = 96 (Cielopuede tomar tres posibles valores, el resto de los atributos dos.

• Numero de hipotesis sintacticamente distintas = 5×4×4×4×4×4 = 5120(En cada atributo podemos considerar ademas los valores “?” y”∅”

• Numero de hipotesis semanticamente distintas = 1+(4×3×3×3×3×3) =973 (Basta con que ∅ aparezca una vez en la hipotesis para que ningunejemplo sea positivo.)


Estructura de retıculo (I)

x Definicion 1: Una relacion R es un orden parcial sobre un conjunto Xsi se satisfacen las siguientes condiciones:

u (∀x ∈ X) [xRx] Reflexiva

u (∀x, y ∈ X) [(xRy ∧ yRx) ⇒ x = y] Antisimetrica

u (∀x, y, z ∈ X) [(xRy ∧ yRz) ⇒ xRz] Transitiva

x Definicion 2: Sea S un conjunto con un orden parcial R y T un subcon-junto de S. Entonces, se dice que a ∈ S es un cota superior de T si paratodo x ∈ T se tiene xRa. Analogamente se dice que b ∈ S es una cotainferior de T si para tod x ∈ T se tiene que bRx.


Estructura de retıculo (I)

x Definicion 3: Sea S un conjunto con un orden parcial R y T un subcon-junto de S. Entonces, se dice que a ∈ S es el supremo de T , sup(T ) sia es una cota superior, y para cualquier otra cota superior a′, se tieneque aRa′. De manera analoga, se dice que b ∈ S es el ınfimo de T , inf (T )si b es una cota inferior, y para cualquier otra cota inferior b′, se tieneque b′Rb.

x Definicion 4: Sea S un conjunto con un orden parcial R. Decimos queel par (S, R) es un retıculo si para cualquier subconjunto finito T de S,existen inf (T ) y sup(T )


Instancias, hipotesis y ordenes

h = <Sunny, ?, ?, Strong, ?, ?>

h = <Sunny, ?, ?, ?, ?, ?>

h = <Sunny, ?, ?, ?, Cool, ?>

2h

h3

h

Instances X Hypotheses H

Specific

General

1x

2x

x = <Sunny, Warm, High, Strong, Cool, Same>

x = <Sunny, Warm, High, Light, Warm, Same>

1

1

2

1

2

3


Espacios de versiones

Una hipotesis h es consistente con el conjunto de entrenamiento D delconcepto objetivo c si y solo si φh(x) = c(x) para cada ejemplo de entre-namiento (x, c(x)) de D.

Consistente(h,D) ≡ (∀(x, c(x)) ∈ D)φh(x) = c(x)

donde φh es la funcion objetivo asociada a la hipotesis h.

Nota: En lo que sigue, identificamos h con φh


Espacios de versiones

El espacio de versiones V SH,D correspondiente al espacio de hipotesisH y el conjunto de entrenamiento D es el subconjunto de H consistente conel conjunto de entrenamiento D.

V SH,D ≡ {h ∈ H|Consistente(h,D)}

x El espacio de versiones es el conjunto de todas las posibles soluciones alproblema de aprendizaje.


Ejemplo

Cielo Temperatura Humedad Viento Agua Prevision Hacer DeporteSoleado Templada Normal Fuerte Templada Sigue igual SıSoleado Templada Alta Fuerte Templada Siguel igual SıLluvioso Frıa Alta Fuerte Templada Cambio NoSoleado Templada Alta Fuerte Frıa Cambio Sı

Espacio de versiones:

(Soleado, Templada, ?, Fuerte, ?,?) (Soleado, ?, ?, Fuerte, ?,?)(Soleado, Templada, ?, ?, ?,?) (?, Templada, ?, Fuerte, ?,?)(Soleado, ?, ?, ?, ?,?) (?, Templada, ?, ?, ?,?)


El algoritmo Enumera–y–elimina

Algoritmo para encontrar el espacio de versiones de unproblema de aprendizaje

1. Inializa Espacio–de–versiones como una lista conteniendo todas las hipotesisde H .

2. Para cada ejemplo de entrenamiento (x, c(x))

• Elimina de Espacio–de–versiones todas las hipotesis h para las queh(x) 6= c(x)

3. Salida: Espacio–de–versiones


Representacion

Sea H un conjunto de hipotesis y ≤ el orden de generalidad.

• Se dice que g ∈ H es un elemento de maxima generalidad de H si

¬∃g′ ∈ H (g < g′)

• Se dice que s ∈ H es un elemento de maxima especificidad de H si

¬∃s′ ∈ H (s′ < s)


Representacion

• La Cota General, G, de un espacio de hipotesis H respecto de unconjunto de entrenamiento D es el conjunto de los elementos de maximageneralidad de H consistentes con D

G = {g ∈ H|consistente(g, D) ∧ (¬∃g′ ∈ H)[(g′ > g) ∧ Consistenete(g′, D)]}• La Cota Especıfica, S, de un espacio de hipotesis H respecto de un

conjunto de entrenamiento D es el conjunto de los elementos de maximaespecificidad de H consistentes con D

S = {s ∈ H|consistente(s,D) ∧ (¬∃s′ ∈ H)[(s > s′) ∧ Consistenete(s′, D)]}


Teorema

Teorema de representacion del espacio de versiones:

Sea X un conjunto arbitrario de instancias y sea H un conjunto de hipo-tesis de valores booleanos definido sobre X . Sea c : X ← {0, 1} unafuncion de clasificacion definida sobre X y D = {(xi, c(xi)}i∈I un conjuntode entrenamiento. Sean G y S las cotas general y especıfica resp. del espaciode hipotesis H respecto de un conjunto de entrenamiento D. Entonces

V SH,D = {h ∈ H|(∃s ∈ S)(∃g ∈ G)(g ≥ h ≥ s)}


Ejemplo de espacio de versiones

S:

<Sunny, Warm, ?, ?, ?, ?><Sunny, ?, ?, Strong, ?, ?> <?, Warm, ?, Strong, ?, ?>

<Sunny, Warm, ?, Strong, ?, ?>{ }

G: <Sunny, ?, ?, ?, ?, ?>, <?, Warm, ?, ?, ?, ?> { }


Generalizacion y especializacion

Sea H un espacio de versiones y h ∈ H

• h′ ∈ H es una generalizacion minimal de h verificando la propiedad Psi

– h′ > h, h′ verifica la propiedad P y no existe h′′ ∈ H verificando lapropiedad P cumpliendo h < h′′ < h′

• h′ ∈ H es una especializacion minimal de h verificando la propiedad Psi

– h > h′, h′ verifica la propiedad P y no existe h′′ ∈ H verificando lapropiedad P cumpliendo h′ < h′′ < h


Algoritmo Eliminacion–de–candidatos

• Inicio: Dados H y D

– G ← El conjunto de elementos de maxima generalidad de H

– S ← El conjunto de elementos de maxima especificidad de H

• Para cada ejemplo d del conjunto de entrenamiento D,

– Si d es un ejemplo positivo

∗ Elimina de G cualquier hipotesis inconsistente con d

∗ Para cada hipotesis s de S que no sea consistente con d

· Elimina s de S

· Anade a S todas las generalizaciones minimales h de s tales que


Algoritmo Eliminacion–de–candidatos

1. h sea consistente con d

2. Algun elemento de G es mas general que h

· Elimina de S cualquier hipotesis mas general que otra hipotesis de S

– Si d es un ejemplo negativo

∗ Elimina de S cualquier hipotesis inconsistente con d

∗ Para cada hipotesis g de G que no sea consistente con d

· Elimina g de G

· Anade a G todas las especializaciones minimales h de g tales que

1. h sea consistente con d

2. Algun elemento de S es mas especıfico que h

· Elimina de G cualquier hipotesis menos general que otra hipotesis de G


Eje

mplo

(I)

{<?,

?, ?

, ?, ?

, ?>

}

S0:

{<Ø

, Ø, Ø

, Ø, Ø

, Ø>

}

G0:

Tra

inin

g ex

ampl

es:

. <Su

nny,

War

m, N

orm

al, S

tron

g, W

arm

, Sam

e>, E

njoy

Spo

rt =

Yes

1

. <Su

nny,

War

m, H

igh,

Str

ong,

War

m, S

ame>

, Enj

oy S

port

= Y

es2

S1

:<

Sunn

y, W

arm

, Nor

mal

, Str

ong,

War

m, S

ame>

{}

S2

:<

Sunn

y, W

arm

, ?, S

tron

g, W

arm

, Sam

e>{

}

12

0G

, G:

G,

<?,

?, ?

, ?, ?

, ?>

{}

S 0:

{}

∅, ∅

, ∅, ∅

, ∅, ∅

<>

RA

2000

–01

CcI a

Apre

ndiz

aje

de

conce

pto

s11

.32

Eje

mplo

(II)

G3:

<R

ainy

, Col

d, H

igh,

Str

ong,

War

m, C

hang

e>,

Enj

oySp

ort=

No

Tra

inin

g E

xam

ple:

3.S 2, S

3:

<Su

nny,

War

m, ?

, Str

ong,

War

m, S

ame>

{}

<Su

nny,

?, ?

, ?, ?

, ?>

<

?, W

arm

, ?, ?

, ?, ?

>

<?,

?, ?

, ?, ?

, Sam

e>{

}

G2:

<?,

?, ?

, ?, ?

, ?>

{}

Tra

inin

g E

xam

ple:

Enj

oySp

ort =

Yes

<Su

nny,

War

m, H

igh,

Str

ong,

Coo

l, C

hang

e>,

4.

S3:

<Su

nny,

War

m, ?

, Str

ong,

War

m, S

ame>

{}

S4:

<Su

nny,

War

m, ?

, Str

ong,

?, ?

>{

}

G4:

<Su

nny,

?, ?

, ?, ?

, ?>

<

?, W

arm

, ?, ?

, ?, ?

>

{}

G3:

<Su

nny,

?, ?

, ?, ?

, ?>

<

?, W

arm

, ?, ?

, ?, ?

>

<?,

?, ?

, ?, ?

, Sam

e>{

}

RA

2000

–01

CcI a

Apre

ndiz

aje

de

conce

pto

s11

.33

Convergencia del algoritmo

Si el conjunto de entrenamiento es suficientemtente grande, ¿Podemos garan-tizar que el espacio de versiones contiene como unico elemento la funcion declasificacion? Sı si se verifica:

• No hay errores en la clasificacion de los ejemplos de entrenamiento

• La hipotesis correcta esta en el espacio de hipotesis


Bibliografıa

Mitchell, T. M. Machine Learning

• Texto: McGraw–Hill, 1997. Capıtulos I y II.

• Web: http://www.cs.cmu.edu/ tom/mlbook.html


Tema 11: Aprendizaje de conceptosjalonso/cursos/ra-00/temas/tema-11.pdf · Aprendizaje de conceptos...

Documents

Transcript of Tema 11: Aprendizaje de conceptosjalonso/cursos/ra-00/temas/tema-11.pdf · Aprendizaje de conceptos...