Tema 5: Evaluación de Modelos deClasificación Supervisada

Pedro Larranaga, Inaki Inza, Abdelmalik Moujahid

Departamento de Ciencias de la Computacion e Inteligencia Artificial

Universidad del Paıs Vasco

http://www.sc.ehu.es/isg/

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 1/20

Evaluación de Modelos de Clasificación Supervisada

• Introducción• Estimación de la probabilidad de clasificación

correcta• Brier score• La curva ROC

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 2/20

Introducción

Clasificación Supervisada

X1 . . . Xn C

(x(1), c(1)) x(1)1 . . . x

(1)n c(1)

(x(2), c(2)) x(2)1 . . . x

(2)n c(2)

. . . . . . . . .

(x(N), c(N)) x(N)1 . . . x

(N)n c(N)

x(N+1) x

(N+1)1 . . . x

(N+1)n ???

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 3/20

IntroducciónClasificación Supervisada

X1 . . . Xn C CM

(x(1), c(1)) x(1)1 . . . x

(1)n c(1) c

(1)M

(x(2), c(2)) x(2)1 . . . x

(2)n c(2) c

(2)M

. . . . . . . . . . . .

(x(N), c(N)) x(N)1 . . . x

(N)n c(N) c

(N)M

Número de aciertos:∑N

i=1 δ(c(i), c(i)M )

δ(c(i), c(i)M ) =

1 si c(i) = c(i)M

0 si c(i) 6= c(i)M

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 4/20

Introducción

C Clase real+ -

+ a bCM Clase predicha

- c d

• Tasa de acierto: a+da+b+c+d

• Tasa de error: c+ba+b+c+d

• Proporción de verdaderos positivos (sensibilidad): aa+c

• Proporción de verdaderos negativos (especifidad): db+d

• Proporción de falsos positivos: ba+c

• Proporción de falsos negativos: cb+d

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 5/20

Estimación de la probabilidad de clasificación correcta

Algoritmo Inductor M p ˆ 1

N

1

N

1 X n X C M C 1 X n X C

M

pM =1

N

N∑

i=1

δ(c(i) = c(i)M )

Método no honesto de estimación

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 6/20

Estimación de la probabilidad de clasificación correcta

Testeo

Entrenamiento

M p ˆ

1

N 1 1 N

N

1 X n X C M C

1 X n X C

1

1 N

1 X n X C

Entrenamiento Algoritmo Inductor M

pM =1

N − N1

N−N1∑

i=1

δ(c(N1+i) = c(N1+i)M )

Método H de estimación basado en entrenamiento ytesteo

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 7/20

Estimación de la probabilidad de clasificación correcta

1 ˆ p 1

1 N

1 X n X C Algoritmo Inductor

N

1 X n X C B M C

N

1 X n X C 1 M C

1

1 N

1 X n X C

1 M

Algoritmo Inductor B M

B p ˆ

1

N

1 X n X C 1ª partición

B-ésima partición M

Algoritmo inductor

pM =1

B

B∑

i=1

pi

Método de estimación H repetidas veces

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 8/20

Estimación de la probabilidad de clasificación correcta

Algoritmo Inductor 1 M

Algoritmo Inductor

Algoritmo Inductor

Algoritmo Inductor 4 M

2 M

3 M

1er fold

2º fold

3er fold 4º fold

1 X n X C

1 X n X C

1 X n X C

1 X n X C

1 X n X C

1 p

2 p

3 p

4 p M

Algoritmo inductor

pM =1

k

k∑

i=1

pi

Método de estimación basado en k rodajas (k–fold crossvalidation). Si k = N leave one out

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 9/20

Estimación de la probabilidad de clasificación correcta

1 X n X C Algoritmo Inductor

1 X n X C B M C

N

1 X n X C 1 M C

1 X n X C

1 M

Algoritmo Inductor B M

1

N

1 X n X C

M

1

N

1

N

1

N

1

D

1 D

B D

1 D

B D

1 X n X C B M C

1 X n X C B M C

1 N

B N

1

1

1 \ D D

B D D \

a p , 1

0 , ˆ B p

0 , 1 p

a B p , ˆ

Algoritmo inductor

1ª muestra con reemplazamiento

B-esima muestra con reemplazamiento

pa = 1B

∑B

i=1 pi,a p0 = 1B

∑B

i=1 pi,0

pM = p0,632Bo = (0,368pa + 0,632p0)

Método de estimación 0,632 booststrapingTema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 10/20

Estimación de la probabilidad de clasificación correcta

Sobre los distintos métodos:

• Método H: utilizarlo con N grande

• Método H repetidas veces: no hay control sobre loscasos usados como entrenamiento (testeo)

• Método de estimación basado en k rodajas (k–foldcross validation): estimación insesgada de laprobabilidad de acierto, pero con alta varianza

• Método de estimación 0,632 booststraping: insesgadaen el límite y con baja varianza

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 11/20

Brier score

X1 . . . Xn C p(CM = 0|x) p(CM = 1|x)

(x(1), c(1)) x(1)1 . . . x

(1)n 1 0, 18 0, 82

(x(2), c(2)) x(2)1 . . . x

(2)n 0 0, 51 0, 49

. . . . . . . . . . . .

(x(N), c(N)) x(N)1 . . . x

(N)n 1 0, 55 0,45

B =1

N

N∑

i=1

2∑

c=1

[p(CM = c|x(i)) − δ(c(i), c(i)M )]2

B = 1N

[(0, 18− 0)2 + (0, 82− 1)2 + (0,51− 1)2 + (0,49− 0)2 +

... + (0, 55 − 0)2 + (0,45 − 1)2]

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 12/20

Brier score

• Medida de la calibración para un clasificador queasigne, para cada patrón, probabilidades a posteriori acada valor de la clase

• Suponiendo que la clase real del patrón x es 0, setrata de distinguir:

p(CM = 0|x) = 0,51 y p(CM = 0|x) = 0,97

• Interesa clasificadores con bajo valor de Brier(bastante seguros en sus predicciones)

• Para problemas con 2 clases: 0 ≤ B ≤ 2

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 13/20

La curva ROCEvaluación sensible al coste

• En muchas situaciones los dos tipos de error que puede cometer un clasificadorno tienen las mismas consecuencias• Dejar cerrada una válvula en una central nuclear, cuando es necesario

abrirla, puede provocar una explosión, mientras que abrir una válvula cuandopuede mantenerse cerrada, puede provocar una parada de la central

• Matriz de costes

C Clase realabrir cerrar

ABRIR 0 100 eCM Clase predicha

CERRAR 2000 e 0

• Lo importante no es obtener un clasificador que falle lo menos posible, sino unoque tenga coste menor

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 14/20

La curva ROC

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 15/20

La curva ROC• En muchas situaciones es difícil estimar la matriz de

costes

• Análisis ROC (Receiver Operating Characteristic)

• Usado por vez primera para evaluar radares en lasegunda guerra mundial

• Posteriormente se usó para el análisis de respuestade transistores

• A partir de 1970 se usa para aplicaciones dediagnóstico médico

• A finales de los 90 se comienza a usar en mineríade datos

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 16/20

La curva ROC•

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 17/20

La curva ROC

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 18/20

La curva ROC

• Convex hull (casco convexo) a partir de la poligonaluniendo varios puntos (FPR, TPR)

• Dichos puntos pueden provenir de variosclasificadores o de un mismo clasificador (variando elumbral)

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 19/20

La curva ROCSeleccionando el mejor clasificador

• Si cada punto de la curva ROC representa un clasificador:escoger el que tenga mayor valor de: FPcost

FNcost· Neg

Pos

• Si cada punto de la curva ROC corresponde a un umbral con elque se toma la decisión: seleccionar el clasificador con mayorárea bajo la curva (AUC)

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 20/20