Evaluando las Hipótesis Inductivas

Tomás Arredondo Vidal

8/9/2011

Evaluando las Hipótesis Inductivas

Contenidos

• Estimando la Precisión• Comparando Hipótesis• Comparando Algoritmos de Clasificación

Evaluando las Hipótesis Inductivas

• La precisión (accuracy) de la hipótesis h sobre los datos de entrenamiento esta sesgada dado que h fue construida para calzar esos datos (e.g. bias en la estimación y posible sobreajuste).

• La precisión debe ser evaluada en un conjunto de pruebas independiente (generalmente disjunto) de los datos de entrenamiento.

• Mientras mayor es el conjunto de prueba, mejor la precisión medida y menor es la varianza observada en distintos conjuntos de prueba.

Definición: X es un conjunto de posibles instancias (e.g. el conjunto de todas las personas con varios atributos como edad, ocupacion, veces que han esquiado, ...) sobre la cual se puede definir una función objetivo f: X -> {0, 1} (e.g. las personas que van a comprar esquís este año). X se puede encontrar con distintas frecuencias dada una distribución D de probabilidades (e.g. D puede asignar mayor probabilidad a los de 19 años que a la gente de 100 años).

Error de Muestra vs Error Verdadero

Definición: El error de muestra (sample error) de la hipótesis h con

respecto a la función objetivo f( ) dado una muestra S es

Definición: El error verdadero (true error) es el error de la hipótesis h

con respecto a la función objetivo f( ) dado la distribución D. Es la

probabilidad que h mis-clasifique una instancia elegida de acuerdo a D.

error S( h)=1n ∑

x∈Sδ ( f ( x ) ,h( x ))

δ ( f ( x ) ,h( x ))=1 si f ( x )≠h( x ) , 0 de otra forma .

[ f ( x )≠h ( x ) ]

Relación con la Distribución Binomial

Como es que la desviación entre el error de muestreo y el error verdadero depende del tamaño de la muestra?

La respuesta tiene que ver con que cuando medimos el error de la muestra S estamos haciendo un experimento aleatorio con un resultado aleatorio.

Tomemos una muestra Si de n instancias independientes de la

distribución D y midamos el errorSi (h). Si repetimos este experimento

k veces {Si : S1 , S2. , ..., Sk } esperaríamos distintos números de

errores cada vez. Decimos que errorSi (h) es una variable aleatoria y si graficamos un

histograma mostrando la frecuencia de obtener cada posible valor de error a medida que k creciera esta distribución seria una Binomial.

Relación con la Distribución Binomial (cont)

Ej: En la distribución Binomial la probabilidad de observar r caras (X = r ) en una muestra de n tiros independientes de una moneda, cuando la probabilidad de sacar cara en un tiro individual es p esta dada por:

Estimar p de una muestra aleatoria es equivalente a estimar errorD(h) al probar la hipótesis h en una muestra aleatoria Si . Un tiro dela moneda corresponde a sacar una muestra de D y determinar si esta mal clasificada por h. La probabilidad p corresponde a errorD(h), r corresponde al numero de misclasificaciones y r / n a errorSi(h).

(1)

P( X=r )=P(r )=n!

r!(n−r ) !pr

(1−p )n−r

error D(h )=p error Si(h )=

rn

Relación con la Distribución Binomial (cont)

Si una variable aleatoria X sigue una distribución Binomial entonces: • La probabilidad Pr (X = r) = P(r)• El promedio (mean) de X es

E(X) = Σxi Pr(X=xi ) = np

• La varianza de X, Var(X) esVar(X) = E[(X-E[X])2] = np(1 – p)

• La desviación std de X, σX es

σX = Var(X)1/2 = (np(1 – p))1/2

P(r )=n!

r!(n−r )!pr

(1−p)n−r

n=40, p=0.3

Bias y Varianza en el Estimador

• Se puede considerar errorS(h) como un estimador del error verdadero errorD(h).

• Definición: El sesgo de estimación (estimation bias) de un estimador Y para un parámetro arbitrario p es

estimation Bias = E[ Y ] - p

errorS(h) = E(r / n) = p indica un estimador sin sesgo (unbiased)

• Definición: La desviación std de errorS(h) dado nuestro estimador de p con r errores en n muestras (constante) es

(2)

• Dada la posible elección entre distintos estimadores es mejor uno sin estimation bias y con la varianza mas pequeña.

σ errorS (h)=σ r

n=√ p(1−p)

n≈√ errorS (h )(1−errorS (h ))

n

La Distribución Normal como Aproximación

• errorS(h) es el porcentaje de ejemplos en un conjunto de prueba S muestreada independientemente de tamaño n que son clasificados erróneamente por h.

• errorD(h) es el error verdadero para la distribución general de datos D (la que se puede esperar cuando se aplica la hipótesis a ejemplos futuros).

• Cuando n es al menos 30, el teorema del limite central (Central Limit Theorem) garantiza que la distribución de errorS(h) para una muestra aleatoria S va a ser aproximada de manera cercana por una distribución Normal (Gausiana).

P(error

S(h))errorS(h)errorD(h)

La Distribución Normal como Aproximación (cont)

• Teorema: Teorema del limite central. Considerando un conjunto de variables aleatorias independientes (Yi ), idénticamente distribuidas gobernadas por una distribución arbitraria con promedio µ y varianza finita σ2. Se define el promedio de muestra como:

A medida que n -> ∞, independiente de la distribución que gobierna las variables aleatorias subyacentes Yi , esta muestra se acerca a una distribución Normal con:

Y n=(1/n )∑i=1

n

Y i

Y n =μ Y n =σ /n

Intervalos de Confianza

Lo que se quiere saber es errorD(h) de la hipótesis porque este es el

error que se puede esperar cuando se aplica la hipótesis a ejemplos

futuros...

Pero lo único que podemos medir es errorS(h) para los datos que

tenemos disponibles...

La pregunta entonces es:

“ Cuan buena es la estimación de errorD(h) dada por errorS(h)? ”

Intervalos de Confianza

• Si una variable aleatoria Y obedece una distribución Normal con promedio µ y una desviación std σ entonces el valor medido de Y va a estar en el siguiente intervalo un N% del tiempo

yN = µ ± zN σ (3)

Int. conf. N%: 50% 68% 80% 90% 95% 98% 99%

Const. zN: 0.67 1.00 1.28 1.64 1.96 2.33 2.58

Ej: una Normal con µ = 0, σ = 1

Con un 80% de confianza el valor de la la variable aleatoria Y va a estar entre [-1.28, 1.28].Con 90% de confianza Y va a estar en el intervalo [-∞, 1.28].

-3 -2 -1 0 1 2 3

-1.28 1.28.4

.4

0

Intervalos de Confianza

Asumiendo que: • la muestra S contiene n ejemplos independientes, independientes

de h y de acuerdo a la distribución D, • n ≥ 30, • h comete r errores sobre estas n muestras (errorS(h) = r / n).Bajo estas condiciones la estadística nos permite decir que:• el valor mas probable de errorD(h) es el error promedio errorS(h),• el verdadero error con una probabilidad N% esta en el intervalo:

poniendo (1) y (2) -> (3):

La constante zN da la distancia desde la media en desviaciones std en cualquiera de las dos direcciones.

error D,N( h)=error S (h )±z N √ errorS (h )(1−error S (h) )

n

Evaluando las Hipótesis Inductivas

Contenidos

• Estimando la Precisión• Comparando Hipótesis• Comparando Algoritmos de Clasificación

Comparando Dos Hipótesis Aprendidas

• Cuando se evalúan dos hipótesis distintas, su ordenamiento observado con respecto a precisión puede o no reflejar el orden de sus precisiones individuales reales.– Se asume que h1 es probado en el set S1 de tamaño n1

– h2 es probado en un conjunto S2 de tamaño n2

P(error

S(h))

errorS(h)

errorS1(h1) errorS2(h2)

Se observa h1 mas precisa que h2

Comparando Dos Hipótesis Aprendidas

• Cuando se evalúan dos hipótesis distintas, su ordenamiento observado con respecto a precisión puede o no reflejar el orden de sus precisiones individuales reales.– Se asume que h1 es probado en el set S1 de tamaño n1

– h2 es probado en un conjunto S2 de tamaño n2

P(error

S(h))

errorS(h)

errorS1(h1) errorS2(h2)

Se observa h1 menos precisa que h2

Pruebas Estadísticas de Hipótesis

• Como determinar si la probabilidad que una diferencia observada empíricamente entre dos variables es aleatoria sin diferencias estadísticas subyacentes?

• Como determinar lo significativo de dos promedios calculados de dos muestras distintas bajo distintas condiciones?

• Es común usar la hipótesis nula, que es la probabilidad de que ambas muestras fueron sacadas de la misma distribución subyacente.

• Por convención científica rechazamos la hipótesis nula y decimos que la diferencia es estadísticamente significativa si la probabilidad de la hipótesis nula es menor que el 5% (p < 0.05) o alternativamente podemos aceptar que la diferencia esta dada por una causa subyacente con confianza de (1 – p).

Tests de uno o dos lados

• Tests usando un lado (one sided tests) asumen que uno espera una diferencia en una dirección (e.g. A es mejor que B) y que la diferencia es consistente con esa suposición

• Tests de dos lados no asumen una diferencia en una u otra dirección.

• Tests de dos lados (i.e. two-sided tests) son mas conservativos dado que requieren una mayor diferencia para concluir que la diferencia es significativa.

Test Z-Score para Comparar Hipótesis Aprendidas

• Se asume que h1 es probado en un test set S1 de tamaño n1 y h2 en un test set S2 de tamaño n2.

Se calcula la diferencia entre la precisión de h1 y h2:

• Se calcula la desviación estándar de la estimación muestreada de la diferencia:

• Se calcula el z-score de la diferencia (viene de (3)):

d=∣error S1(h1 )−errorS2

(h2)∣

σ d=√ errorS1(h1)⋅(1−errorS1

( h1 ))

n1

+error S2

( h2 )⋅(1−errorS2( h2 ))

n2

z=dσd

Test Z-Score para Comparar Hipótesis Aprendidas (cont)

• Se determina la confianza de la diferencia al buscar la confianza mas alta C, para el z-score calculado usando una tabla.

• Esto da la confianza para un test de dos lados (two-tailed test), para un test de un lado incremente la confianza una mitad hacia 100%.

confidencelevel

50% 68% 80% 90% 95% 98% 99%

z-score 0.67 1.00 1.28 1.64 1.96 2.33 2.58

C '=(100−(100−C )

2)

Ejemplo 1 Z-Score Test

Asumir que probamos dos hipótesis en sets de prueba de tamaño 100 y se observa:

error S1(h1 )=0 . 20 error S2

( h2 )=0 .30

d=∣error S1(h1 )−errorS2

(h2)∣=∣0 . 2−0 .3∣=0 .1

σ d=√errorS1( h1 )⋅(1−error S1

(h1 ))

n1

+errorS2

(h2)⋅(1−errorS2(h2 ))

n2

=√0 .2⋅(1−0 . 2)

100+

0 . 3⋅(1−0 . 3)

100=0 . 0608

z=dσd

=0 .1

0 . 0608=1. 644

Confianza para z-test de dos colas: 90%Confianza para z-test de una cola: (100 – (100 – 90)/2) = 95%

Ejemplo 2 Z-Score Test

Asumir que probamos dos hipótesis en sets de prueba de tamaño 100 y se observa:

error S1(h1 )=0 . 20 error S2

( h2 )=0 .25

d=∣error S1(h1 )−errorS2

(h2)∣=∣0 . 2−0 .25∣=0 . 05

σ d=√errorS1( h1 )⋅(1−error S1

(h1 ))

n1

+errorS2

(h2)⋅(1−errorS2(h2 ))

n2

=√0 .2⋅(1−0 . 2)

100+

0 . 25⋅(1−0 . 25)

100=0 . 0589

z=dσd

=0 . 05

0 . 0589=0 .848

Confianza para test de dos colas: 50%Confianza para test de una cola: (100 – (100 – 50)/2) = 75%

Suposiciones del Test Z-Score

• Hipótesis pueden ser probadas en distintos sets de prueba. Si se usa el mismo set de prueba se podrían justificar conclusiones mas fuertes.

• Sets de prueba deben tener por lo menos 30 ejemplos elegidos independientes.

• Hipótesis son construidas desde sets de entrenamiento independientes.

• Solo compara dos hipótesis especificas independiente de los métodos usados para construirlos. No compara los métodos de aprendizaje subyacentes en general.

Evaluando las Hipótesis Inductivas

Contenidos

• Estimando la Precisión

• Comparando Hipótesis

• Comparando Algoritmos de Clasificación

Comparando Algoritmos de Aprendizaje

• Comparando la precisión promedio de hipótesis producidas por dos métodos distintos de aprendizaje es mas difícil dado que se debe promediar sobre múltiples casos de entrenamiento. Idealmente queremos medir:

en el cual LX(S) representa la hipótesis aprendida por el método LX usando los datos S.

• Para estimar precisamente esto necesitamos promediar sobre múltiples sets independientes de entrenamiento y prueba.

• Dado que los datos etiquetados son limitados, generalmente se debe promediar usando múltiples divisiones de los datos de entrenamiento y prueba.

ES⊂D (errorD( L A( S ))−errorD ( LB( S )))

Validación Cruzada K-Fold

Aleatoriamente dividir datos D en k dsets disjuntos de igual tamaño P1…Pk

For i from 1 to k do: Usar Pi de test set y el resto como sets de entrenamiento Si = (D – Pi) hA = LA(Si) hB = LB(Si) δi = errorPi(hA) – errorPi(hB) Retornar el error promedio de la diferencia:

δ=1k∑i= 1

k

δ i

Validación Cruzada K-Fold (cont)• Cada set se usa como set de prueba una vez y como set de

entrenamiento k–1 veces.• Todo los sets de prueba son independientes pero los sets

de entrenamiento se sobrelapan.• Mediciones de precisión de hipótesis se generan para [(k–

1)/k]⋅|D| datos de entrenamiento.• Método standard es 10-fold.• Si k es bajo, no hay suficiente numero de sets de

entrenamiento/test; si k es alto, el test set es pequeño, la varianza en el test es alto y el tiempo de ejecución se incrementa.

• Si k = |D|, método de validacion cruzada se llama deja-uno-afuera (leave-one-out).

Test de Relevancia (significance tests)• Típicamente si k<30, no son suficientes muestras para

un z test.• Se puede usar un t-test apareado (paired), que puede

determinar diferencias mas pequeñas dado que los sets de entrenamiento/prueba son los mismos para ambas hipótesis siendo comparadas .

• Puede usarse un (Student’s) t-test, que es mas preciso cuando el numero de muestras es bajo.

• Los tests z y t asumen que las muestras son independientes.No es asi para validación cruzada k-fold:– Conjuntos de prueba son independientes– Conjuntos de entrenamiento no son independientes

• Otros tests estadísticos han sido propuestos (e.g. McNemar’s test)

• A pesar de que ningún test es perfecto, cuando los datos son limitados y no hay muestras independientes, algunos tests que consideran varianzas son deseables.

Ejemplo de Resultados Experimentales

Syst. A Syst. B

Trial 1 87% 82%

Trail 2 83% 78%

Trial 3 88% 83%

Trial 4 82% 77%

Trial 5 85% 80%

Average 85% 80%

Experimento 1

Syst. A Syst. B

Trial 1 90% 82%

Trail 2 93% 76%

Trial 3 80% 85%

Trial 4 85% 75%

Trial 5 77% 82%

Average 85% 80%

Experimento 2

Diff

+5%

+5%

+5%

+5%

+5%

+5%

Diff

+8%

+17%

–5%

+10%

– 5%

+5%

Cual experimento provee mejor evidencia que el sistema A es mejor que B?

Curvas de Aprendizaje• Grafico precisión vs tamaño de set de entrenamiento.• La máxima precisión (Bayes Optimal) se ha logrado o

podría mejorar con mas ejemplos?• La mayoría de métodos (i.e. learners) eventualmente

convergen al optimo de Bayes dado suficientes ejemplos de entrenamiento.

Test A

ccuracy

# Training examples

100%Bayes optimal

Random guessing

Validación Cruzada de Aprendizaje

Divide data in k partitions of equal sizeFor trial i = 1 to k do: Use partition i for testing and the union of the other partitions for training. For each desired point p on the learning curve do: For each learning system L Train L on the first p examples of the training set and record training time, training accuracy, and learned concept complexity. Test L on the test set, recording testing time and test accuracy.Compute average for each performance statistic across k trials.Plot curves for any desired performance statistic versus training set size.Use a paired t-test to determine significance of any differences between any two systems for a given training set size.

Curvas de Ruido

• Graficar precisión versus el nivel de ruido para determinar la resistencia relativa a datos de entrenamiento ruidosos.

• Artificialmente se agrega ruido en las categorías o características al remplazar alguna fracción de estos con valores aleatorios.

Test A

ccuracy% noise added

100%

Conclusiones de Evaluación Experimental

• Una buena metodología experimental es clave para poder evaluar métodos experimentales de aprendizaje.

• Es importante probar en una variedad de problemas para demostrar una utilidad para una variedad de problemas. Probar en 20 o + sets de datos es común.

• Variedad de fuentes de datos disponibles:– UCI Machine Learning Repository

http://www.ics.uci.edu/~mlearn/MLRepository.html– KDD Cup (large data sets for data mining)

http://www.kdnuggets.com/datasets/kddcup.html– CoNLL Shared Task (natural language problems)

http://www.ifarm.nl/signll/conll/

• Datos de problemas reales son preferidos a datos artificiales.

Evaluando las Hipótesis

Referencias:

[1] Mitchel, T., Machine Learning , McGraw Hill, 1997

[2] Mooney, R., Machine Learning Slides, University of Texas