APRENDIZAJE PROFUNDOPARA VISIÓN ARTIFICIAL

Mauricio Delbracio, José Lezama, Guillermo Carbajal

Instituto de Ingeniería Eléctrica

Facultad de IngenieríaUniversidad de la República

2017

Agenda

1 Modelos lineales, generalización

2 Redes Neuronales Prealimentadas (feedforward)

3 Neuronas artificiales

4 Teorema aproximación universal

5 Capacidad, sobreajuste, subajuste

2 / 32

Clasificadores Lineales

Un clasificador lineal tiene la forma:

f(x) = wTx+ b

• w es normal a la frontera de clasificación

• a w se lo conoce como vector de pesos (“weights” o “weight vector”)vector normal a la frontera de decisión

• a b se le llama “bias” (de-centrado, sesgo)

• Un clasificador lineal no necesita memorizar el training dataset(a diferencia del clasificador k-nn)

• Cuánto más lejos de f(x) = 0 más “seguridad” en la clasificación(f(x) una especie de “score”)

3 / 32

Clasificadores Lineales

Un clasificador lineal tiene la forma:

f(x) = wTx+ b

• w es normal a la frontera de clasificación

• a w se lo conoce como vector de pesos (“weights” o “weight vector”)vector normal a la frontera de decisión

• a b se le llama “bias” (de-centrado, sesgo)

• Un clasificador lineal no necesita memorizar el training dataset(a diferencia del clasificador k-nn)

• Cuánto más lejos de f(x) = 0 más “seguridad” en la clasificación(f(x) una especie de “score”)

3 / 32

Clasificadores Lineales

Un clasificador lineal tiene la forma:

f(x) = wTx+ b

• w es normal a la frontera de clasificación

• a w se lo conoce como vector de pesos (“weights” o “weight vector”)vector normal a la frontera de decisión

• a b se le llama “bias” (de-centrado, sesgo)

• Un clasificador lineal no necesita memorizar el training dataset(a diferencia del clasificador k-nn)

• Cuánto más lejos de f(x) = 0 más “seguridad” en la clasificación(f(x) una especie de “score”)

3 / 32

Clasificadores Lineales

Un clasificador lineal tiene la forma:

f(x) = wTx+ b

• w es normal a la frontera de clasificación

• a w se lo conoce como vector de pesos (“weights” o “weight vector”)vector normal a la frontera de decisión

• a b se le llama “bias” (de-centrado, sesgo)

• Un clasificador lineal no necesita memorizar el training dataset(a diferencia del clasificador k-nn)

• Cuánto más lejos de f(x) = 0 más “seguridad” en la clasificación(f(x) una especie de “score”)

3 / 32

Clasificadores Lineales

• Dado un dataset (xi, yi), i = 1, . . . ,n, con yi ∈ {1, . . . , c}• Supongamos que tenemos puntajes de la forma: s = Wx

• Vimos dos maneras de definir una función de ajuste (loss):

SVM (hinge)

Li =∑j 6=yi

max(0, sj − syi + 1)

Softmax (logistic regression)

Li = − log

(esyi∑j e

sj

)

• En general: datos no son linealmente separables...

4 / 32

Clasificadores Lineales

• Dado un dataset (xi, yi), i = 1, . . . ,n, con yi ∈ {1, . . . , c}• Supongamos que tenemos puntajes de la forma: s = Wx

• Vimos dos maneras de definir una función de ajuste (loss):

SVM (hinge)

Li =∑j 6=yi

max(0, sj − syi + 1)

Softmax (logistic regression)

Li = − log

(esyi∑j e

sj

)

• En ambos casos, hay que minimizar L(W) (+ regularización)

L(W) =

n∑i=1

Li(W) + λR(W)

• En general: datos no son linealmente separables...

4 / 32

Clasificadores Lineales

• Dado un dataset (xi, yi), i = 1, . . . ,n, con yi ∈ {1, . . . , c}• Supongamos que tenemos puntajes de la forma: s = Wx

• Vimos dos maneras de definir una función de ajuste (loss):

SVM (hinge)

Li =∑j 6=yi

max(0, sj − syi + 1)

Softmax (logistic regression)

Li = − log

(esyi∑j e

sj

)

• En ambos casos, hay que minimizar L(W) (+ regularización)

L(W) =

n∑i=1

Li(W) + λR(W)

• Descenso por gradiente:

∇WL(W) =

n∑i=1

∇WLi(xi, yi;W) + λ∇WR(W).

• En general: datos no son linealmente separables...

4 / 32

Clasificadores Lineales

• Dado un dataset (xi, yi), i = 1, . . . ,n, con yi ∈ {1, . . . , c}• Supongamos que tenemos puntajes de la forma: s = Wx

• Vimos dos maneras de definir una función de ajuste (loss):

SVM (hinge)

Li =∑j 6=yi

max(0, sj − syi + 1)

Softmax (logistic regression)

Li = − log

(esyi∑j e

sj

)

• En ambos casos, hay que minimizar L(W) (+ regularización)

L(W) =

n∑i=1

Li(W) + λR(W)

• Descenso por gradiente estocástico, nmb � n:

∇WL(W) ≈nmb∑i=1

∇WLi(xi, yi;W) + λ∇WR(W).

• En general: datos no son linealmente separables...

4 / 32

Clasificadores Lineales

• Dado un dataset (xi, yi), i = 1, . . . ,n, con yi ∈ {1, . . . , c}• Supongamos que tenemos puntajes de la forma: s = Wx

• Vimos dos maneras de definir una función de ajuste (loss):

SVM (hinge)

Li =∑j 6=yi

max(0, sj − syi + 1)

Softmax (logistic regression)

Li = − log

(esyi∑j e

sj

)

• En general: datos no son linealmente separables...

4 / 32

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables

• ¿Cómo encontramos Φ(x) que transforme los datos a unespacio donde sean fácilmente separables?

f(x) = wTx+ b

1 Usar Φ(x) genérica que lleve los datos a un espacio de muy altadimension (puede ser infinita), en este espacio es fácil de separar lospuntos del conjunto de entrenamiento (e.g., kernel RBF).

Problema: Difícil de generalizar bien a datos no conocidos.

5 / 32

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables

• ¿Cómo encontramos Φ(x) que transforme los datos a unespacio donde sean fácilmente separables?

f(x) = wTΦ(x) + b

1 Usar Φ(x) genérica que lleve los datos a un espacio de muy altadimension (puede ser infinita), en este espacio es fácil de separar lospuntos del conjunto de entrenamiento (e.g., kernel RBF).

Problema: Difícil de generalizar bien a datos no conocidos.

5 / 32

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables

• ¿Cómo encontramos Φ(x) que transforme los datos a unespacio donde sean fácilmente separables?

1 Usar Φ(x) genérica que lleve los datos a un espacio de muy altadimension (puede ser infinita), en este espacio es fácil de separar lospuntos del conjunto de entrenamiento (e.g., kernel RBF).

Problema: Difícil de generalizar bien a datos no conocidos.

5 / 32

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables

• ¿Cómo encontramos Φ(x) que transforme los datos a unespacio donde sean fácilmente separables?

1 Usar Φ(x) genérica que lleve los datos a un espacio de muy altadimension (puede ser infinita), en este espacio es fácil de separar lospuntos del conjunto de entrenamiento (e.g., kernel RBF).

Problema: Difícil de generalizar bien a datos no conocidos.

5 / 32

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables

• ¿Cómo encontramos Φ(x) que transforme los datos a unespacio donde sean fácilmente separables?

1 Usar Φ(x) genérica que lleve los datos a un espacio de muy altadimension (puede ser infinita), en este espacio es fácil de separar lospuntos del conjunto de entrenamiento (e.g., kernel RBF).Problema: Difícil de generalizar bien a datos no conocidos.

5 / 32

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables

• ¿Cómo encontramos Φ(x) que transforme los datos a unespacio donde sean fácilmente separables?

2 Encontrar Φ(x) (artesanal) de manera de separar los datos.

Problema: Difícil de hacer en la práctica, el diseño depende de unconocimiento muy fino del problema

5 / 32

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables

• ¿Cómo encontramos Φ(x) que transforme los datos a unespacio donde sean fácilmente separables?

2 Encontrar Φ(x) (artesanal) de manera de separar los datos.Problema: Difícil de hacer en la práctica, el diseño depende de unconocimiento muy fino del problema

5 / 32

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables

• ¿Cómo encontramos Φ(x) que transforme los datos a unespacio donde sean fácilmente separables?

3 Aprendizaje Profundo: Aprender Φ(x). Partir de un modeloparamétrico Φ(x; θ) que definen una representación y buscarminimizar el error de ajuste.

Objetivo: Definir Φ(x; θ) y luego entrenar (encontrar θ).

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

5 / 32

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables

• ¿Cómo encontramos Φ(x) que transforme los datos a unespacio donde sean fácilmente separables?

3 Aprendizaje Profundo: Aprender Φ(x). Partir de un modeloparamétrico Φ(x; θ) que definen una representación y buscarminimizar el error de ajuste.

Objetivo: Definir Φ(x; θ) y luego entrenar (encontrar θ).

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

5 / 32

Redes Neuronales PrealimentadasFeedforward Neural Networks

• Objetivo: Aproximar y = f?(x), mapeo de x en una salida y (e.g., una categoría).

• Redes neuronales prealimentadas (feedforward, perceptrones multicapa omultilayer perceptrons (MLPs)): base fundamental del Aprendizaje Profundo.

• Una red neuronal prealimentada define un mapeo y = f(x; θ), y busca losparámetros θ que mejor aproxima f?.

• Son redes porque se componen de varias funciones por ejemplo,

f(x) := f(n)(f(n−1)

(· · · f(2)

(f(1) (x)

)· · ·))

,

donde f(1) es la primera capa (first layer), f(2) la segunda ...

• Son prealimentadas (feedforward) porque la información fluye a partir de x sin

existir conexiones de realimentación.

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

6 / 32

Redes Neuronales PrealimentadasFeedforward Neural Networks

• Objetivo: Aproximar y = f?(x), mapeo de x en una salida y (e.g., una categoría).

• Redes neuronales prealimentadas (feedforward, perceptrones multicapa omultilayer perceptrons (MLPs)): base fundamental del Aprendizaje Profundo.

• Una red neuronal prealimentada define un mapeo y = f(x; θ), y busca losparámetros θ que mejor aproxima f?.

• Son redes porque se componen de varias funciones por ejemplo,

f(x) := f(n)(f(n−1)

(· · · f(2)

(f(1) (x)

)· · ·))

,

donde f(1) es la primera capa (first layer), f(2) la segunda ...

• Son prealimentadas (feedforward) porque la información fluye a partir de x sin

existir conexiones de realimentación.

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

6 / 32

Redes Neuronales PrealimentadasFeedforward Neural Networks

• Objetivo: Aproximar y = f?(x), mapeo de x en una salida y (e.g., una categoría).

• Redes neuronales prealimentadas (feedforward, perceptrones multicapa omultilayer perceptrons (MLPs)): base fundamental del Aprendizaje Profundo.

• Una red neuronal prealimentada define un mapeo y = f(x; θ), y busca losparámetros θ que mejor aproxima f?.

• Son redes porque se componen de varias funciones por ejemplo,

f(x) := f(n)(f(n−1)

(· · · f(2)

(f(1) (x)

)· · ·))

,

donde f(1) es la primera capa (first layer), f(2) la segunda ...

• Son prealimentadas (feedforward) porque la información fluye a partir de x sin

existir conexiones de realimentación.

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

6 / 32

Redes Neuronales PrealimentadasFeedforward Neural Networks

• Objetivo: Aproximar y = f?(x), mapeo de x en una salida y (e.g., una categoría).

• Redes neuronales prealimentadas (feedforward, perceptrones multicapa omultilayer perceptrons (MLPs)): base fundamental del Aprendizaje Profundo.

• Una red neuronal prealimentada define un mapeo y = f(x; θ), y busca losparámetros θ que mejor aproxima f?.

• Son redes porque se componen de varias funciones por ejemplo,

f(x) := f(n)(f(n−1)

(· · · f(2)

(f(1) (x)

)· · ·))

,

donde f(1) es la primera capa (first layer), f(2) la segunda ...

• Son prealimentadas (feedforward) porque la información fluye a partir de x sin

existir conexiones de realimentación.

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

6 / 32

Redes Neuronales PrealimentadasFeedforward Neural Networks

• Objetivo: Aproximar y = f?(x), mapeo de x en una salida y (e.g., una categoría).

• Redes neuronales prealimentadas (feedforward, perceptrones multicapa omultilayer perceptrons (MLPs)): base fundamental del Aprendizaje Profundo.

• Una red neuronal prealimentada define un mapeo y = f(x; θ), y busca losparámetros θ que mejor aproxima f?.

• Son redes porque se componen de varias funciones por ejemplo,

f(x) := f(n)(f(n−1)

(· · · f(2)

(f(1) (x)

)· · ·))

,

donde f(1) es la primera capa (first layer), f(2) la segunda ...

• Son prealimentadas (feedforward) porque la información fluye a partir de x sin

existir conexiones de realimentación.

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

6 / 32

Redes Neuronales Prealimentadas ProfundasDeep Feedforward Neural Networks

• La profundidad (depth) de la red: cantidad de capas en el modelo (deep)

• Primera, capa de entrada (input layer), última, capa de salida (output layer)

• El entrenamiento no especifica la salida de cada capa sino de punta a punta.

• Conjunto de datos de entrenamiento no es conocido para las capasintermedias, estas son llamadas capas ocultas (hidden layers)

• Cada capa es en general una función vectorial: f(j) : Rnj → Rnj+1 .Dimensión nj determina el ancho de la capa (width).

• Cada elemento de una capa [f(j)]i es llamado neurona: dado una serie deentradas calcula una salida unidimensional, que es su función de activación

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

7 / 32

Redes Neuronales Prealimentadas ProfundasDeep Feedforward Neural Networks

• La profundidad (depth) de la red: cantidad de capas en el modelo (deep)

• Primera, capa de entrada (input layer), última, capa de salida (output layer)

• El entrenamiento no especifica la salida de cada capa sino de punta a punta.

• Conjunto de datos de entrenamiento no es conocido para las capasintermedias, estas son llamadas capas ocultas (hidden layers)

• Cada capa es en general una función vectorial: f(j) : Rnj → Rnj+1 .Dimensión nj determina el ancho de la capa (width).

• Cada elemento de una capa [f(j)]i es llamado neurona: dado una serie deentradas calcula una salida unidimensional, que es su función de activación

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

7 / 32

Redes Neuronales Prealimentadas ProfundasDeep Feedforward Neural Networks

• La profundidad (depth) de la red: cantidad de capas en el modelo (deep)

• Primera, capa de entrada (input layer), última, capa de salida (output layer)

• El entrenamiento no especifica la salida de cada capa sino de punta a punta.

• Conjunto de datos de entrenamiento no es conocido para las capasintermedias, estas son llamadas capas ocultas (hidden layers)

• Cada capa es en general una función vectorial: f(j) : Rnj → Rnj+1 .Dimensión nj determina el ancho de la capa (width).

• Cada elemento de una capa [f(j)]i es llamado neurona: dado una serie deentradas calcula una salida unidimensional, que es su función de activación

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

7 / 32

Redes Neuronales Prealimentadas ProfundasDeep Feedforward Neural Networks

• La profundidad (depth) de la red: cantidad de capas en el modelo (deep)

• Primera, capa de entrada (input layer), última, capa de salida (output layer)

• El entrenamiento no especifica la salida de cada capa sino de punta a punta.

• Conjunto de datos de entrenamiento no es conocido para las capasintermedias, estas son llamadas capas ocultas (hidden layers)

• Cada capa es en general una función vectorial: f(j) : Rnj → Rnj+1 .Dimensión nj determina el ancho de la capa (width).

• Cada elemento de una capa [f(j)]i es llamado neurona: dado una serie deentradas calcula una salida unidimensional, que es su función de activación

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

7 / 32

Redes Neuronales Prealimentadas ProfundasDeep Feedforward Neural Networks

• La profundidad (depth) de la red: cantidad de capas en el modelo (deep)

• Primera, capa de entrada (input layer), última, capa de salida (output layer)

• El entrenamiento no especifica la salida de cada capa sino de punta a punta.

• Conjunto de datos de entrenamiento no es conocido para las capasintermedias, estas son llamadas capas ocultas (hidden layers)

• Cada capa es en general una función vectorial: f(j) : Rnj → Rnj+1 .Dimensión nj determina el ancho de la capa (width).

• Cada elemento de una capa [f(j)]i es llamado neurona: dado una serie deentradas calcula una salida unidimensional, que es su función de activación

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

7 / 32

Redes Neuronales Prealimentadas ProfundasDeep Feedforward Neural Networks

• La profundidad (depth) de la red: cantidad de capas en el modelo (deep)

• Primera, capa de entrada (input layer), última, capa de salida (output layer)

• El entrenamiento no especifica la salida de cada capa sino de punta a punta.

• Conjunto de datos de entrenamiento no es conocido para las capasintermedias, estas son llamadas capas ocultas (hidden layers)

• Cada capa es en general una función vectorial: f(j) : Rnj → Rnj+1 .Dimensión nj determina el ancho de la capa (width).

• Cada elemento de una capa [f(j)]i es llamado neurona: dado una serie deentradas calcula una salida unidimensional, que es su función de activación

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

7 / 32

Neuronas

• Cada elemento [f(j)]i: se llama neurona: Dada una entrada vectorial xcalcula una salida unidimensional h(x).

• Compuesta por: operación lineal + función de activación no lineal.

a(x) =n∑

i=1

wixi + b

h(x) = g(a(x))

8 / 32

Neuronas

• Cada elemento [f(j)]i: se llama neurona: Dada una entrada vectorial xcalcula una salida unidimensional h(x).

• Compuesta por: operación lineal + función de activación no lineal.

a(x) =n∑

i=1

wixi + b

h(x) = g(a(x))

8 / 32

Neuronas

• Cada elemento [f(j)]i: se llama neurona: Dada una entrada vectorial xcalcula una salida unidimensional h(x).

• Compuesta por: operación lineal + función de activación no lineal.

a(x) =n∑

i=1

wixi + b

h(x) = g(a(x))

8 / 32

Neuronas artificiales

• Una neurona se compone (en general) de: una operación lineal + unafunción de activación no lineal. (linear units):

1 Pre-activación:

a(x) =n∑

i=1

wixi+b = wTx+b

2 Activación (salida):

h(x) = g(a(x)) = g

(n∑

i=1

wixi + b

) x1

xn

input

1b

w1

wn

h(x)

9 / 32

Neuronas artificiales

• Una neurona se compone (en general) de: una operación lineal + unafunción de activación no lineal. (linear units):

1 Pre-activación:

a(x) =n∑

i=1

wixi+b = wTx+b

2 Activación (salida):

h(x) = g(a(x)) = g

(n∑

i=1

wixi + b

)

x1

xn

input

1b

w1

wn

h(x)

9 / 32

Neuronas artificiales

• Una neurona se compone (en general) de: una operación lineal + unafunción de activación no lineal. (linear units):

1 Pre-activación:

a(x) =n∑

i=1

wixi+b = wTx+b

2 Activación (salida):

h(x) = g(a(x)) = g

(n∑

i=1

wixi + b

) x1

xn

input

1b

w1

wn

h(x)

9 / 32

Neuronas artificiales

• Una neurona se compone (en general) de: una operación lineal + unafunción de activación no lineal. (linear units):

h(x) = g(a(x)) = g

(n∑

i=1

wixi + b

) x1

xn

input

1b

w1

wn

h(x)

10 / 32

Funciones de Activación

11 / 32

Funciones de Activación

11 / 32

Funciones de Activación

11 / 32

Funciones de Activación

11 / 32

Funciones de Activación

11 / 32

Neuronas lineales: Capacidad

• Una única neurona puede hacerclasificación binaria:

→ Frontera de decisión es lineal

x1

xn

input

1b

w1

wn

h(x)

12 / 32

Red feedforward de una capa oculta

• Entrada: x

• Pre-activación:

a = W(1)Tx+ b(1)

• Activación capa oculta:

h(1)(x) = g(a(x))

• Capa de salida:

f(x) = o(w(2)Th(1) + b(2)

)

h1

hi

hd

f(x)

x1

xj

xn

W(1)

W(1)

W(1)w(2)

w(2)

w(2)

1,1

j,i

2,1

1

i

d

input layer hidden layer

output layer

1 b(1)1

1b(2)

13 / 32

Red feedforward de una capa oculta

• Entrada: x

• Pre-activación:

a = W(1)Tx+ b(1)

• Activación capa oculta:

h(1)(x) = g(a(x))

• Capa de salida:

f(x) = o(w(2)Th(1) + b(2)

)

h1

hi

hd

f(x)

x1

xj

xn

W(1)

W(1)

W(1)w(2)

w(2)

w(2)

1,1

j,i

2,1

1

i

d

input layer hidden layer

output layer

1 b(1)1

1b(2)

13 / 32

Red feedforward de una capa oculta

• Entrada: x

• Pre-activación:

a = W(1)Tx+ b(1)

• Activación capa oculta:

h(1)(x) = g(a(x))

• Capa de salida:

f(x) = o(w(2)Th(1) + b(2)

)

h1

hi

hd

f(x)

x1

xj

xn

W(1)

W(1)

W(1)w(2)

w(2)

w(2)

1,1

j,i

2,1

1

i

d

input layer hidden layer

output layer

1 b(1)1

1b(2)

13 / 32

Red feedforward de una capa oculta

• Entrada: x

• Pre-activación:

a = W(1)Tx+ b(1)

• Activación capa oculta:

h(1)(x) = g(a(x))

• Capa de salida:

f(x) = o(w(2)Th(1) + b(2)

)

h1

hi

hd

f(x)

x1

xj

xn

W(1)

W(1)

W(1)w(2)

w(2)

w(2)

1,1

j,i

2,1

1

i

d

input layer hidden layer

output layer

1 b(1)1

1b(2)

13 / 32

Red feedforward de una capa oculta

• Entrada: x

• Pre-activación:

a = W(1)Tx+ b(1)

• Activación capa oculta:

h(1)(x) = g(a(x))

• Capa de salida:

f(x) = o(w(2)Th(1) + b(2)

)

h1

hi

hd

f(x)

x1

xj

xn

W(1)

W(1)

W(1)w(2)

w(2)

w(2)

1,1

j,i

2,1

1

i

d

input layer hidden layer

output layer

1 b(1)1

1b(2)

13 / 32

Ejemplo: XOR

• Supongamos que queremos aproximar la función f?(x) = xor(x1, x2)

• 4 puntos : {(0, 0), (0, 1), (1, 0), (1, 1)}, con salidas 0, 1, 1, 0 respec.

• Objetivo: encontrar f que prediga bien los cuatro puntos

• Planteamos una regresión:

J(θ) =1

4

4∑i=1

(f?(xi)− f(x; θ))2

y buscamos un modelo lineal: f(x;w,b) = wTx+ b.

• Se resuleven las ecuaciones normales y se obtiene: w = 0,b = 12 .

• J(θ) > 0: no se logra aproximar de maneraperfecta la salida.

• Era esperable porque los datos no sonlinealmente separables

14 / 32

Ejemplo: XOR

• Supongamos que queremos aproximar la función f?(x) = xor(x1, x2)

• 4 puntos : {(0, 0), (0, 1), (1, 0), (1, 1)}, con salidas 0, 1, 1, 0 respec.

• Objetivo: encontrar f que prediga bien los cuatro puntos

• Planteamos una regresión:

J(θ) =1

4

4∑i=1

(f?(xi)− f(x; θ))2

y buscamos un modelo lineal: f(x;w,b) = wTx+ b.

• Se resuleven las ecuaciones normales y se obtiene: w = 0,b = 12 .

• J(θ) > 0: no se logra aproximar de maneraperfecta la salida.

• Era esperable porque los datos no sonlinealmente separables

14 / 32

Ejemplo: XOR

• Supongamos que queremos aproximar la función f?(x) = xor(x1, x2)

• 4 puntos : {(0, 0), (0, 1), (1, 0), (1, 1)}, con salidas 0, 1, 1, 0 respec.

• Objetivo: encontrar f que prediga bien los cuatro puntos

• Planteamos una regresión:

J(θ) =1

4

4∑i=1

(f?(xi)− f(x; θ))2

y buscamos un modelo lineal: f(x;w,b) = wTx+ b.

• Se resuleven las ecuaciones normales y se obtiene: w = 0,b = 12 .

• J(θ) > 0: no se logra aproximar de maneraperfecta la salida.

• Era esperable porque los datos no sonlinealmente separables

14 / 32

Ejemplo: XOR

• Supongamos que queremos aproximar la función f?(x) = xor(x1, x2)

• 4 puntos : {(0, 0), (0, 1), (1, 0), (1, 1)}, con salidas 0, 1, 1, 0 respec.

• Objetivo: encontrar f que prediga bien los cuatro puntos

• Planteamos una regresión:

J(θ) =1

4

4∑i=1

(f?(xi)− f(x; θ))2

y buscamos un modelo lineal: f(x;w,b) = wTx+ b.

• Se resuleven las ecuaciones normales y se obtiene: w = 0,b = 12 .

• J(θ) > 0: no se logra aproximar de maneraperfecta la salida.

• Era esperable porque los datos no sonlinealmente separables

14 / 32

Ejemplo: XOR

• Supongamos que queremos aproximar la función f?(x) = xor(x1, x2)

• 4 puntos : {(0, 0), (0, 1), (1, 0), (1, 1)}, con salidas 0, 1, 1, 0 respec.

• Objetivo: encontrar f que prediga bien los cuatro puntos

• Planteamos una regresión:

J(θ) =1

4

4∑i=1

(f?(xi)− f(x; θ))2

y buscamos un modelo lineal: f(x;w,b) = wTx+ b.

• Se resuleven las ecuaciones normales y se obtiene: w = 0,b = 12 .

• J(θ) > 0: no se logra aproximar de maneraperfecta la salida.

• Era esperable porque los datos no sonlinealmente separables

14 / 32

Ejemplo: XOR

• Supongamos que queremos aproximar la función f?(x) = xor(x1, x2)

• 4 puntos : {(0, 0), (0, 1), (1, 0), (1, 1)}, con salidas 0, 1, 1, 0 respec.

• Objetivo: encontrar f que prediga bien los cuatro puntos

• Planteamos una regresión:

J(θ) =1

4

4∑i=1

(f?(xi)− f(x; θ))2

y buscamos un modelo lineal: f(x;w,b) = wTx+ b.

• Se resuleven las ecuaciones normales y se obtiene: w = 0,b = 12 .

• J(θ) > 0: no se logra aproximar de maneraperfecta la salida.

• Era esperable porque los datos no sonlinealmente separables

14 / 32

Ejemplo: XOR

• Supongamos que queremos aproximar la función f?(x) = xor(x1, x2)

• 4 puntos : {(0, 0), (0, 1), (1, 0), (1, 1)}, con salidas 0, 1, 1, 0 respec.

• Objetivo: encontrar f que prediga bien los cuatro puntos

• Planteamos una regresión:

J(θ) =1

4

4∑i=1

(f?(xi)− f(x; θ))2

y buscamos un modelo lineal: f(x;w,b) = wTx+ b.

• Se resuleven las ecuaciones normales y se obtiene: w = 0,b = 12 .

• J(θ) > 0: no se logra aproximar de maneraperfecta la salida.

• Era esperable porque los datos no sonlinealmente separables

14 / 32

Ejemplo: XOR

Supongamos que se utilizan dos capas (una capa oculta)

• Es decir: y = f(x;W(1),b(1),w(2),b(2)) = f(2)(f(1)(x))

• Redes neuronales modernas usan rectified linear unit (ReLU) definidacomo g(x) = max(0, x) (aplicada elemento a elemento)

• f(1) no debe ser lineal. ¿Por qué?

Si capa oculta tiene dos neuronas, tenemos:

f(2)(f(1)(x)) = w(1)T max{0,W(2)Tx+ b(1)}+ b(2)

Solución con error cero:

W(1) =

[1 11 1

], b(1) =

[0−1

],w(2) =

[1−2

], b(2) = 0

15 / 32

Ejemplo: XOR

Supongamos que se utilizan dos capas (una capa oculta)

• Es decir: y = f(x;W(1),b(1),w(2),b(2)) = f(2)(f(1)(x))

• Redes neuronales modernas usan rectified linear unit (ReLU) definidacomo g(x) = max(0, x) (aplicada elemento a elemento)

• f(1) no debe ser lineal. ¿Por qué?

Si capa oculta tiene dos neuronas, tenemos:

f(2)(f(1)(x)) = w(1)T max{0,W(2)Tx+ b(1)}+ b(2)

Solución con error cero:

W(1) =

[1 11 1

], b(1) =

[0−1

],w(2) =

[1−2

], b(2) = 0

15 / 32

Ejemplo: XOR

Supongamos que se utilizan dos capas (una capa oculta)

• Es decir: y = f(x;W(1),b(1),w(2),b(2)) = f(2)(f(1)(x))

• Redes neuronales modernas usan rectified linear unit (ReLU) definidacomo g(x) = max(0, x) (aplicada elemento a elemento)

• f(1) no debe ser lineal. ¿Por qué?

Si capa oculta tiene dos neuronas, tenemos:

f(2)(f(1)(x)) = w(1)T max{0,W(2)Tx+ b(1)}+ b(2)

Solución con error cero:

W(1) =

[1 11 1

], b(1) =

[0−1

],w(2) =

[1−2

], b(2) = 0

15 / 32

Ejemplo: XOR

Supongamos que se utilizan dos capas (una capa oculta)

• Es decir: y = f(x;W(1),b(1),w(2),b(2)) = f(2)(f(1)(x))

• Redes neuronales modernas usan rectified linear unit (ReLU) definidacomo g(x) = max(0, x) (aplicada elemento a elemento)

• f(1) no debe ser lineal. ¿Por qué?

Si capa oculta tiene dos neuronas, tenemos:

f(2)(f(1)(x)) = w(1)T max{0,W(2)Tx+ b(1)}+ b(2)

Solución con error cero:

W(1) =

[1 11 1

], b(1) =

[0−1

],w(2) =

[1−2

], b(2) = 0

15 / 32

Ejemplo: XOR

Supongamos que se utilizan dos capas (una capa oculta)

• Es decir: y = f(x;W(1),b(1),w(2),b(2)) = f(2)(f(1)(x))

• Redes neuronales modernas usan rectified linear unit (ReLU) definidacomo g(x) = max(0, x) (aplicada elemento a elemento)

• f(1) no debe ser lineal. ¿Por qué?

Si capa oculta tiene dos neuronas, tenemos:

f(2)(f(1)(x)) = w(1)T max{0,W(2)Tx+ b(1)}+ b(2)

Solución con error cero:

W(1) =

[1 11 1

], b(1) =

[0−1

],w(2) =

[1−2

], b(2) = 0

15 / 32

Ejemplo: XOR

Supongamos que se utilizan dos capas (una capa oculta)

• Es decir: y = f(x;W(1),b(1),w(2),b(2)) = f(2)(f(1)(x))

• Redes neuronales modernas usan rectified linear unit (ReLU) definidacomo g(x) = max(0, x) (aplicada elemento a elemento)

• f(1) no debe ser lineal. ¿Por qué?

Si capa oculta tiene dos neuronas, tenemos:

f(2)(f(1)(x)) = w(1)T max{0,W(2)Tx+ b(1)}+ b(2)

Solución con error cero:

W(1) =

[1 11 1

], b(1) =

[0−1

],w(2) =

[1−2

], b(2) = 0

15 / 32

Ejemplo: XOR

• Intuición: Se puede construir con dos capas que separan linealmente

16 / 32

Red feedforward de una capa oculta

• Entrada: x

• Pre-activación:

a = W(1)Tx+ b(1)

• Activación capa oculta:

h(x) = g(a(x))

• Capa de salida:

f(x) = o(w(2)Th(1) + b(2)

)

h1

hi

hd

f(x)

x1

xj

xn

W(1)

W(1)

W(1)w(2)

w(2)

w(2)

1,1

j,i

2,1

1

i

d

input layer hidden layer

output layer

1 b(1)1

1b(2)

17 / 32

Capacidad de red de una capa oculta

18 / 32

Capacidad de red de una capa oculta

18 / 32

Capacidad de red de una capa oculta

18 / 32

Capacidad de red de una capa oculta

• Cuantas más neuronas, más capacidad de ajustar

• Capacidad = Número de neuronas ocultas

18 / 32

Capacidad de red de una capa oculta

• Cuantas más neuronas, más capacidad de ajustar

• Capacidad = Número de neuronas ocultas

18 / 32

Teorema de Aproximación Universal

Teorema (Cybenko, 1989; Hornik 1991)

“Una red neuronal prealimentada con una única capa oculta y unnúmero finito de neuronas, puede aproximar cualquier funcióncontinua en un espacio compacto de Rn”.

• Con los paramétros adecuados, se puede representar una granvariedad de funciones

• El teorema no habla de cómo aprender los parámetros

• George Cybenko en 1989 para función de activación sigmoide

• Kurt Hornik lo extiende en 1991, a funciones generales, loimportante es la arquitectura feedfoward no la función deactivación

19 / 32

Arquitectura de red deep feedforwardSea una red con L capas ocultas.

• Entrada:

x (= h(0))

• Pre-activación capa (j):

a(j)(x) =(W(j)Th(j−1) + b(j)

)• Salida capa (j)

h(j)(x) = g(a(j)(x))

• Salida de la red (capa L+ 1)

f(x) = o(a(L+1)

)

h(1)

h(1)

h(1)

h(2)

f(x)

x1

x2

x3

W(1)

W(1) W(2)

w(3)

w(3)

w(3)

1

2

3

4

1

2

3

1,1

3,3

2,1

3,4

1

2

4

input layer

1st hidden layer

2nd hidden layer

output layer

1 b(1)11 b(2)1

1b(3)h(2)

h(2)

h(2)

W(2)1,1

W(1)

Nomenclatura:

• “3-layer neural net” o“2-hidden-layer neural net”

• Capas totalmente conectadas(“Fully-connected layers”)

20 / 32

Arquitectura de red deep feedforwardSea una red con L capas ocultas.

• Entrada:

x (= h(0))

• Pre-activación capa (j):

a(j)(x) =(W(j)Th(j−1) + b(j)

)• Salida capa (j)

h(j)(x) = g(a(j)(x))

• Salida de la red (capa L+ 1)

f(x) = o(a(L+1)

)

h(1)

h(1)

h(1)

h(2)

f(x)

x1

x2

x3

W(1)

W(1) W(2)

w(3)

w(3)

w(3)

1

2

3

4

1

2

3

1,1

3,3

2,1

3,4

1

2

4

input layer

1st hidden layer

2nd hidden layer

output layer

1 b(1)11 b(2)1

1b(3)h(2)

h(2)

h(2)

W(2)1,1

W(1)

Nomenclatura:

• “3-layer neural net” o“2-hidden-layer neural net”

• Capas totalmente conectadas(“Fully-connected layers”)

20 / 32

Arquitectura de red deep feedforwardSea una red con L capas ocultas.

• Entrada:

x (= h(0))

• Pre-activación capa (j):

a(j)(x) =(W(j)Th(j−1) + b(j)

)

• Salida capa (j)

h(j)(x) = g(a(j)(x))

• Salida de la red (capa L+ 1)

f(x) = o(a(L+1)

)

h(1)

h(1)

h(1)

h(2)

f(x)

x1

x2

x3

W(1)

W(1) W(2)

w(3)

w(3)

w(3)

1

2

3

4

1

2

3

1,1

3,3

2,1

3,4

1

2

4

input layer

1st hidden layer

2nd hidden layer

output layer

1 b(1)11 b(2)1

1b(3)h(2)

h(2)

h(2)

W(2)1,1

W(1)

Nomenclatura:

• “3-layer neural net” o“2-hidden-layer neural net”

• Capas totalmente conectadas(“Fully-connected layers”)

20 / 32

Arquitectura de red deep feedforwardSea una red con L capas ocultas.

• Entrada:

x (= h(0))

• Pre-activación capa (j):

a(j)(x) =(W(j)Th(j−1) + b(j)

)• Salida capa (j)

h(j)(x) = g(a(j)(x))

• Salida de la red (capa L+ 1)

f(x) = o(a(L+1)

)

h(1)

h(1)

h(1)

h(2)

f(x)

x1

x2

x3

W(1)

W(1) W(2)

w(3)

w(3)

w(3)

1

2

3

4

1

2

3

1,1

3,3

2,1

3,4

1

2

4

input layer

1st hidden layer

2nd hidden layer

output layer

1 b(1)11 b(2)1

1b(3)h(2)

h(2)

h(2)

W(2)1,1

W(1)

Nomenclatura:

• “3-layer neural net” o“2-hidden-layer neural net”

• Capas totalmente conectadas(“Fully-connected layers”)

20 / 32

Arquitectura de red deep feedforwardSea una red con L capas ocultas.

• Entrada:

x (= h(0))

• Pre-activación capa (j):

a(j)(x) =(W(j)Th(j−1) + b(j)

)• Salida capa (j)

h(j)(x) = g(a(j)(x))

• Salida de la red (capa L+ 1)

f(x) = o(a(L+1)

)

h(1)

h(1)

h(1)

h(2)

f(x)

x1

x2

x3

W(1)

W(1) W(2)

w(3)

w(3)

w(3)

1

2

3

4

1

2

3

1,1

3,3

2,1

3,4

1

2

4

input layer

1st hidden layer

2nd hidden layer

output layer

1 b(1)11 b(2)1

1b(3)h(2)

h(2)

h(2)

W(2)1,1

W(1)

Nomenclatura:

• “3-layer neural net” o“2-hidden-layer neural net”

• Capas totalmente conectadas(“Fully-connected layers”)

20 / 32

Arquitectura de red deep feedforwardSea una red con L capas ocultas.

• Entrada:

x (= h(0))

• Pre-activación capa (j):

a(j)(x) =(W(j)Th(j−1) + b(j)

)• Salida capa (j)

h(j)(x) = g(a(j)(x))

• Salida de la red (capa L+ 1)

f(x) = o(a(L+1)

)

h(1)

h(1)

h(1)

h(2)

f(x)

x1

x2

x3

W(1)

W(1) W(2)

w(3)

w(3)

w(3)

1

2

3

4

1

2

3

1,1

3,3

2,1

3,4

1

2

4

input layer

1st hidden layer

2nd hidden layer

output layer

1 b(1)11 b(2)1

1b(3)h(2)

h(2)

h(2)

W(2)1,1

W(1)

Nomenclatura:

• “3-layer neural net” o“2-hidden-layer neural net”

• Capas totalmente conectadas(“Fully-connected layers”)

20 / 32

¿Por qué usar redes profundas?

• Una única capa oculta con número arbitrariamente grande deneuronas es un aproximador universal.

Thorpe, S. and Fabre-Thorpe, M.“Seeking categories in the brain.”, Science, (2001)

21 / 32

¿Por qué usar redes profundas?

• Una única capa oculta con número arbitrariamente grande deneuronas es un aproximador universal.

Redes poco profundas ineficientes para representar funciones complejas

Montufar et al. [2014], “Red neuronal (ReLu), concon d entradas, L capas, n unidades por capa oculta,puede calcular funciones con:

O

(nd

)d(L−1)

nd

,

regiones lineales.”

• El número de regiones en una red profunda crece de maneraexponencial con L y polinomial con n, lo que es mucho más rápidoque en una red de una capa oculta con nL neuronas.

Thorpe, S. and Fabre-Thorpe, M.“Seeking categories in the brain.”, Science, (2001)

21 / 32

¿Por qué usar redes profundas?

• Una única capa oculta con número arbitrariamente grande deneuronas es un aproximador universal.

Montufar et al. [2014]

Thorpe, S. and Fabre-Thorpe, M.“Seeking categories in the brain.”, Science, (2001)

21 / 32

¿Por qué usar redes profundas?

• Una única capa oculta con número arbitrariamente grande deneuronas es un aproximador universal.

Los datos (en general) tienen una organización jerárquica

Thorpe, S. and Fabre-Thorpe, M.“Seeking categories in the brain.”, Science, (2001)

21 / 32

¿Por qué usar redes profundas?

Thorpe, S. and Fabre-Thorpe, M.“Seeking categories in the brain.”, Science, (2001)

21 / 32

Aprendizaje basado en Optimización

• Queremos encontrar f(x; θ) que aproxime f?(x) en un conjuntode puntos {(x1, y1), . . . , (x1, y1)},

• Definimos una arquitectura de red:

f(x; θ) := f (n)(f (n−1)

(· · · f (2)

(f (1) (x)

)· · ·))

.

• Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

parámetros θ =[W(1),W(2), . . . ,W(n)

]• Optimización mediante descenso por gradiente (estocástico)

• Necesitamos calcular el gradiente: Algoritmo Backpropagation(Próxima clase!) [Repasar regla de la cadena]

22 / 32

Aprendizaje basado en Optimización

• Queremos encontrar f(x; θ) que aproxime f?(x) en un conjuntode puntos {(x1, y1), . . . , (x1, y1)},

• Definimos una arquitectura de red:

f(x; θ) := f (n)(f (n−1)

(· · · f (2)

(f (1) (x)

)· · ·))

.

• Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

parámetros θ =[W(1),W(2), . . . ,W(n)

]• Optimización mediante descenso por gradiente (estocástico)

• Necesitamos calcular el gradiente: Algoritmo Backpropagation(Próxima clase!) [Repasar regla de la cadena]

22 / 32

Aprendizaje basado en Optimización

• Queremos encontrar f(x; θ) que aproxime f?(x) en un conjuntode puntos {(x1, y1), . . . , (x1, y1)},

• Definimos una arquitectura de red:

f(x; θ) := f (n)(f (n−1)

(· · · f (2)

(f (1) (x)

)· · ·))

.

• Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

parámetros θ =[W(1),W(2), . . . ,W(n)

]

• Optimización mediante descenso por gradiente (estocástico)

• Necesitamos calcular el gradiente: Algoritmo Backpropagation(Próxima clase!) [Repasar regla de la cadena]

22 / 32

Aprendizaje basado en Optimización

• Queremos encontrar f(x; θ) que aproxime f?(x) en un conjuntode puntos {(x1, y1), . . . , (x1, y1)},

• Definimos una arquitectura de red:

f(x; θ) := f (n)(f (n−1)

(· · · f (2)

(f (1) (x)

)· · ·))

.

• Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

parámetros θ =[W(1),W(2), . . . ,W(n)

]• Optimización mediante descenso por gradiente (estocástico)

• Necesitamos calcular el gradiente: Algoritmo Backpropagation(Próxima clase!) [Repasar regla de la cadena]

22 / 32

Aprendizaje basado en Optimización

• Queremos encontrar f(x; θ) que aproxime f?(x) en un conjuntode puntos {(x1, y1), . . . , (x1, y1)},

• Definimos una arquitectura de red:

f(x; θ) := f (n)(f (n−1)

(· · · f (2)

(f (1) (x)

)· · ·))

.

• Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

parámetros θ =[W(1),W(2), . . . ,W(n)

]• Optimización mediante descenso por gradiente (estocástico)

• Necesitamos calcular el gradiente: Algoritmo Backpropagation(Próxima clase!) [Repasar regla de la cadena]

22 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

En realidad, lo que nos gustaría hacer es minimizar el error depredicción esperado:

θ? = argminθ

Ex,y

{L(f(x; θ), y)

}Para obtener una buena aproximación del error esperado necesito:

• contar con muchos datos (n � 1)

• los datos sean de la misma distribución subyacente.

23 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

En realidad, lo que nos gustaría hacer es minimizar el error depredicción esperado:

θ? = argminθ

Ex,y

{L(f(x; θ), y)

}

Para obtener una buena aproximación del error esperado necesito:

• contar con muchos datos (n � 1)

• los datos sean de la misma distribución subyacente.

23 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

En realidad, lo que nos gustaría hacer es minimizar el error depredicción esperado:

θ? = argminθ

Ex,y

{L(f(x; θ), y)

}Para obtener una buena aproximación del error esperado necesito:

• contar con muchos datos (n � 1)

• los datos sean de la misma distribución subyacente.

23 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que el algoritmo entrenadofuncione bien en datos no conocidos

• A esta habilidad se le llama generalización y se mide con el error degeneralización o test error

• El error de generalización es el valor esperado del error en unamuestra no conocida (pero que se asume que viene de la mismadensidad de probabilidad subyacente)

• Esto diferencia el aprendizaje automático de la optimización

• Podemos estimar el error de generalización en un conjunto de datosno utilizado durante la etapa de entrenamiento:

• partición de datos en: training + validation + test• validación cruzada + test

24 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que el algoritmo entrenadofuncione bien en datos no conocidos

• A esta habilidad se le llama generalización y se mide con el error degeneralización o test error

• El error de generalización es el valor esperado del error en unamuestra no conocida (pero que se asume que viene de la mismadensidad de probabilidad subyacente)

• Esto diferencia el aprendizaje automático de la optimización

• Podemos estimar el error de generalización en un conjunto de datosno utilizado durante la etapa de entrenamiento:

• partición de datos en: training + validation + test• validación cruzada + test

24 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que el algoritmo entrenadofuncione bien en datos no conocidos

• A esta habilidad se le llama generalización y se mide con el error degeneralización o test error

• El error de generalización es el valor esperado del error en unamuestra no conocida (pero que se asume que viene de la mismadensidad de probabilidad subyacente)

• Esto diferencia el aprendizaje automático de la optimización

• Podemos estimar el error de generalización en un conjunto de datosno utilizado durante la etapa de entrenamiento:

• partición de datos en: training + validation + test• validación cruzada + test

24 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que el algoritmo entrenadofuncione bien en datos no conocidos

• A esta habilidad se le llama generalización y se mide con el error degeneralización o test error

• El error de generalización es el valor esperado del error en unamuestra no conocida (pero que se asume que viene de la mismadensidad de probabilidad subyacente)

• Esto diferencia el aprendizaje automático de la optimización

• Podemos estimar el error de generalización en un conjunto de datosno utilizado durante la etapa de entrenamiento:

• partición de datos en: training + validation + test• validación cruzada + test

24 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que el algoritmo entrenadofuncione bien en datos no conocidos

• A esta habilidad se le llama generalización y se mide con el error degeneralización o test error

• El error de generalización es el valor esperado del error en unamuestra no conocida (pero que se asume que viene de la mismadensidad de probabilidad subyacente)

• Esto diferencia el aprendizaje automático de la optimización

• Podemos estimar el error de generalización en un conjunto de datosno utilizado durante la etapa de entrenamiento:

• partición de datos en: training + validation + test

• validación cruzada + test

24 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• Sea Dtrain,Dtest ∼ pdata(x, y) conjuntos de entrenamiento y testing generados apartir de la misma distribución generadora

• Entrenamos un sistema de manera de obtener los parámetros que minimizanla función

θ = argminθ

ntrain∑i=1

Li(f(xi; θ), yi)

• Podemos definir los errores en el conjunto de entrenamiento y de test,

Etrain =

ntrain∑i=1

Li(f(xi; θ), yi), Etest =

ntest∑i=1

Li(f(xi; θ), yi)

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

25 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• Sea Dtrain,Dtest ∼ pdata(x, y) conjuntos de entrenamiento y testing generados apartir de la misma distribución generadora

• Entrenamos un sistema de manera de obtener los parámetros que minimizanla función

θ = argminθ

ntrain∑i=1

Li(f(xi; θ), yi)

• Podemos definir los errores en el conjunto de entrenamiento y de test,

Etrain =

ntrain∑i=1

Li(f(xi; θ), yi), Etest =

ntest∑i=1

Li(f(xi; θ), yi)

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

25 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• Sea Dtrain,Dtest ∼ pdata(x, y) conjuntos de entrenamiento y testing generados apartir de la misma distribución generadora

• Entrenamos un sistema de manera de obtener los parámetros que minimizanla función

θ = argminθ

ntrain∑i=1

Li(f(xi; θ), yi)

• Podemos definir los errores en el conjunto de entrenamiento y de test,

Etrain =

ntrain∑i=1

Li(f(xi; θ), yi), Etest =

ntest∑i=1

Li(f(xi; θ), yi)

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

25 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• Sea Dtrain,Dtest ∼ pdata(x, y) conjuntos de entrenamiento y testing generados apartir de la misma distribución generadora

• Entrenamos un sistema de manera de obtener los parámetros que minimizanla función

θ = argminθ

ntrain∑i=1

Li(f(xi; θ), yi)

• Podemos definir los errores en el conjunto de entrenamiento y de test,

Etrain =

ntrain∑i=1

Li(f(xi; θ), yi), Etest =

ntest∑i=1

Li(f(xi; θ), yi)

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

25 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

25 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

25 / 32

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

25 / 32

Capacidad: Ejemplo

Dado un conjunto de ntrain puntos de entrenamiento ajustamos unpolinomio de orden n,

y = b+

n∑i=1

wixi.

26 / 32

Capacidad: Ejemplo

Dado un conjunto de ntrain puntos de entrenamiento ajustamos unpolinomio de orden n,

y = b+n∑

i=1

wixi.

Evaluamos el error de ajuste utilizando un conjunto de testing

Capacidad ideal: orden ≈ 3

26 / 32

Capacidad: Ejemplo

Dado un conjunto de ntrain puntos de entrenamiento ajustamos unpolinomio de orden n,

y = b+n∑

i=1

wixi.

Evaluamos el error de ajuste utilizando un conjunto de testing

Capacidad ideal: orden ≈ 3

26 / 32

Capacidad: Ejemplo

ntrain = 5

27 / 32

Capacidad: Ejemplo

ntrain = 6

27 / 32

Capacidad: Ejemplo

ntrain = 7

27 / 32

Capacidad: Ejemplo

ntrain = 10

27 / 32

Capacidad: Ejemplo

Capacidad ideal depende del (tamaño) conjunto de

entrenamiento

ntrain = 5 ntrain = 10

27 / 32

Vapnik-Chervonenkis dimension

• Estimar la capacidad de un modelo es difícil (existen distintasdefiniciones de capacidad)

• La dimensión VC (Vapnik-Chervonenkis) mide la capacidad de unclasificador binario.

• Se define como la máxima cantidad de puntos m que pueden serclasificados en dos categorías de manera arbitraria.

• Clasificador lineal tiene dimensión VC = 3 (4 puntos: XOR)

• En la práctica es muy difícil de estimar. Estimar la capacidad deuna red neuronal es un tema activo de investigación

28 / 32

Vapnik-Chervonenkis dimension

• Estimar la capacidad de un modelo es difícil (existen distintasdefiniciones de capacidad)

• La dimensión VC (Vapnik-Chervonenkis) mide la capacidad de unclasificador binario.

• Se define como la máxima cantidad de puntos m que pueden serclasificados en dos categorías de manera arbitraria.

• Clasificador lineal tiene dimensión VC = 3 (4 puntos: XOR)

• En la práctica es muy difícil de estimar. Estimar la capacidad deuna red neuronal es un tema activo de investigación

28 / 32

Vapnik-Chervonenkis dimension

• Estimar la capacidad de un modelo es difícil (existen distintasdefiniciones de capacidad)

• La dimensión VC (Vapnik-Chervonenkis) mide la capacidad de unclasificador binario.

• Se define como la máxima cantidad de puntos m que pueden serclasificados en dos categorías de manera arbitraria.

• Clasificador lineal tiene dimensión VC = 3 (4 puntos: XOR)

• En la práctica es muy difícil de estimar. Estimar la capacidad deuna red neuronal es un tema activo de investigación

28 / 32

Vapnik-Chervonenkis dimension

• Estimar la capacidad de un modelo es difícil (existen distintasdefiniciones de capacidad)

• La dimensión VC (Vapnik-Chervonenkis) mide la capacidad de unclasificador binario.

• Se define como la máxima cantidad de puntos m que pueden serclasificados en dos categorías de manera arbitraria.

• Clasificador lineal tiene dimensión VC = 3 (4 puntos: XOR)

• En la práctica es muy difícil de estimar. Estimar la capacidad deuna red neuronal es un tema activo de investigación

28 / 32

Vapnik-Chervonenkis dimension

• Estimar la capacidad de un modelo es difícil (existen distintasdefiniciones de capacidad)

• La dimensión VC (Vapnik-Chervonenkis) mide la capacidad de unclasificador binario.

• Se define como la máxima cantidad de puntos m que pueden serclasificados en dos categorías de manera arbitraria.

• Clasificador lineal tiene dimensión VC = 3 (4 puntos: XOR)

• En la práctica es muy difícil de estimar. Estimar la capacidad deuna red neuronal es un tema activo de investigación

28 / 32

Tamaño de una red prealimentada

• Red de 2 capas

• 1 capa oculta (4 neuronas), 1 capa de salida (2 neuronas), 3 entradas

• 4 +2 = 6 neuronas

• 3x4 + 4x2 = 20 pesos, 4 + 2 = 6 biases = 26 parámetros

29 / 32

Tamaño de una red prealimentada

• Red de 3 capas

• 2 capas ocultas (4 neuronas cada una), 1 capa de salida (1 neurona)

• 4 +4+1 = 9 neuronas

• 3x4 + 4x4 + 4x1 = 32 pesos, 4 + 4 +1 = 9 biases = 41 parámetros

29 / 32

Tamaño de una red prealimentada

• Redes de convolución (que vamos a ver más adelante), muyutilizadas en la práctica pueden llegar a tener decenas de capas ydecenas de millones de parámetros.

29 / 32

Red prealimentada - Computo

• W1,W2,W3,b1,b2,b3 Parámetros a aprender

• La entrada puede programarse para que contenga un conjunto depuntos no sólo uno X = [x1, x2, . . . , xn]

• La salida en general es un puntaje o score (no tiene activación ensalida)

30 / 32

Red prealimentada - Computo

• W1,W2,W3,b1,b2,b3 Parámetros a aprender

• La entrada puede programarse para que contenga un conjunto depuntos no sólo uno X = [x1, x2, . . . , xn]

• La salida en general es un puntaje o score (no tiene activación ensalida)

30 / 32

Red prealimentada - Computo

• W1,W2,W3,b1,b2,b3 Parámetros a aprender

• La entrada puede programarse para que contenga un conjunto depuntos no sólo uno X = [x1, x2, . . . , xn]

• La salida en general es un puntaje o score (no tiene activación ensalida)

30 / 32

Capacidad

Demo (Andrej Karpathy):http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

31 / 32

Capacidad

Regularización:

+λ‖W‖2 “weight decay”

32 / 32