Mapas auto-organizativos

Diego Milone y Leonardo Rufiner

Inteligencia ComputacionalDepartamento de Informatica

FICH-UNL

Introduccion Arquitectura de la red Entrenamiento LVQ

OrganizacionIntroduccion

Auto-organizacionInspiracion biologica

Arquitectura de la redSOM 2DEntornos y realimentacion lateral

Entrenamiento de un SOMCaracterısticas principalesAlgoritmo de entrenamientoConvergencia y consideraciones practicasFormacion de mapas topologicos

Cuantizacion vectorial con aprendizajeAlgoritmo LVQ1LVQ1: velocidad de aprendizaje

Introduccion Arquitectura de la red Entrenamiento LVQ

OrganizacionIntroduccion

Auto-organizacionInspiracion biologica

Arquitectura de la redSOM 2DEntornos y realimentacion lateral

Entrenamiento de un SOMCaracterısticas principalesAlgoritmo de entrenamientoConvergencia y consideraciones practicasFormacion de mapas topologicos

Cuantizacion vectorial con aprendizajeAlgoritmo LVQ1LVQ1: velocidad de aprendizaje

Introduccion Arquitectura de la red Entrenamiento LVQ

Auto-organizacion

• Autoorganizacion: es el proceso en el cual, por medio deinteracciones locales, se obtiene ordenamiento global(Turing, 1952).

• Ejemplo 1: evolucion de la ubicacion de los alumnosasisten a un curso...

• Ejemplo 2: las celulas del cerebro se auto-organizan engrupos de acuerdo a la informacion que reciben...

Introduccion Arquitectura de la red Entrenamiento LVQ

Auto-organizacion

• Autoorganizacion: es el proceso en el cual, por medio deinteracciones locales, se obtiene ordenamiento global(Turing, 1952).

• Ejemplo 1: evolucion de la ubicacion de los alumnosasisten a un curso...

• Ejemplo 2: las celulas del cerebro se auto-organizan engrupos de acuerdo a la informacion que reciben...

Introduccion Arquitectura de la red Entrenamiento LVQ

SOM: Inspiracion biologicaCorteza motora y sensorial

Ante estımulos provenientes de sensores proximos entre sı, se estimulanneuronas del cerebro pertenecientes a una misma zona.

Introduccion Arquitectura de la red Entrenamiento LVQ

OrganizacionIntroduccion

Auto-organizacionInspiracion biologica

Arquitectura de la redSOM 2DEntornos y realimentacion lateral

Entrenamiento de un SOMCaracterısticas principalesAlgoritmo de entrenamientoConvergencia y consideraciones practicasFormacion de mapas topologicos

Cuantizacion vectorial con aprendizajeAlgoritmo LVQ1LVQ1: velocidad de aprendizaje

Introduccion Arquitectura de la red Entrenamiento LVQ

SOM: Arquitectura• Arquitectura SOM 2D

x→ wj → sj

• Salidas: se activa solo la ganadora j∗

j∗(n) = G(x(n)) = arg mınj{‖x(n)− wj(n)‖}

Introduccion Arquitectura de la red Entrenamiento LVQ

SOM: Arquitectura• Arquitectura SOM 2D

x→ wj → sj

• Salidas: se activa solo la ganadora j∗

j∗(n) = G(x(n)) = arg mınj{‖x(n)− wj(n)‖}

Introduccion Arquitectura de la red Entrenamiento LVQ

Entornos de influencia o vecindades• Formas basicas:

• Alcance ΛG:• Entornos fijos• Entornos variables

• Excitacion asociadas al entorno:• Excitatorias puras• Inhibitorias puras• Funciones generales de excitacion/inhibicion

Introduccion Arquitectura de la red Entrenamiento LVQ

Entornos de influencia o vecindades• Formas basicas:

• Alcance ΛG:• Entornos fijos• Entornos variables

• Excitacion asociadas al entorno:• Excitatorias puras• Inhibitorias puras• Funciones generales de excitacion/inhibicion

Introduccion Arquitectura de la red Entrenamiento LVQ

Entornos de influencia o vecindades• Formas basicas:

• Alcance ΛG:• Entornos fijos• Entornos variables

• Excitacion asociadas al entorno:• Excitatorias puras• Inhibitorias puras• Funciones generales de excitacion/inhibicion

Introduccion Arquitectura de la red Entrenamiento LVQ

Funciones de excitacion/inhibicion lateral

• Uniforme (entorno simple):

ΛG(n) = 2⇒{

hG,i = β(n) si |G− i| ≤ 2hG,i = 0 si |G− i| > 2

siendo β(n) adaptable en funcion de las iteraciones n.

• Gaussiana:

hG,i = β(n)e− |G−i|2

2σ2(n)

• Sombrero Mejicano: campos receptivos retina, inhibicionlateral

Introduccion Arquitectura de la red Entrenamiento LVQ

Funciones de excitacion/inhibicion lateral

• Uniforme (entorno simple):

ΛG(n) = 2⇒{

hG,i = β(n) si |G− i| ≤ 2hG,i = 0 si |G− i| > 2

siendo β(n) adaptable en funcion de las iteraciones n.• Gaussiana:

hG,i = β(n)e− |G−i|2

2σ2(n)

• Sombrero Mejicano: campos receptivos retina, inhibicionlateral

Introduccion Arquitectura de la red Entrenamiento LVQ

Funciones de excitacion/inhibicion lateral

• Uniforme (entorno simple):

ΛG(n) = 2⇒{

hG,i = β(n) si |G− i| ≤ 2hG,i = 0 si |G− i| > 2

siendo β(n) adaptable en funcion de las iteraciones n.• Gaussiana:

hG,i = β(n)e− |G−i|2

2σ2(n)

• Sombrero Mejicano: campos receptivos retina, inhibicionlateral

Introduccion Arquitectura de la red Entrenamiento LVQ

OrganizacionIntroduccion

Auto-organizacionInspiracion biologica

Arquitectura de la redSOM 2DEntornos y realimentacion lateral

Entrenamiento de un SOMCaracterısticas principalesAlgoritmo de entrenamientoConvergencia y consideraciones practicasFormacion de mapas topologicos

Cuantizacion vectorial con aprendizajeAlgoritmo LVQ1LVQ1: velocidad de aprendizaje

Introduccion Arquitectura de la red Entrenamiento LVQ

Entrenamiento de un SOM

Caracterısticas principales:

• Entrenamiento NO-supervisado

• Aprendizaje competitivo

Introduccion Arquitectura de la red Entrenamiento LVQ

Entrenamiento de un SOM

Caracterısticas principales:

• Entrenamiento NO-supervisado

• Aprendizaje competitivo

Introduccion Arquitectura de la red Entrenamiento LVQ

Algoritmo de entrenamiento1. Inicializacion:

• pequenos valores aleatorios con wji ∈ [−0,5, · · · ,+0,5] otambien

• eligiendo aleatoriamente wj(0) = x` (` ∈ [1, · · · ,L])

2. Seleccion del ganador:

G(x(n)) = arg mın∀j{‖x(n)− wj(n)‖}

3. Adaptacion de los pesos:

wj(n + 1) ={

wj(n) + η(n) (x(n)− wj(n)) si yj ∈ ΛG(n)wj(n) si yj /∈ ΛG(n)

4. Volver a 2 hasta no observar cambios significativos.

Introduccion Arquitectura de la red Entrenamiento LVQ

Algoritmo de entrenamiento1. Inicializacion:

• pequenos valores aleatorios con wji ∈ [−0,5, · · · ,+0,5] otambien

• eligiendo aleatoriamente wj(0) = x` (` ∈ [1, · · · ,L])

2. Seleccion del ganador:

G(x(n)) = arg mın∀j{‖x(n)− wj(n)‖}

3. Adaptacion de los pesos:

wj(n + 1) ={

wj(n) + η(n) (x(n)− wj(n)) si yj ∈ ΛG(n)wj(n) si yj /∈ ΛG(n)

4. Volver a 2 hasta no observar cambios significativos.

Introduccion Arquitectura de la red Entrenamiento LVQ

Algoritmo de entrenamiento1. Inicializacion:

• pequenos valores aleatorios con wji ∈ [−0,5, · · · ,+0,5] otambien

• eligiendo aleatoriamente wj(0) = x` (` ∈ [1, · · · ,L])

2. Seleccion del ganador:

G(x(n)) = arg mın∀j{‖x(n)− wj(n)‖}

3. Adaptacion de los pesos:

wj(n + 1) ={

wj(n) + η(n) (x(n)− wj(n)) si yj ∈ ΛG(n)wj(n) si yj /∈ ΛG(n)

4. Volver a 2 hasta no observar cambios significativos.

Introduccion Arquitectura de la red Entrenamiento LVQ

Algoritmo de entrenamiento1. Inicializacion:

• pequenos valores aleatorios con wji ∈ [−0,5, · · · ,+0,5] otambien

• eligiendo aleatoriamente wj(0) = x` (` ∈ [1, · · · ,L])

2. Seleccion del ganador:

G(x(n)) = arg mın∀j{‖x(n)− wj(n)‖}

3. Adaptacion de los pesos:

wj(n + 1) ={

wj(n) + η(n) (x(n)− wj(n)) si yj ∈ ΛG(n)wj(n) si yj /∈ ΛG(n)

4. Volver a 2 hasta no observar cambios significativos.

Introduccion Arquitectura de la red Entrenamiento LVQ

Entrenamiento de un SOM

Consideraciones practicas:

• ΛG(n) es generalmente cuadrado

• hG,i(n) uniforme en i, decreciente con n• 0 < η(n) < 1 decreciente con n

¿Como varıan ΛG(n) y η(n)?

Introduccion Arquitectura de la red Entrenamiento LVQ

Entrenamiento de un SOM

Consideraciones practicas:

• ΛG(n) es generalmente cuadrado• hG,i(n) uniforme en i, decreciente con n

• 0 < η(n) < 1 decreciente con n

¿Como varıan ΛG(n) y η(n)?

Introduccion Arquitectura de la red Entrenamiento LVQ

Entrenamiento de un SOM

Consideraciones practicas:

• ΛG(n) es generalmente cuadrado• hG,i(n) uniforme en i, decreciente con n• 0 < η(n) < 1 decreciente con n

¿Como varıan ΛG(n) y η(n)?

Introduccion Arquitectura de la red Entrenamiento LVQ

Entrenamiento de un SOM

Consideraciones practicas:

• ΛG(n) es generalmente cuadrado• hG,i(n) uniforme en i, decreciente con n• 0 < η(n) < 1 decreciente con n

¿Como varıan ΛG(n) y η(n)?

Introduccion Arquitectura de la red Entrenamiento LVQ

Etapas del entrenamiento

1. Ordenamiento global (o topologico)• ΛG(n) grande (≈ medio mapa)• η(n) grande (entre 0.9 y 0.7)• Duracion 500 a 1000 epocas

2. Transicion• ΛG(n) se reduce linealmente hasta 1• η(n) se reduce lineal o exponencialmente hasta 0.1• Duracion ≈1000 epocas

3. Ajuste fino (o convergencia)• ΛG(n) = 0 (solo se actualiza la ganadora)• η(n) = cte (entre 0.1 y 0.01)• Duracion: hasta convergencia (≈ 3000 epocas)

Introduccion Arquitectura de la red Entrenamiento LVQ

Etapas del entrenamiento

1. Ordenamiento global (o topologico)• ΛG(n) grande (≈ medio mapa)• η(n) grande (entre 0.9 y 0.7)• Duracion 500 a 1000 epocas

2. Transicion• ΛG(n) se reduce linealmente hasta 1• η(n) se reduce lineal o exponencialmente hasta 0.1• Duracion ≈1000 epocas

3. Ajuste fino (o convergencia)• ΛG(n) = 0 (solo se actualiza la ganadora)• η(n) = cte (entre 0.1 y 0.01)• Duracion: hasta convergencia (≈ 3000 epocas)

Introduccion Arquitectura de la red Entrenamiento LVQ

Etapas del entrenamiento

1. Ordenamiento global (o topologico)• ΛG(n) grande (≈ medio mapa)• η(n) grande (entre 0.9 y 0.7)• Duracion 500 a 1000 epocas

2. Transicion• ΛG(n) se reduce linealmente hasta 1• η(n) se reduce lineal o exponencialmente hasta 0.1• Duracion ≈1000 epocas

3. Ajuste fino (o convergencia)• ΛG(n) = 0 (solo se actualiza la ganadora)• η(n) = cte (entre 0.1 y 0.01)• Duracion: hasta convergencia (≈ 3000 epocas)

Introduccion Arquitectura de la red Entrenamiento LVQ

Formacion de mapas topologicos

• Ejemplo 1: R1 → R1, 2 neuronas

• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)• Ejemplo 7: ejemplos demo Matlab

Introduccion Arquitectura de la red Entrenamiento LVQ

Formacion de mapas topologicos

• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas

• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)• Ejemplo 7: ejemplos demo Matlab

Introduccion Arquitectura de la red Entrenamiento LVQ

Formacion de mapas topologicos

• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas

• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)• Ejemplo 7: ejemplos demo Matlab

Introduccion Arquitectura de la red Entrenamiento LVQ

Formacion de mapas topologicos

• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas

• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)• Ejemplo 7: ejemplos demo Matlab

Introduccion Arquitectura de la red Entrenamiento LVQ

Formacion de mapas topologicos

• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)

• Ejemplo 6: el experimento de los paıses (Kohonen)• Ejemplo 7: ejemplos demo Matlab

Introduccion Arquitectura de la red Entrenamiento LVQ

Formacion de mapas topologicos

• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)

• Ejemplo 7: ejemplos demo Matlab

Introduccion Arquitectura de la red Entrenamiento LVQ

Formacion de mapas topologicos

• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)

• Ejemplo 7: ejemplos demo Matlab

Introduccion Arquitectura de la red Entrenamiento LVQ

Formacion de mapas topologicos

• Ejemplo 1: R1 → R1, 2 neuronas• Ejemplo 2: R2 → R1, 4 neuronas• Ejemplo 3: R2 → R2, 4 neuronas• Ejemplo 4: RN → R2, M neuronas• Ejemplo 5: el “phonetic typewriter” (Kohonen)• Ejemplo 6: el experimento de los paıses (Kohonen)• Ejemplo 7: ejemplos demo Matlab

Introduccion Arquitectura de la red Entrenamiento LVQ

Agrupamiento y clasificacion

¿Como utilizar un SOM para clasificar patrones?

• Entrenamiento no-supervisado• Etiquetado de neuronas• Clasificacion por mınima distancia

¿Cual es la diferencia principal entre el SOM y otros metodosde agrupamiento no-supervisado?

Introduccion Arquitectura de la red Entrenamiento LVQ

Agrupamiento y clasificacion

¿Como utilizar un SOM para clasificar patrones?• Entrenamiento no-supervisado

• Etiquetado de neuronas• Clasificacion por mınima distancia

¿Cual es la diferencia principal entre el SOM y otros metodosde agrupamiento no-supervisado?

Introduccion Arquitectura de la red Entrenamiento LVQ

Agrupamiento y clasificacion

¿Como utilizar un SOM para clasificar patrones?• Entrenamiento no-supervisado• Etiquetado de neuronas

• Clasificacion por mınima distancia

¿Cual es la diferencia principal entre el SOM y otros metodosde agrupamiento no-supervisado?

Introduccion Arquitectura de la red Entrenamiento LVQ

Agrupamiento y clasificacion

¿Como utilizar un SOM para clasificar patrones?• Entrenamiento no-supervisado• Etiquetado de neuronas• Clasificacion por mınima distancia

¿Cual es la diferencia principal entre el SOM y otros metodosde agrupamiento no-supervisado?

Introduccion Arquitectura de la red Entrenamiento LVQ

Agrupamiento y clasificacion

¿Como utilizar un SOM para clasificar patrones?• Entrenamiento no-supervisado• Etiquetado de neuronas• Clasificacion por mınima distancia

¿Cual es la diferencia principal entre el SOM y otros metodosde agrupamiento no-supervisado?

Introduccion Arquitectura de la red Entrenamiento LVQ

Demostraciones online...

• Caracteres: http://fbim.fh-regensburg.de/˜saj39122/begrolu/kohonen.html

• 1D: http://www.cis.hut.fi/research/javasomdemo/demo1.html

• 2D: http://www.cis.hut.fi/research/javasomdemo/demo2.html

• Otro 2D:http://www.neuroinformatik.ruhr-uni-bochum.de/VDM/research/gsn/DemoGNG/GNG.html

• 3D: http://www.sund.de/netze/applets/som/som1/index.htm

• Buscador WEB: http://www.gnod.net/

Introduccion Arquitectura de la red Entrenamiento LVQ

OrganizacionIntroduccion

Auto-organizacionInspiracion biologica

Arquitectura de la redSOM 2DEntornos y realimentacion lateral

Entrenamiento de un SOMCaracterısticas principalesAlgoritmo de entrenamientoConvergencia y consideraciones practicasFormacion de mapas topologicos

Cuantizacion vectorial con aprendizajeAlgoritmo LVQ1LVQ1: velocidad de aprendizaje

Introduccion Arquitectura de la red Entrenamiento LVQ

Cuantizacion vectorial con aprendizaje (LVQ)Conceptos basicos:• Cuantizador escalar: senales cuantizadas

• Cuantizador vectorial:• centroides o prototipos• diccionario o code-book• el proceso de cuantizacion: de vectores a numeros enteros

• Ideas de como entrenarlo:• algoritmo k-means etiquetado para clasificacion• SOM etiquetado como clasificador...• algoritmo supervizado LVQ

Introduccion Arquitectura de la red Entrenamiento LVQ

Cuantizacion vectorial con aprendizaje (LVQ)Conceptos basicos:• Cuantizador escalar: senales cuantizadas• Cuantizador vectorial:

• centroides o prototipos• diccionario o code-book• el proceso de cuantizacion: de vectores a numeros enteros

• Ideas de como entrenarlo:• algoritmo k-means etiquetado para clasificacion• SOM etiquetado como clasificador...• algoritmo supervizado LVQ

Introduccion Arquitectura de la red Entrenamiento LVQ

Cuantizacion vectorial con aprendizaje (LVQ)Conceptos basicos:• Cuantizador escalar: senales cuantizadas• Cuantizador vectorial:

• centroides o prototipos• diccionario o code-book• el proceso de cuantizacion: de vectores a numeros enteros

• Ideas de como entrenarlo:• algoritmo k-means etiquetado para clasificacion• SOM etiquetado como clasificador...• algoritmo supervizado LVQ

Introduccion Arquitectura de la red Entrenamiento LVQ

Algoritmo LVQ11. Inicializacion aleatoria

2. Seleccion:

c(n) = arg mıni{‖x(n)−mi(n)‖}

3. Adaptacion:

mc(n + 1) = mc(n) + s(c, d, n)α [x(n)−mc(n)]

s(c, d, n) ={

+1 si c(n) = d(n)−1 si c(n) 6= d(n)

4. Volver a 2 hasta satisfacer error de clasificacion

Introduccion Arquitectura de la red Entrenamiento LVQ

Algoritmo LVQ11. Inicializacion aleatoria2. Seleccion:

c(n) = arg mıni{‖x(n)−mi(n)‖}

3. Adaptacion:

mc(n + 1) = mc(n) + s(c, d, n)α [x(n)−mc(n)]

s(c, d, n) ={

+1 si c(n) = d(n)−1 si c(n) 6= d(n)

4. Volver a 2 hasta satisfacer error de clasificacion

Introduccion Arquitectura de la red Entrenamiento LVQ

Algoritmo LVQ11. Inicializacion aleatoria2. Seleccion:

c(n) = arg mıni{‖x(n)−mi(n)‖}

3. Adaptacion:

mc(n + 1) = mc(n) + s(c, d, n)α [x(n)−mc(n)]

s(c, d, n) ={

+1 si c(n) = d(n)−1 si c(n) 6= d(n)

4. Volver a 2 hasta satisfacer error de clasificacion

Introduccion Arquitectura de la red Entrenamiento LVQ

Algoritmo LVQ11. Inicializacion aleatoria2. Seleccion:

c(n) = arg mıni{‖x(n)−mi(n)‖}

3. Adaptacion:

mc(n + 1) = mc(n) + s(c, d, n)α [x(n)−mc(n)]

s(c, d, n) ={

+1 si c(n) = d(n)−1 si c(n) 6= d(n)

4. Volver a 2 hasta satisfacer error de clasificacion

Introduccion Arquitectura de la red Entrenamiento LVQ

LVQ1: observaciones• Interpretacion grafica

• Caso de clasificacion correcta• Caso de clasificacion incorrecta

• No hay arquitectura neuronal• Se puede ver al cuantizador como SOM lineal, sin entorno

y supervisado• Velocidad de aprendizaje

• ¿Existe un αc optimo para cada centroide?• ¿Se debe considerar un αc(n) optimo para cada instante de

tiempo?

Introduccion Arquitectura de la red Entrenamiento LVQ

LVQ1: observaciones• Interpretacion grafica

• Caso de clasificacion correcta• Caso de clasificacion incorrecta

• No hay arquitectura neuronal

• Se puede ver al cuantizador como SOM lineal, sin entornoy supervisado

• Velocidad de aprendizaje• ¿Existe un αc optimo para cada centroide?• ¿Se debe considerar un αc(n) optimo para cada instante de

tiempo?

Introduccion Arquitectura de la red Entrenamiento LVQ

LVQ1: observaciones• Interpretacion grafica

• Caso de clasificacion correcta• Caso de clasificacion incorrecta

• No hay arquitectura neuronal• Se puede ver al cuantizador como SOM lineal, sin entorno

y supervisado

• Velocidad de aprendizaje• ¿Existe un αc optimo para cada centroide?• ¿Se debe considerar un αc(n) optimo para cada instante de

tiempo?

Introduccion Arquitectura de la red Entrenamiento LVQ

LVQ1: observaciones• Interpretacion grafica

• Caso de clasificacion correcta• Caso de clasificacion incorrecta

• No hay arquitectura neuronal• Se puede ver al cuantizador como SOM lineal, sin entorno

y supervisado• Velocidad de aprendizaje

• ¿Existe un αc optimo para cada centroide?• ¿Se debe considerar un αc(n) optimo para cada instante de

tiempo?

Introduccion Arquitectura de la red Entrenamiento LVQ

LVQ1: velocidad de aprendizajemc(n + 1) = mc(n) + s(n)α(n) [x(n)−mc(n)]

mc(n + 1) = mc(n) + s(n)α(n)x(n)− s(n)α(n)mc(n)

mc(n + 1) = [1− s(n)α(n)] mc(n) + s(n)α(n)x(n)

mc(n + 1) =

= [1− s(n)α(n)]{mc(n− 1) + s(n− 1)α(n− 1) [x(n− 1)−mc(n− 1)]}+s(n)α(n)x(n)

x(n− 1) es afectado dos veces por α

Introduccion Arquitectura de la red Entrenamiento LVQ

LVQ1: velocidad de aprendizajemc(n + 1) = mc(n) + s(n)α(n) [x(n)−mc(n)]

mc(n + 1) = mc(n) + s(n)α(n)x(n)− s(n)α(n)mc(n)

mc(n + 1) = [1− s(n)α(n)] mc(n) + s(n)α(n)x(n)

mc(n + 1) =

= [1− s(n)α(n)]{mc(n− 1) + s(n− 1)α(n− 1) [x(n− 1)−mc(n− 1)]}+s(n)α(n)x(n)

x(n− 1) es afectado dos veces por α

Introduccion Arquitectura de la red Entrenamiento LVQ

LVQ1: velocidad de aprendizajemc(n + 1) = mc(n) + s(n)α(n) [x(n)−mc(n)]

mc(n + 1) = mc(n) + s(n)α(n)x(n)− s(n)α(n)mc(n)

mc(n + 1) = [1− s(n)α(n)] mc(n) + s(n)α(n)x(n)

mc(n + 1) =

= [1− s(n)α(n)]{mc(n− 1) + s(n− 1)α(n− 1) [x(n− 1)−mc(n− 1)]}+s(n)α(n)x(n)

x(n− 1) es afectado dos veces por α

Introduccion Arquitectura de la red Entrenamiento LVQ

LVQ1: velocidad de aprendizajemc(n + 1) = mc(n) + s(n)α(n) [x(n)−mc(n)]

mc(n + 1) = mc(n) + s(n)α(n)x(n)− s(n)α(n)mc(n)

mc(n + 1) = [1− s(n)α(n)] mc(n) + s(n)α(n)x(n)

mc(n + 1) =

= [1− s(n)α(n)]{mc(n− 1) + s(n− 1)α(n− 1) [x(n− 1)−mc(n− 1)]}+s(n)α(n)x(n)

x(n− 1) es afectado dos veces por α

Introduccion Arquitectura de la red Entrenamiento LVQ

LVQ1: velocidad de aprendizaje

Siendo α < 1 la importancia relativa de los primeros patronesde entrenamiento siempre sera menor que la de los ultimos.

Si queremos que α afecte por igual a todos los patronesdeberemos hacerlo decrecer con el tiempo.

Se debe cumplir que:

αc(n) = [1− s(n)αc(n)]αc(n− 1)

Introduccion Arquitectura de la red Entrenamiento LVQ

LVQ1: velocidad de aprendizaje

Siendo α < 1 la importancia relativa de los primeros patronesde entrenamiento siempre sera menor que la de los ultimos.

Si queremos que α afecte por igual a todos los patronesdeberemos hacerlo decrecer con el tiempo.

Se debe cumplir que:

αc(n) = [1− s(n)αc(n)]αc(n− 1)

Introduccion Arquitectura de la red Entrenamiento LVQ

LVQ1: velocidad de aprendizaje

Siendo α < 1 la importancia relativa de los primeros patronesde entrenamiento siempre sera menor que la de los ultimos.

Si queremos que α afecte por igual a todos los patronesdeberemos hacerlo decrecer con el tiempo.

Se debe cumplir que:

αc(n) = [1− s(n)αc(n)]αc(n− 1)

Introduccion Arquitectura de la red Entrenamiento LVQ

LVQ1-O: velocidad de aprendizaje

Demostrar que:

αc(n) =αc(n− 1)

1 + s(n)αc(n− 1)

(no sobrepasar α > 1)