Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield
Transcript of Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield
![Page 1: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/1.jpg)
Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield
Universidad de Santiago de Chile Programa
Magíster en Ingeniería Informática
Enero 2005
Dr. Gonzalo Acuña L.
![Page 2: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/2.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática 2
Temario
• Introducción • Descripción de las Redes de Hopfield • Características de las Redes de Hopfield • Función de Energía • Estados Espurios • Memorias Fundamentales
![Page 3: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/3.jpg)
Introducción
![Page 4: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/4.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
• Fueron desarrolladas por una serie de investigadores y presentadas en forma clara y sistemática a la comunidad por Hopfield en 1982.
• Memoria asociativa o memoria accesible por contenido (Content addressable Memory)
![Page 5: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/5.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
• Sistema dinámico cuyo espacio de estado contiene un conjunto de puntos fijos (estables) representando las memorias fundamentales del sistema.
![Page 6: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/6.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
• Se usa Representación de McCulloch & Pitts.
• Estado de la red neuronal esta compuesto por N neuronas:
[ ]1 2 3, , , ; 1tN iS s s s s s= = ±K
1
N
j ji i ii
V w s θ=
= ⋅ −∑
1 01 0
jj
j
si vS
si v+ >⎧
= ⎨− >⎩si 0j jv s= ⇒ se conserva
j jS Sgn v⎡ ⎤⇒ = ⎣ ⎦
![Page 7: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/7.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
![Page 8: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/8.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
1. Fase de Almacenamiento • Memorias Fundamentales = P Vectores
N-dimensional
• : Elemento i de • Regla de aprendizaje de Hebb:
{ }/ 1,2, ,Pµξ µ = Kiµξ µξ
, ,1 P
ji j iWN µ µ
µ
ξ ξ= ⋅ ⋅∑ 0iiW i= ∀
![Page 9: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/9.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
• En forma matricial:
• La salida de cada neurona en la red es alimentada hacia todas las otras neuronas
• No hay auto-retroalimentación • La Matriz de Pesos es simétrica
1 Pt PW I
N Nµ µµ
ξ ξ= ⋅ ⋅ − ⋅∑
ij jiw w=
![Page 10: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/10.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
2. Fase de Búsqueda (Recuperación) – Un vector N-dimensional se impone a la red.
Como su estado, con elementos +-1. Versión ruidosa o incompleta de memoria fundamental.
– En forma aleatoria: Cada neurona j, a intervalos fijos examina su activación . jv
0 10 1
0 se mantiene
j j
j j
j j
v sv sSív s
> ⇒ = +⎡ ⎤⎢ ⎥< ⇒ = −⎢ ⎥⎢ ⎥= ⇒⎣ ⎦
![Page 11: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/11.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
– Partiendo de un vector X, se llega a un vector Y, cuyos elementos satisfacen la siguiente Condición de Estabilidad:
– o en forma matricial: 11,2, ,
N
j ji i ji
y Sgn w y j Nθ=
⎛ ⎞= ⋅ − =⎜ ⎟
⎝ ⎠∑ K
( )Y Sgn W Y θ= ⋅ −
![Page 12: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/12.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
• Paso1: Almacenamiento
• Paso2: Inicialización
1 2, , , Pξ ξ ξK , ,1
1
0
P
j iij
j iNw
j i
µ µµ
ξ ξ=
⎧⋅ ⋅ ≠⎪
= ⎨⎪ =⎩
∑
( )0 , 1,2, ,j js X j N= = K
![Page 13: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/13.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
• Paso3: Iteración hasta convergencia – Actualizar elementos de en forma
aleatoria y asíncrona.
• Paso4: Salida
( )S n
( ) ( )1
1N
j ji ii
S n Sgn w S n=
⎛ ⎞+ = ⋅⎜ ⎟
⎝ ⎠∑
3fijo fijoY S dondeS es la salida del paso=
![Page 14: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/14.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
• Ejemplo:
0 2 21 2 0 23
2 2 0W
−⎡ ⎤⎢ ⎥= ⋅ − −⎢ ⎥⎢ ⎥−⎣ ⎦
![Page 15: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/15.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
• Condición de Alineamiento
[ ] [ ]1 1 1 0 0
1 1 21 1 1 1 1 1 1 1 0 1 03 3 3
1 1 0 0 1
0 2 21 2 1 23
2 2 0
W
W
−⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥= ⋅ − ⋅ − + ⋅ ⋅ − − − ⋅⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦
−⎡ ⎤⎢ ⎥= ⋅ − −⎢ ⎥⎢ ⎥−⎣ ⎦
![Page 16: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/16.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
• è8 estados posibles • èSólo 2 de ellos son estables
• ¿Por qué son estables?
( ) ( )1, 1,0 1,1, 1y− − −
0 2 2 1 41 12 0 2 1 43 3
2 2 0 1 4yW
−⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥= ⋅ − − ⋅ − = ⋅ −⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦
![Page 17: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/17.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
111
ySgn W y⎡ ⎤⎢ ⎥⎡ ⎤ = − =⎣ ⎦ ⎢ ⎥⎢ ⎥⎣ ⎦
0 2 2 1 41 12 0 2 1 43 3
2 2 0 1 4yW
− − −⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥= ⋅ − − ⋅ = ⋅⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥− − −⎣ ⎦ ⎣ ⎦ ⎣ ⎦
111
ySgn W y−⎡ ⎤⎢ ⎥⎡ ⎤ = =⎣ ⎦ ⎢ ⎥⎢ ⎥−⎣ ⎦
![Page 18: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/18.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Redes de Hopfield
![Page 19: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/19.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
![Page 20: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/20.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
![Page 21: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/21.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
![Page 22: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/22.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Función de Energía (Cambio de energía debido a un cambio de estado de neurona j)
1 1
12
N N
ji i ji j
j i
E ω δ δ= =
≠
= − ∑∑
0ij ji
j jω ω
θ
=
= ∀
![Page 23: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/23.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
à Propiedad central de una función de energía es que siempre decae o se mantiene constante durante la evolución del sistema {
( )ij i j
ijiiE C ω δ δ= −∑
{0
0
' ( )
'' '
'
2
2 2
i ij j ij
i i
i i
ij i j ij i jj i j i
i ij jj i
i ij j iij
Sea S Sgm nuevo valor para
Si S S E no cambiaSi S S E E
ω δ δ
ω δ δ ω δ δ
δ ω δ
δ ω δ ω
≠ ≠
≠
>
<
=
= ⇒
= − ⇒ −
= − +
=
= −
∑
∑ ∑
∑
∑1 4 2 43
![Page 24: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/24.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
En el ejemplo anterior: 1 2 2 3 1 32 ( )3
E δ δ δ δ δ δ= − +
E
-1 -1 -1 2/3
1 -1 -1 2/3 0 -1 1 -1 -2 -8/3 1 1 -1 2/3 8/3 -1 -1 1 2/3 0 1 -1 1 -2 -8/3 -1 1 1 2/3 8/3 1 1 1 2/3 0
1δ 2δ 3δ EV
![Page 25: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/25.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Estados Espurios à Representan estados estables diferentes de las
memorias fundamentales almacenadas à E no cambia si se invierten todos los estados de
las neuronas è Un estado estable corresponde naturalmente al
inverso de otro
à Pueden aparecer estados estables para cada mezcla de estados almacenados èCombinación lineal de un número impar de patrones
![Page 26: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/26.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
à Mientras mayor el número de estados
fundamentales almacenados è Mayor cantidad de mínimos locales que no
están correlacionados con los anteriores è Spin-Glass Status
(Ausencia de auto retroalimentación beneficia la no-aparición de estos)
1, 2, 3,: ( )i i i iEj Sgmδ ξ ξ ξ= + +
![Page 27: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/27.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
Capacidad de Almacenamiento de memorias fundamentales
à No siempre todas las memorias fundamentales son estables
à La capacidad de almacenar patrones que resulten atractores es limitada
à Estabilidad de un patrón particular
(entrada neta a unidad i del patrón v)
viξ
( )1
v vi i
v v vi ij j i j j
j j
sgm h i
con hN
µ µ
µ
ξ
ω ξ ξ ξ ξ
= ∀
= =∑ ∑∑
![Page 28: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/28.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
à Si se separa la suma en en el término
è Esto ocurre cuando el número de parámetros almacenados, p, es pequeño.
µv restoµ = +
1v v vi i i j j
j v
estabilidad ssi este término=0o suficientemente pequeño
hN
µ µ
µ
ξ ξ ξ ξ≠
= + ∑∑1 4 4 2 4 4 3
![Page 29: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/29.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
à depende de los patrones que se
intenten almacenar à Consideremos patrones aleatorios de
igual probabilidad:
1:
1
v v vi i i j j
j v
vi
Sea CN
Si C problemas
µ µ
µ
ξ ξ ξ ξ≠
= −
> ⇒
∑∑
viC j
µξ
1
1j
j
oµ
µ
ξ
ξ
= +
= −
![Page 30: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/30.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
à Probabilidad, Perror, de que algún bits sea inestable:
à Perror depende del número de neuronas N y el número de patrones p.
à Si asumimos N y p >> 1 è (números aleatorios independientes +1 ó -1)
à Distribución binomial (por sacar al azar +1 ó -1) è Distribución normal
( 1)verror iP Prob C= >
1iC Np
Nµ = ∑
![Page 31: Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield](https://reader035.fdocuments.es/reader035/viewer/2022081519/62b84b1bbb31ca40e53ddd8b/html5/thumbnails/31.jpg)
Universidad de Santiago de Chile Departamento de Ingeniería Informática
Ingeniería Neuronal Magíster en Ingeniería Informática
è Perror < 0.01 è Pmax = 0.15N Pmax: máxima capacidad
-1 1
Perror Pmax/N 0.001 0.105 0.0036 0.138 0.01 0.185 0.05 0.37 0.1 0.61
( )viP C
PN
σ =
errorP
viC