Redes Neuronales BPN - Backpropagation Networks. Red Neuronal – Modelo Biológico Cuerpo de la...
-
Upload
ruben-rojo-henriquez -
Category
Documents
-
view
224 -
download
0
Transcript of Redes Neuronales BPN - Backpropagation Networks. Red Neuronal – Modelo Biológico Cuerpo de la...
Redes Neuronales BPN - Backpropagation Networks
Red Neuronal – Modelo Biológico
Cuerpo de la célula, contiene el núcleo
Axon: transporta laseñal hacia el exterior
Dendritas: acarrean las señales al interior
Punto de conexióncon otra neurona (sinapsis)
• Neuronas (E-O-S)• Conexiones• Pesos• Funciones• Salidas• Error
IN
H
OUT
Red Neuronal Artificial
Red BPN
• Neuronas (E-O-S)• Conexiones hacia adelante• Propagación hacia atrás del error• Ajuste de pesos
in1
i
inn
h1
wjineth
pj
hl
out1
wkjneto
kj
outm
fk(netpk)
xp1
xpi
xpn
Funcionamiento
Consiste, básicamente, en un aprendizaje Consiste, básicamente, en un aprendizaje
de un conjunto predefinido de pares de de un conjunto predefinido de pares de
entradas-salidasentradas-salidas tomados como ejemplos tomados como ejemplos
utilizando un ciclo utilizando un ciclo propagación-propagación-
adaptaciónadaptación de dos fases. de dos fases.
Funcionamiento
Se aplican las entradas a la primera Se aplican las entradas a la primera
capa de neuronas de la BPN, se capa de neuronas de la BPN, se
propaga hacia adelante por todas las propaga hacia adelante por todas las
capas superiores hasta lograr una capas superiores hasta lograr una
salida.salida.
Si ésta no coincide con el resultado Si ésta no coincide con el resultado
esperado se calcula el error.esperado se calcula el error.
Funcionamiento
Estos errores se transmiten hacia atrás Estos errores se transmiten hacia atrás desde la capa de salida hacia todas las desde la capa de salida hacia todas las neuronas de la capa intermedia que neuronas de la capa intermedia que contribuyan directamente a la salida.contribuyan directamente a la salida.
Este proceso se repite capa por capa Este proceso se repite capa por capa hasta que todas hayan recibido un error hasta que todas hayan recibido un error que describa su aporte relativo al error que describa su aporte relativo al error total cometido.total cometido.
Funcionamiento
Con el error recibido, se reajustan los Con el error recibido, se reajustan los pesos de conexión de cada neurona pesos de conexión de cada neurona de tal manera que en la siguiente de tal manera que en la siguiente iteración la salida se acerque a la iteración la salida se acerque a la esperada, disminuyendo el error y esperada, disminuyendo el error y haciendo que la red converja hacia haciendo que la red converja hacia un estado que nos permita codificar un estado que nos permita codificar las tramas de entrenamiento.las tramas de entrenamiento.
Funcionamiento
La importancia de la BPN consiste en La importancia de la BPN consiste en la capacidad de autoadaptar los la capacidad de autoadaptar los pesos de las neuronas ocultas para pesos de las neuronas ocultas para aprender la relación que existe entre aprender la relación que existe entre un conjunto de patrones dados como un conjunto de patrones dados como ejemplo y sus salidasejemplo y sus salidas correspondientes.correspondientes.
Funcionamiento
Decimos que una BPN “Generaliza”Decimos que una BPN “Generaliza”
Tiene la facilidad de los sistemas de Tiene la facilidad de los sistemas de
aprendizaje de dar salidas aprendizaje de dar salidas
satisfactorias a entradas que el satisfactorias a entradas que el
sistema no ha visto nunca en su fase sistema no ha visto nunca en su fase
de entrenamiento.de entrenamiento.
Regla Delta Generalizada
Se la utiliza para el aprendizaje, con funciones Se la utiliza para el aprendizaje, con funciones de activación continuas y derivables (función de activación continuas y derivables (función sigmoidal). sigmoidal).
El algoritmo de retropropagación utiliza El algoritmo de retropropagación utiliza también una función o superficie de error también una función o superficie de error asociada a la red, buscando el estado estable asociada a la red, buscando el estado estable de mínima energía o de mínimo error a través de mínima energía o de mínimo error a través del camino descendente de la superficie del del camino descendente de la superficie del error. error.
De esta manera realimenta el error del De esta manera realimenta el error del sistema para realizar la modificación de los sistema para realizar la modificación de los pesos en un valor proporcional al gradiente pesos en un valor proporcional al gradiente decreciente de dicha función de error.decreciente de dicha función de error.
Regla Delta Generalizada
Superficie hipotética Superficie hipotética del espacio de del espacio de pesos. pesos.
El gradiente en el El gradiente en el punto Z tiene signo punto Z tiene signo negativo. negativo.
Los cambios de Los cambios de pesos deberían pesos deberían producirse en esa producirse en esa dirección, que es la dirección, que es la del descenso más del descenso más pronunciado.pronunciado.
Z
Ep
Zmin
EpEp
Funcionamiento :: Propagación hacia adelante
• Inicializar la Red con pesos aleatorios
pequeños W1 W2 …
• Presentar un patrón de entrada
Xp1 Xp2 ...
• Especificar salida deseada d1 d2 ...
Calcular la salida actual de la red
Funcionamiento :: Propagación hacia adelante
N
1i
hjpi
hji
hpj θxwnet )(netfy h
pjhjpj Capas
ocultas
L
1j
okpj
okj
opk θywnet )(netfy o
pkokpk
Capa de salida
Función de Salida
)(net)fy(dδ opk
o'kpkpk
opk
)y(1)yy(dδ pkpkpkpkopk
Capa de salida
Calcular los errores para las neuronas
Funcionamiento :: Propagación hacia atrás
o
kjk
opk
hpj
h'j
hpj wδ)(netfδ
Capas ocultaso
kjk
opkpipi
hpj wδ)x-(1xδ
Calcular los errores para las neuronas
(continuación Capas Ocultas)
Funcionamiento :: Propagación hacia atrás
o
kjk
opkpipi
hpj wδ)x-(1xδ
Para la función sigmoidal
kk se refiere a todas las neuronas de la capa superior se refiere a todas las neuronas de la capa superior a la de la neurona a la de la neurona jj. Así el error que se comete en . Así el error que se comete en una neurona oculta es proporcional a la suma de los una neurona oculta es proporcional a la suma de los errores conocidos que se producen en las neuronas errores conocidos que se producen en las neuronas a las que está conectada la salida de ésta, a las que está conectada la salida de ésta, multiplicado cada uno por el peso de la conexión.multiplicado cada uno por el peso de la conexión.
Actualización de los pesos
Aprendizaje
pjopk
okj
okj
okj
okj
yαδ1)(tΔw
1);(tΔw(t)w1)(tw
Capa de salida
pihpj
hji
hji
hji
hji
xαδ1)(tΔw
1);(tΔw(t)w1)(tw
Capas ocultas
pjopk
okj yαδ1)(tΔw
Actualización de los pesos(continuación)
Aprendizaje
En la implementación del algoritmo se toma una amplitud de paso que viene dada por (la tasa de aprendizaje). A mayor tasa mayor es la modificación de lo pesos en cada iteración, el aprendizaje será más rápido pero pueden existir oscilaciones.
Para acelerar el aprendizaje
Aprendizaje
1))-(tw-(t)β(w okj
okj
1)-(tw-(t)βw hji
hji
Capa de salida
Capas ocultas
Para filtrar las oscilaciones que origina puede usarse un MOMENTO , que es una constante que determina el efecto en t+1 del cambio de los pesos en t.
Repetición del proceso
Aprendizaje
Error para el Patrón “p”
Error Global
M
1k
2pkp δ
21
E
N
EE
N
1kp
g
Perfiles: P1 y P2
Características: C1, C2 y C3
C1
Rango 1: 1 – 49Rango 2: 50 – 100
C2
Rango 1: 1 – 30Rango 2: 31 – 100
C3
Rango 1: 1 – 49Rango 2: 50 – 100
P1
C1: 1 – 49
C2: 1 – 30
C3: 1 – 49
P2
C1: 50 – 100
C2: 31 – 100
C3: 50 – 100
Ejemplo de funcionamiento
N1
N2
N3
N4
N5
N6
N7
W14
W15
W24
W25
W34
W35
W46
W47
W56
W57
y6
y7
Entradas Ci Ocultas Hj Salidas Pk
Red propuesta
Ejemplo de funcionamiento
w14=0,4
w15=0,5
w24=0,6
w25=0,7
w34=1,0
w35=0,8
w46=0,3
w47=1,2
w56=0,6
w57=0,8
Primer vector de entrenamientox1= 25 x2=15 x3=25 Salida deseadad1=1 (N6) y d2=0 (N7) Obtener el Perfil 1 (P1)
Ejemplo de funcionamiento
Cálculos
44251150,6250,4xwnet3
1iii44
43250,8150,7250,5xwnet3
1iii55
1e11
f(44)y 444
1e11
f(43)y 435
210,811,2net7
0,7109e11
f(0,9)y 0,96
0,8808e11
f(2)y 27
0,910,610,3net6
Ejemplo de funcionamiento
Cálculos de salidas
4297,08808,007109,0121
E 22p
0,09250,8808)(10,88080,8808)(0δ
0,05940,7109)(10,71090,7109)(1δ
7
6
00,80,0925)(0,60,05941)(11δ
00,80,0925)(0,30,05941)(11δ
5
4
Ejemplo de funcionamiento
Propagación del error
0,01188Δ
0,0118810,05940,2Δ
56
46
0,611880,011880,6w
0,311880,011880,3w
56
46
0,0185Δ
0,0185Δ
57
47
0,7815w
1,1815w
57
47
0Δ
02500,2Δ
15
14
0,5w
0,4w
15
14
Ejemplo de funcionamiento
Actualización de pesos con = 0,2
0Δ
01500,2Δ
25
24
0,7w
0,6w
15
14
0Δ
0Δ
35
34
0,8w
1,0w
15
14
• Datos de entrenamientoDatos de entrenamiento
• Dimensionamiento de la redDimensionamiento de la red
• Pesos y parámetros de aprendizajePesos y parámetros de aprendizaje
• Control de la convergenciaControl de la convergencia
Consideraciones prácticas
• Necesita una fase de entrenamiento que permita estabilizar los pesos de las neuronas.
Consideraciones finales
• Se puede entrenar a la red con los patrones necesarios, supervisando que las salidas que deben generar esos patrones sean las correctas.
• Se necesita más potencia de cálculo para Se necesita más potencia de cálculo para la fase de entrenamiento.la fase de entrenamiento.
• La complejidad de la fase de entrenamiento La complejidad de la fase de entrenamiento es la principal desventaja de este modelo, sin es la principal desventaja de este modelo, sin embargo una vez estabilizados los pesos embargo una vez estabilizados los pesos permite que los cálculos se realicen sin permite que los cálculos se realicen sin mayores dificultades.mayores dificultades.