Post on 03-Feb-2016
Algoritmo de Retropropagación
Notación
i, j, k son índices de las neuronas en las distintas capas
Notación
En el paso n se presenta el n-ésimo patrón de entrada a la red
se refiere a la suma instantánea de los cuadrados de los errores en la iteración n.
El promedio de sobre todas las n es el error promedio de la energía
es la señal de error de la neurona j en la muestra n
)(n
)(n
)(ne j
)(nAV
Notación
es la salida deseada en la neurona j para la muestra n
es la salida observada en la neurona j para la muestra n
denota el peso conectando las neuronas i y j en la muestra n
La corrección se denota con
)(nd j
)(ny j
)(nw ji
)(nw ji
Notación
El campo local inducido ( ) se denota pori
jiiwO
)(nv j
Notación
La función de activación asociada a se denota por
El sesgo de umbral aplicado a la neurona j es . con entrada +1
El i-ésimo elemento del vector de entrada es El k-ésimo elemento del vector de salida global es
La tasa de aprendizaje es
jv)(j
0jj wb )(nX i
)(nOk
Notación
denota el número de neuronas en la l-ésima capa
l = 0, 1, ..., L = tamaño de la capa de entrada = tamaño de las capas escondidas = tamaño de la capa de salida
lm
0m
11,..., Lmm
Lm
Retropropagación
Señal de error:
Valor instantáneo de la energía del error para la neurona j:
Valor instantáneo de la energía del error:
C incluye todas las neuronas en L.
)0.7()()()( nyndne jjj
)()2/1( 2 ne j
)1.7()()2/1()( 2 nenCj
j
Retropropagación
N es el númerode muestras
N
nAV nNn
1
)()/1()(
Retropropagación
Retropropagación
La corrección a es proporcional a
m
iijij anynwnv
0
)1.7()()()(
)2.7())(()( nvny jj
)(nw ji )(nw ji
)(
)(
nw
n
ji
Retropropagación
Podemos escribir
diferenciando ambos lados de (7.1)
)(
)(
)(
)(
)(
)(
)(
)(
)(
)(
nw
nv
nv
ny
ny
ne
ne
n
nw
n
ji
j
j
j
j
j
jji
)1.8()()(
)(ne
ne
nj
j
)()2/1()( 2 nenCj
j
Retropropagación
diferenciando ambos lados de (7.0)
diferenciando ambos lados de (7.2)
)2.8(1)(
)(
ny
ne
j
j
)()()( nyndne jjj
))(()( nvny jj
)3.8()(
))(())(('
)(
)(
nv
nvnv
nv
ny
j
jj
j
j
Retropropagación
diferenciando (7.1a)
De 8.1,2,3,4 tenemos
)4.8()()(
)(ny
nw
nvi
ji
j
m
iijij nynwnv
0
)()()(
)5.8()())((')()(
)(nynvne
nw
nijjj
ji
j
Retropropagación
La corrección aplicada a está definida por la regla delta:
Poniendo (8.5) en (9.1):
)1.9()(
)()(
nw
nnw
ji
)(nw ji )(nw ji
)()()( nynnw ijji
Retropropagación
En donde el gradiente local está definido por
)(nj
)1.1.9()(
)(
)(
)(
)(
)()(
)()(
nv
ny
ny
ne
ne
nnv
nn
j
i
i
j
j
jj
)2.9())((')()( nvnen jjjj
Retropropagación
Consideremos el caso en donde j es un nodo de salida.
se calcula de
y)()()( nyndne jjj
)(ne j
))(('))()(()( nvnyndn jjjjj
Retropropagación
Retropropagación
Consideremos el caso en donde j es un nodo de escondido.
De (9.1.1):
De la figura anterior:
)3.9())((')(
)(
)(
)(
)(
)()( nv
ny
n
nv
ny
ny
nn jj
jj
j
jj
Ck
k nen )()2/1()( 2
Retropropagación
rescribimos
pero
cuando k es una salida y m+1 es el número de entradas (incluyendo el sesgo)
)(
)(
)(
)(
ny
nee
ny
n
j
kk
j
)(
)(
)(
)(
)(
)(
ny
nv
nv
nee
ny
n
j
k
k
k
kk
j
))(()()()()(
nvndnyndnekkk
kkk
Retropropagación
Por tanto:
para la neurona k el campo local inducido es
y
)1.10())((')(
)(nv
nv
nekk
k
k
m
jjkjk nynwnv
0
)()()(
)2.10()()(
)(nw
ny
nvkj
j
k
Retropropagación
De (10.1) y (10.2) tenemos:
Poniendo (10.3) en (9.3):
cuando j es escondida
kkjk
kkjkkk
j
nwn
nwnvneny
n
)3.10()()(
)())((')()(
)(
k
kjkjj nwnnvn )()())((')(
Retropropagación
Retropropagación
1. Si la neurona j es un nodo de salida es igual al producto de la derivada y la señal de error . Ambas están asociadas a la neurona j.
)(ne j
))((' nv jj)(nj
Retropropagación
2. Si la neurona j es un nodo escondido, es igual al producto de la derivada asociada y la suma pesada de las calculada para las neuronas de la siguiente
capa escondida o de salida que se conectan a la neurona j.
)(nj
s))((' nv jj