Redes neuronales con funciones de base...
Transcript of Redes neuronales con funciones de base...
![Page 1: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/1.jpg)
Redes neuronales con funciones debase radial
Diego Milone
Inteligencia ComputacionalDepartamento de Informática
FICH-UNL
![Page 2: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/2.jpg)
Inteligencia Computacional - FICH - UNL
¿Otra vez el problema XOR?
x1
x2
−1
+1
+1
−1
![Page 3: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/3.jpg)
Inteligencia Computacional - FICH - UNL
Regiones con un perceptrón multicapa
x1
x2
−1
+1
+1
−1
![Page 4: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/4.jpg)
Inteligencia Computacional - FICH - UNL
Funciones sigmoideas
![Page 5: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/5.jpg)
Inteligencia Computacional - FICH - UNL
Funciones radiales
![Page 6: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/6.jpg)
Inteligencia Computacional - FICH - UNL
Regiones radiales
x1
x2
−1
+1
+1
−1
![Page 7: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/7.jpg)
Inteligencia Computacional - FICH - UNL
RBF-NN: introducción
Orígenes de las RBF: aproximación de funciones
φ : RN → R
d = φ(x)
Aproximación:h(x) =
∑j
wjφ(‖x− µj‖)
frecuentemente se utiliza como función de base radial:
φ(κ) = e−κ2
2σ2
![Page 8: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/8.jpg)
Inteligencia Computacional - FICH - UNL
RBF-NN: introducción
Orígenes de las RBF: aproximación de funciones
φ : RN → R
d = φ(x)
Aproximación:h(x) =
∑j
wjφ(‖x− µj‖)
frecuentemente se utiliza como función de base radial:
φ(κ) = e−κ2
2σ2
![Page 9: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/9.jpg)
Inteligencia Computacional - FICH - UNL
RBF-NN: introducción
Orígenes de las RBF: aproximación de funciones
φ : RN → R
d = φ(x)
Aproximación:h(x) =
∑j
wjφ(‖x− µj‖)
frecuentemente se utiliza como función de base radial:
φ(κ) = e−κ2
2σ2
![Page 10: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/10.jpg)
Inteligencia Computacional - FICH - UNL
RBF-NN: introducción
Aproximación: ejemplop(x) =
∑j
wjφ(‖x− µj‖)
![Page 11: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/11.jpg)
Inteligencia Computacional - FICH - UNL
RBF-NN: generalidades
Arquitectura
![Page 12: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/12.jpg)
Inteligencia Computacional - FICH - UNL
RBF-NN: generalidades
Arquitectura
![Page 13: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/13.jpg)
Inteligencia Computacional - FICH - UNL
RBF-NN: generalidades
Modelo matemático
yk(x`) =M∑
j=1wkjφj(x`)
donde:
φj(x`) = e−‖x`−µj‖
2
2σ2j
¿Cuáles son los parámetros a entrenar?
![Page 14: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/14.jpg)
Inteligencia Computacional - FICH - UNL
RBF-NN: generalidades
Modelo matemático
yk(x`) =M∑
j=1wkjφj(x`)
donde:
φj(x`) = e−‖x`−µj‖
2
2σ2j
¿Cuáles son los parámetros a entrenar?
![Page 15: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/15.jpg)
Inteligencia Computacional - FICH - UNL
RBF-NN: generalidades
Modelo matemático
yk(x`) =M∑
j=1wkjφj(x`)
donde:
φj(x`) = e−‖x`−µj‖
2
2σ2j
¿Cuáles son los parámetros a entrenar?
![Page 16: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/16.jpg)
RBF-NN: entrenamiento (parte 1)
Diego Milone
Inteligencia ComputacionalDepartamento de Informática
FICH-UNL
![Page 17: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/17.jpg)
Inteligencia Computacional - FICH - UNL
RBF-NN: entrenamiento
• Método 1:• Adaptación no supervisada de las RBF
• Utilizando el método k-medias• Utilizando mapas autoorganizativos• Otros...
• Adaptación supervisada de los wkj (LMS)
• Método 2:• Inicialización por el Método 1• Adaptación supervisada de las RBF
(∂ξ∂µji
, ∂ξ∂σj
)• En general se adaptan RBF y wkj por separado.
![Page 18: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/18.jpg)
Inteligencia Computacional - FICH - UNL
RBF-NN: entrenamiento
• Método 1:• Adaptación no supervisada de las RBF
• Utilizando el método k-medias• Utilizando mapas autoorganizativos• Otros...
• Adaptación supervisada de los wkj (LMS)
• Método 2:• Inicialización por el Método 1• Adaptación supervisada de las RBF
(∂ξ∂µji
, ∂ξ∂σj
)
• En general se adaptan RBF y wkj por separado.
![Page 19: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/19.jpg)
Inteligencia Computacional - FICH - UNL
RBF-NN: entrenamiento
• Método 1:• Adaptación no supervisada de las RBF
• Utilizando el método k-medias• Utilizando mapas autoorganizativos• Otros...
• Adaptación supervisada de los wkj (LMS)
• Método 2:• Inicialización por el Método 1• Adaptación supervisada de las RBF
(∂ξ∂µji
, ∂ξ∂σj
)• En general se adaptan RBF y wkj por separado.
![Page 20: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/20.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias
Método NO-supervisado! (uno de los más simples)
Objetivos:• Encontrar k conjuntos Cj de forma que:
• Cada conjunto Cj sea lo más diferente posible de los demás• Los patrones x` dentro de cada Cj sean lo más parecidos
posible entre ellos
• Encontrar el centroide µj de cada conjunto Cj
Ecuación de optimización: min
{J =
k∑j=1
∑`∈Cj
‖x` − µj‖2
}
![Page 21: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/21.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias
Método NO-supervisado! (uno de los más simples)
Objetivos:• Encontrar k conjuntos Cj de forma que:
• Cada conjunto Cj sea lo más diferente posible de los demás• Los patrones x` dentro de cada Cj sean lo más parecidos
posible entre ellos
• Encontrar el centroide µj de cada conjunto Cj
Ecuación de optimización: min
{J =
k∑j=1
∑`∈Cj
‖x` − µj‖2
}
![Page 22: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/22.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias
Método NO-supervisado! (uno de los más simples)
Objetivos:• Encontrar k conjuntos Cj de forma que:
• Cada conjunto Cj sea lo más diferente posible de los demás
• Los patrones x` dentro de cada Cj sean lo más parecidosposible entre ellos
• Encontrar el centroide µj de cada conjunto Cj
Ecuación de optimización: min
{J =
k∑j=1
∑`∈Cj
‖x` − µj‖2
}
![Page 23: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/23.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias
Método NO-supervisado! (uno de los más simples)
Objetivos:• Encontrar k conjuntos Cj de forma que:
• Cada conjunto Cj sea lo más diferente posible de los demás• Los patrones x` dentro de cada Cj sean lo más parecidos
posible entre ellos
• Encontrar el centroide µj de cada conjunto Cj
Ecuación de optimización: min
{J =
k∑j=1
∑`∈Cj
‖x` − µj‖2
}
![Page 24: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/24.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias
Método NO-supervisado! (uno de los más simples)
Objetivos:• Encontrar k conjuntos Cj de forma que:
• Cada conjunto Cj sea lo más diferente posible de los demás• Los patrones x` dentro de cada Cj sean lo más parecidos
posible entre ellos
• Encontrar el centroide µj de cada conjunto Cj
Ecuación de optimización: min
{J =
k∑j=1
∑`∈Cj
‖x` − µj‖2
}
![Page 25: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/25.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias
Método NO-supervisado! (uno de los más simples)
Objetivos:• Encontrar k conjuntos Cj de forma que:
• Cada conjunto Cj sea lo más diferente posible de los demás• Los patrones x` dentro de cada Cj sean lo más parecidos
posible entre ellos
• Encontrar el centroide µj de cada conjunto Cj
Ecuación de optimización: min
{J =
k∑j=1
∑`∈Cj
‖x` − µj‖2
}
![Page 26: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/26.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias por lotes
1. Inicialización: se forman los k conjuntos Cj(0) con patronesx` elegidos al aleatoriamente.
2. Se calculan los centroides:
µj(n) =1
|Cj(n)|∑
`∈Cj(n)
x`
3. Se reasignan los x` al Cj más cercano:
` ∈ Cj(n)⇔ ‖x` − µj‖2 < ‖x` − µi‖2 ∀i 6= j
4. Volver a 2 hasta que no se realicen reasignaciones.
![Page 27: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/27.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias por lotes
1. Inicialización: se forman los k conjuntos Cj(0) con patronesx` elegidos al aleatoriamente.
2. Se calculan los centroides:
µj(n) =1
|Cj(n)|∑
`∈Cj(n)
x`
3. Se reasignan los x` al Cj más cercano:
` ∈ Cj(n)⇔ ‖x` − µj‖2 < ‖x` − µi‖2 ∀i 6= j
4. Volver a 2 hasta que no se realicen reasignaciones.
![Page 28: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/28.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias por lotes
1. Inicialización: se forman los k conjuntos Cj(0) con patronesx` elegidos al aleatoriamente.
2. Se calculan los centroides:
µj(n) =1
|Cj(n)|∑
`∈Cj(n)
x`
3. Se reasignan los x` al Cj más cercano:
` ∈ Cj(n)⇔ ‖x` − µj‖2 < ‖x` − µi‖2 ∀i 6= j
4. Volver a 2 hasta que no se realicen reasignaciones.
![Page 29: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/29.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias por lotes
1. Inicialización: se forman los k conjuntos Cj(0) con patronesx` elegidos al aleatoriamente.
2. Se calculan los centroides:
µj(n) =1
|Cj(n)|∑
`∈Cj(n)
x`
3. Se reasignan los x` al Cj más cercano:
` ∈ Cj(n)⇔ ‖x` − µj‖2 < ‖x` − µi‖2 ∀i 6= j
4. Volver a 2 hasta que no se realicen reasignaciones.
![Page 30: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/30.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias online
Optimización por método de gradiente:
∇µJ = ∇µ
k∑
j=1
∑`∈Cj
‖x` − µj‖2
= 0
µj(n + 1) = µj(n) + η(x` − µj(n))
![Page 31: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/31.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias online
Optimización por método de gradiente:
∇µJ = ∇µ
k∑
j=1
∑`∈Cj
‖x` − µj‖2
= 0
µj(n + 1) = µj(n) + η(x` − µj(n))
![Page 32: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/32.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias online
1. Inicialización: se eligen k patrones aleatoriamente y seusan como centroides iniciales µj(0) = x′`.
2. Selección:j∗ = arg minj
{‖x` − µj(n)‖
}3. Adaptación:
µj∗(n + 1) = µj∗(n) + η(x` − µj∗(n))
4. Volver a 2 hasta no encontrar mejoras significativas en J.
![Page 33: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/33.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias online
1. Inicialización: se eligen k patrones aleatoriamente y seusan como centroides iniciales µj(0) = x′`.
2. Selección:j∗ = arg minj
{‖x` − µj(n)‖
}
3. Adaptación:
µj∗(n + 1) = µj∗(n) + η(x` − µj∗(n))
4. Volver a 2 hasta no encontrar mejoras significativas en J.
![Page 34: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/34.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias online
1. Inicialización: se eligen k patrones aleatoriamente y seusan como centroides iniciales µj(0) = x′`.
2. Selección:j∗ = arg minj
{‖x` − µj(n)‖
}3. Adaptación:
µj∗(n + 1) = µj∗(n) + η(x` − µj∗(n))
4. Volver a 2 hasta no encontrar mejoras significativas en J.
![Page 35: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/35.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de las RBF: k-medias online
1. Inicialización: se eligen k patrones aleatoriamente y seusan como centroides iniciales µj(0) = x′`.
2. Selección:j∗ = arg minj
{‖x` − µj(n)‖
}3. Adaptación:
µj∗(n + 1) = µj∗(n) + η(x` − µj∗(n))
4. Volver a 2 hasta no encontrar mejoras significativas en J.
![Page 36: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/36.jpg)
RBF-NN: entrenamiento (parte 2)
Diego Milone
Inteligencia ComputacionalDepartamento de Informática
FICH-UNL
![Page 37: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/37.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de los pesos: generalidades
• Al entrenar los pesos, las RBF quedan fijas• Al estar las RBF fijas se pueden obtener las salidas
intermedias para cada patrón de entrada: φ(x`)• Con esas salidas intermedias se puede entrenar cada
perceptrón simple:y = Wφ(x`)
• Métodos de entrenamiento:• pseudo-inversa del vector φ(x`)• gradiente descendiente sobre el error cuadrático
instantáneo (LMS)
![Page 38: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/38.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de los pesos: generalidades
• Al entrenar los pesos, las RBF quedan fijas• Al estar las RBF fijas se pueden obtener las salidas
intermedias para cada patrón de entrada: φ(x`)• Con esas salidas intermedias se puede entrenar cada
perceptrón simple:y = Wφ(x`)
• Métodos de entrenamiento:• pseudo-inversa del vector φ(x`)• gradiente descendiente sobre el error cuadrático
instantáneo (LMS)
![Page 39: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/39.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de los pesos: método LMS
ek(n) = yk(n)− dk(n)
ξ(n) =12
∑k
e2k(n) =
12
∑k
∑j
wkj(n)φj(n)− dk(n)
2
∂ξ(n)∂wkj(n)
= (yk(n)− dk(n))∂
∂wkj
∑j
wkj(n)φj(n)− dk(n)
∂ξ(n)∂wkj(n)
= ek(n)φj(n)
![Page 40: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/40.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de los pesos: método LMS
ek(n) = yk(n)− dk(n)
ξ(n) =12
∑k
e2k(n) =
12
∑k
∑j
wkj(n)φj(n)− dk(n)
2
∂ξ(n)∂wkj(n)
= (yk(n)− dk(n))∂
∂wkj
∑j
wkj(n)φj(n)− dk(n)
∂ξ(n)∂wkj(n)
= ek(n)φj(n)
![Page 41: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/41.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de los pesos: método LMS
ek(n) = yk(n)− dk(n)
ξ(n) =12
∑k
e2k(n) =
12
∑k
∑j
wkj(n)φj(n)− dk(n)
2
∂ξ(n)∂wkj(n)
= (yk(n)− dk(n))∂
∂wkj
∑j
wkj(n)φj(n)− dk(n)
∂ξ(n)∂wkj(n)
= ek(n)φj(n)
![Page 42: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/42.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de los pesos: método LMS
ek(n) = yk(n)− dk(n)
ξ(n) =12
∑k
e2k(n) =
12
∑k
∑j
wkj(n)φj(n)− dk(n)
2
∂ξ(n)∂wkj(n)
= (yk(n)− dk(n))∂
∂wkj
∑j
wkj(n)φj(n)− dk(n)
∂ξ(n)∂wkj(n)
= ek(n)φj(n)
![Page 43: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/43.jpg)
Inteligencia Computacional - FICH - UNL
Adaptación de los pesos: método LMS
Regla de aprendizaje:
wkj(n + 1) = wkj(n)− ηek(n)φj(n)
wkj(n + 1) = wkj(n)− η(∑
iwki(n)φi(n)− dk(n)
)φj(n)
![Page 44: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/44.jpg)
Inteligencia Computacional - FICH - UNL
Comparación RBF-NN vs. MLP
RBF-NN MLP
1 capa oculta p capas ocultas
distancia a prototipos gaussianos hiperplanos sigmoideos
representaciones locales sumadas representaciones distribuidas combinadas
convergencia más simple (linealidad)
entrenamiento más rápido
arquitectura más simple
combinación de diferentes paradigmas de aprendizaje
![Page 45: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/45.jpg)
Inteligencia Computacional - FICH - UNL
Comparación RBF-NN vs. MLP
RBF-NN MLP1 capa oculta p capas ocultas
distancia a prototipos gaussianos hiperplanos sigmoideos
representaciones locales sumadas representaciones distribuidas combinadas
convergencia más simple (linealidad)
entrenamiento más rápido
arquitectura más simple
combinación de diferentes paradigmas de aprendizaje
![Page 46: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/46.jpg)
Inteligencia Computacional - FICH - UNL
Comparación RBF-NN vs. MLP
RBF-NN MLP1 capa oculta p capas ocultas
distancia a prototipos gaussianos hiperplanos sigmoideos
representaciones locales sumadas representaciones distribuidas combinadas
convergencia más simple (linealidad)
entrenamiento más rápido
arquitectura más simple
combinación de diferentes paradigmas de aprendizaje
![Page 47: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/47.jpg)
Inteligencia Computacional - FICH - UNL
Comparación RBF-NN vs. MLP
RBF-NN MLP1 capa oculta p capas ocultas
distancia a prototipos gaussianos hiperplanos sigmoideos
representaciones locales sumadas representaciones distribuidas combinadas
convergencia más simple (linealidad)
entrenamiento más rápido
arquitectura más simple
combinación de diferentes paradigmas de aprendizaje
![Page 48: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/48.jpg)
Inteligencia Computacional - FICH - UNL
Comparación RBF-NN vs. MLP
RBF-NN MLP1 capa oculta p capas ocultas
distancia a prototipos gaussianos hiperplanos sigmoideos
representaciones locales sumadas representaciones distribuidas combinadas
convergencia más simple (linealidad)
entrenamiento más rápido
arquitectura más simple
combinación de diferentes paradigmas de aprendizaje
![Page 49: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/49.jpg)
Gaussianas N-dimensionales
Diego Milone
Inteligencia ComputacionalDepartamento de Informática
FICH-UNL
![Page 50: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/50.jpg)
Inteligencia Computacional - FICH - UNL
Anotaciones sobre gaussianas N-dimensionales
Concepto, interpretación gráfica y forma matricial
Forma general→ x,µj ∈ RN ,Uj ∈ RN×N :
N (x,µj,Uj) =1
(2π)N/2|Uj|1/2 · e− 1
2 [(x−µj)T U−1
j (x−µj)]
![Page 51: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/51.jpg)
Inteligencia Computacional - FICH - UNL
Anotaciones sobre gaussianas N-dimensionales
Concepto, interpretación gráfica y forma matricial
Forma general→ x,µj ∈ RN ,Uj ∈ RN×N :
N (x,µj,Uj) =1
(2π)N/2|Uj|1/2 · e− 1
2 [(x−µj)T U−1
j (x−µj)]
![Page 52: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/52.jpg)
Inteligencia Computacional - FICH - UNL
Anotaciones sobre gaussianas N-dimensionales
• Caso simplificado 3→ Uj = I:
N ′(x,µj) = e− 1
2
N∑k=1
(xk−µjk)2
• Caso simplificado 2→ Uj ∈ RN×N , diagonal igual:
N (x,µj,Uj) =1
(2π)N/2√
Nσ· e− 1
2σ2
N∑k=1
(xk−µjk)2
![Page 53: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/53.jpg)
Inteligencia Computacional - FICH - UNL
Anotaciones sobre gaussianas N-dimensionales
• Caso simplificado 3→ Uj = I:
N ′(x,µj) = e− 1
2
N∑k=1
(xk−µjk)2
• Caso simplificado 2→ Uj ∈ RN×N , diagonal igual:
N (x,µj,Uj) =1
(2π)N/2√
Nσ· e− 1
2σ2
N∑k=1
(xk−µjk)2
![Page 54: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/54.jpg)
Inteligencia Computacional - FICH - UNL
Anotaciones sobre gaussianas N-dimensionales
• Caso simplificado 1→ Uj ∈ RN×N , diagonal general:
N (x,µj,Uj) =1
(2π)N/2
√N∑
k=1σ2
jk
· e− 1
2
N∑k=1
(xk−µjk)2
σ2jk
• Forma general→ x,µj ∈ RN ,Uj ∈ RN×N :
N (x,µj,Uj) =1
(2π)N/2|Uj|1/2 · e− 1
2 [(x−µj)T U−1
j (x−µj)]
![Page 55: Redes neuronales con funciones de base radialinfofich.unl.edu.ar/upload/ce2a2991ae4737e318bf8fad81725509931d... · ¿Otra vez el problema XOR? x 1 x 2 1 +1 +1 1. Inteligencia Computacional](https://reader033.fdocuments.es/reader033/viewer/2022051407/5af52c6c7f8b9ae9488d1b0b/html5/thumbnails/55.jpg)
Inteligencia Computacional - FICH - UNL
Anotaciones sobre gaussianas N-dimensionales
• Caso simplificado 1→ Uj ∈ RN×N , diagonal general:
N (x,µj,Uj) =1
(2π)N/2
√N∑
k=1σ2
jk
· e− 1
2
N∑k=1
(xk−µjk)2
σ2jk
• Forma general→ x,µj ∈ RN ,Uj ∈ RN×N :
N (x,µj,Uj) =1
(2π)N/2|Uj|1/2 · e− 1
2 [(x−µj)T U−1
j (x−µj)]