Redes Neuronales, Conceptos Generales

7/17/2019 Redes Neuronales, Conceptos Generales

http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 1/33

Redes Neuronales



Problemas del mundo real

1. Disponibilidad de un algoritmo eficiente y no demasiado complejo

2. Disponibilidad de Conocimientos Explícitos

Conjunto de Reglas Pueden ser inciertas e imprecisasDatos presentes Pueden ser inciertos e imprecisos

3. Disponibilidad de Datos Históricos

Conjuntos de Ejemplos Pueden ser inciertos e imprecisosDatos presentes Pueden ser inciertos e imprecisos

4. Disponibilidad de un Criterio de Bondad de Soluciones

Conjunto de soluciones candidatas

Criterio de Bondad de soluciones

5. Disponibilidad de un Criterio de Bondad de Programas

Conjunto de programas candidatosCriterio de Bondad de programas

6. Combinaciones de las anteriores



Sistemas inteligentes

Son Sistemas que presentan, entre otras, tres características esenciales:

♦ Capacidad de razonar, para obtener conclusiones y, de ahí, tomar sus propias decisiones

♦ Capacidad de aprender, para adaptarse al entorno

♦ Capacidad de interactuar con otros Sistemas Inteligentes, mediante lacomunicación y el entendimiento



Clasificación de los Sistemas Inteligentes Artificiales

•• Sistemas Basados en el Conocimiento: Capacidad natural de Razonamiento Requieren disponibilidad de conocimientos Aprendizaje Programado

♦♦ Inteligencia Artificial Tradicional Sistemas Expertos TradicionalesRazonamiento Bivaluado Otras Aplicaciones

Procesamiento Simbólico

♦♦ Sistemas Borrosos Sistemas Expertos Borrosos

Razonamiento Borroso Sistemas de Control

Procesamiento Numérico

•• SISTEMAS NEURONALES Capacidad natural de AprendizajeRequieren disponibilidad de datos históricos Por Entrenamiento y Operación


•• Sistemas Evolutivos Capacidad Natural de AprendizajeRequieren disponibilidad de un criterio de bondad por Evolución

de posibles soluciones o de posibles programas




Redes Neuronales Artificiales

Simulación abstracta de los sistemas nerviosos biológicos, formados por un conjunto de unidades llamadas "neuronas" o "nodos" conectadas unas

con otras. Estas conexiones tienen una gran semejanza con las dendritas

y los axones en los sistemas nerviosos biológicos.

Clasificación de los modelos de neuronas artificiales

1. Los modelos de tipo biológico.

2.

El modelo dirigido a aplicación.



Redes Neuronales de tipo Biológico

•

El cerebro humano contiene más de cien mil millones (1011) de neuronasy sinapsis en el sistema nervioso humano.

• Las neuronas y las conexiones entre ellas (sinapsis) constituyen la clave

para el procesado de la información.

• Las neuronas tienen una conectividad miles de veces superior que las

actuales supercomputadoras.

• Las tres partes en una neurona son: el cuerpo de la neurona, las ramas de

extensión llamadas dendritas para recibir las entradas, y el axón que

lleva la salida de la neurona a las dendritas de otras neuronas.



La neurona biológica

•• Soma: cuerpo de la neurona

•• Dendritas: filetes finos constituyendo las entradas a la neurona

•• Axon: filete grueso de salida

•• Sinapsis: conexiones entre el axon de una neurona con dendritas de otras.



Modelo general de neurona artificial

Donde: f p : función de propagación

f a : función de activaciónf s : función de salida

Usualmente:

))),((( ii w I fp fa fsO =

identidad función: fs

0

1

w I w fpi

n

i

i +=∑

=



Funciones activación

<≥=

0 x si0 x si

x fa01

)(

<−≥=

0 x si0 x si

x fa1

1)(

)sgn()( x x fa =

xe x fa

−+=

1

1)(



Neurocomputación

El modelo discreto de neurona artificial permite aproximar (aprender)cualquier función booleana que permita la separación lineal de las clases desalida, en particular las funciones OR, AND y NOT.

• Conexiones adecuadas de neuronas permiten aproximar cualquier

función booleana.

• Permite desarrollar una Neurocomputación.



Primeros modelos de redes neuronales

McCulloch y Pitts (1940) sugirieron la descripción de una neuronacomo un elemento lógico con umbral, con dos posibles estados, o sea

aplicando un modelo computacional binario de la actividad nerviosa.

Los canales de entrada a los mismos se denominaron axones de

aferentes y los de salida, axones emergentes.

Modelos posteriores: John von Neumann, Marvin Minsky, Frank

Rosenblatt, ...



Teoría de McCulloch y Pitts

Estado del elemento: combinación lineal de todas las señales de entradaxi y se compara esta suma con el valor del umbral.

Excitación de una neurona: representada en este modelo con valores 0

y 1 para la actividad del canal de salida.

Entradas excitatorias e inhibitorias provenientes de la neurona i, están

modeladas por pesos sinápticos: wi = ±1

Estado de activación de la neurona i, está dado por el valor de ai.

La señal y de salida de una neurona está dada por:

y = θ(i

∑ wi . ai - s)

(donde θ es la Función de Heaviside, o sea: θ(x) = 1 para x ≥ 0 , θ(x) = 0 para x < 0s = valor umbral)



McCulloch y Pitts

•

Demuestran que cualquier función lógica puede construirse con

una combinación apropiada de elementos. (Compuertas AND y NOT)

• Falencias importantes:

1. No explicó cómo podían formarse las interconexiones

necesarias entre neuronas, en particular, cómo podía ocurrir elaprendizaje.

2. Estas redes dependían del funcionamiento libre de error de

todas sus componentes y no presentaban la tolerancia a errores delas redes neuronales biológicas.



El psicólogo Hebb (1949)

•

La conexión entre dos neuronas es plástica y cambia proporcionalmente a la correlación de actividad entre la célula

presináptica y la postsináptica.

Formulación matemática:∆wi = lrate . y(x) . ai

para el cambio de pesos sinápticos wi (i = 1, 2, ..., n) de una neuronareceptora de una entrada a = (a1, a2, ..., an)

T cuando ai es la entrada de la

i-ésima sinapsis. El valor de y(x) denota el estado de activación de la

neurona y lrate > 0 es un parámetro de medida del tamaño de un paso

simple de aprendizaje que comúnmente se denomina: razón deaprendizaje.

Las cantidades y(x) y wi también pueden considerarse continuas.



Marvin Minsky (1967)

• Analiza el comportamiento de las redes neuronales y su capacidad

en comparación con los autómatas finitos.

• Será necesario conocer:

- Descripción de un autómata.- Estado inicial o condición inicial.

- Descripción de las señales que le llegan del entorno.

• El tiempo que ocurren sólo en momentos discretos.

•

Una máquina puede mirarse como una caja negra con canales de

entrada y de salida.

• El número de estados posibles es finito.



E

M

estímulo S(t) = si

salida: R(t) = r j

Conceptos importantes:

• historia del sistema• historias equivalentes



Equivalencia de Redes Neuronales con Máquinas de Estados Finitos

en general

Teorema: Cada máquina de estados finitos es equivalente y puede ser

simulada por una red neuronal.

Observaciones McCulloch y Pitts:

1. La descripción de estados previos no puede estar completamentedeterminada por la descripción del estado presente.

2. La actividad cíclica hace imposible determinar exactamente cuándo, en el pasado, el estímulo inicial existió.



Frank Rosenblatt (1958)

• Uno de los primeros modelos de red neuronal: perceptrón

Zona sensorial Zona de asociación Zona de respuesta(S) (A) (R)

(Capa de entrada) (Capa de salida)



Problema del XOR.

x1

w1

f

w2

x2

1 si u ≥ θf( u ) =

0 si u < θ

Activación del nodo de salida:u = w1 x1 + w2 x2



Regla de Hebb

•

El aprendizaje ocurre en el sistema nervioso por refuerzo de las conexionesentre dos neuronas que se activan en el mismo tiempo.

∆wij = lrate . a i a j

donde: lrate = tasa de aprendizaje.ai = estado de activación de la neurona i.a j = estado de activación de la neurona j.

∆wij = incremento de peso de la conexión entre las neuronas i y j.

ai = wij j a j∑



Regla Delta

• Variante de la regla de Hebb, pues mantiene la intuición básica de que cadacambio en el peso de la conexión ente dos neuronas depende de qué está

pasando entre las neuronas involucradas.

• La red recibe un patrón de entrada, genera el patrón de salida actual usando los pesos existentes (este paso es omitido por Hebb), compara este con el patrónde salida deseado y cambia cada peso basado en la diferencia de cada unidad

de salida.

• Es un ejemplo de aprendizaje supervisado.

•

Error para el patrón de salida entero: pss (pattern sum of squares)

pss = ( )d au uu

−∑ 2

• Cada peso de la red se modifica según la relación:

∆wij = lrate . (di - ai ) a j



Redes multicapa

• Soluciona las limitaciones del perceptrón.

• Inserta unidades escondidas entre las de entrada y las de salida.

•

La regla delta generalizada la propagación de la medida del error que escalculado en las unidades de salida hacia atrás en la red, por ejemplo por

backpropagation.



Solucionando el problema del XOR

)(y 012121111 w xw xw fa ++=

)(y 022221212 w xw xw fa ++=

)w yw yw fa y3 03232131( ++=



Back-error-propagation

Para una red de tres capas i, j, k:

La función de activación debe ser continua

Fase forward:

Un patrón de entrada es presentado, calculándose todos los valores de activación hasta las salidas

Fase backward:

A partir de los valores de activación calculados y los valores deseados en las salidas, se actualizantodos los pesos de acuerdo a las fórmulas anteriores

n

k

n

jl

n

kj uk w δ=∆n

k k

n

k a

n

k ud u f )()(

'

−=δ

n

j

n

il

n

ji uk w δ=∆

∑= k

n

k

n

kj

n

ja

n

j wu f δδ )(

'



BACK-ERROR-PROPAGATION

Ejemplo de cálculo

)))(('))((')((' 323232122

313131112

2111111 ud u f wud u f wu f uw −+−=∆ η

3121112 δηuw =∆

3122212 δηuw =∆ ))((' 31313131

ud u f −=δ

3222222 δηuw =∆

3221122 δηuw =∆

))((' 32122

31112

2121 δδδ wwu f +=

))((' 32323232 ud u f −=δ

2111111 δηuw =∆

Finalmente:



Arquitecturas neuronales

Feedforward

Recurrenteu1

(estado 1)

u2

(estado 1)

u3

(estado -1)

u4

(estado 1)

Estado de la red:

u = (1,1,-1,1)



Propiedad de las redes neuronales no realimentadas

(∀f)(∃ Arq)(∃ W)(O j = f(I1, ...,Ii, ... In)

•• Modelos Discretos

Para ciertas arquitecturas y condiciones, son un aproximador universal de funciones

booleanas

•• Modelos Continuos

Para ciertas arquitecturas y condiciones, son un aproximador universal de funciones

reales



Características principales de los sistemas neuronales

♦ Alto grado de Procesamiento Paralelo

♦ Aprendizaje Off-Line y On-Line

♦♦ Generalización: De nuevos ejemplos que difieran de los conocidos,

pueden producir la mejor salida acorde con éstos

♦ Robustez: Pueden continuar operando bien con daños parciales

♦ Autoorganización: Pueden automodificarse para el cumplimiento de

ciertos objetivos



Aprendizaje neuronal

• Tiene como objetivo la obtención de una matriz de pesos W adecuada paraalcanzar el comportamiento deseado de la red

• Para el cumplimiento de dicho objetivo utiliza un algoritmo de

aprendizaje que, en el caso del aprendizaje programado, se reduce a uncálculo

• En el aprendizaje off-line, existen dos etapas o fases: Fase de

Entrenamiento y Fase de Verificación

• En el aprendizaje on-line, el aprendizaje continúa durante la Fase de

Operación



Formas de aprendizaje neuronal

• Por Programación Off-Line (1)

W se obtiene por cálculo

Fase de cálculo

• Por Entrenamiento Off-Line

W se obtiene por un algoritmo

Fase de entrenamiento y Fase de Verificacián

♦ Supervisado

- Por Maestro Por Corrección de Errores (2) Para por: error dado

y/o verificación

y/o número de iteraciones

- Por Crítico Por Refuerzo (3)

♦ No Supervisado Para por: verificación (4)

y/o número de iteraciones

- Hebbiano Inspiración biológica

• Por Operación On-Line (5)

El aprendizaje se realiza operando,

con cada nueva información



Propiedad global de los sistemas neuronales

Pattern mapping

Percepción y Categorización

♦♦ Clasificación de Patrones Reconocimiento de Patrones (1)

- Aprendizaje Supervisado

- Memoria Heteroasociativa

Clustering (2)

- Aprendizaje No Supervisado

- Memoria Heteroasociativa

♦♦Completamiento de Patrones (3)

- Aprendizaje Programado

- Memoria Autoasociativa



Clustering

Un cluster está constituido por un conjunto de patrones similares

Si hay n propiedades para describir los patrones, un cluster puede ser definidocomo una región en un espacio n-dimensional , conteniendo una relativamente

alta densidad de puntos , separada de otras regiones, por regiones conteniendouna relativamente baja densidad de puntos

La identificación de cuántos y cuáles clusters existen en un conjunto de datos,exige definir una medida de similaridad



Condiciones de parada

•• Por Verificación

El entrenamiento para cuando se verifican todos los patronesutilizados

•• Por Máximo Número de Iteraciones

Redes Neuronales, Conceptos Generales

Documents

Transcript of Redes Neuronales, Conceptos Generales