Redes Neuronales Artificiales

Neurona

Recursos disponibles en computadoras y cerebro humano

Redes Neuronales Artificiales

Consisten en unidades de procesamiento densa-mente interconectadas , llamadas neuronas por su similaridad funcional con las neuronas biológi-cas. Las unidades de procesamiento reciben, pro-cesan y transmiten señales, tal como las neuronas biológicas.

Composición de las redes neuronales artificiales

Los nueve componentes principales del funcionamiento de las Redes Neuronales Artificiales son:

1) Un conjunto de unidades de procesamiento (neuronas);2) Un estado de activación (variable de estado);3) Una función de salida para cada unidad;4) Un conjunto de conexiones (patrón de conectividad);5) Un conjunto de reglas de propagación para propagar las señales de

salida a través de la RNA.6) Una regla de combinación;7) Una regla de activación;8) Una regla de modificación;9) Un ambiente en el cual opera la RNA.

1. Conjunto de unidades de procesamiento

Tres tipos de unidades:

•Unidades de entradas, reciben señales del ambiente•Unidades de salida, transmiten las señales fuera de la RNA•Unidades ocultas, sólo reciben señales de unidades que pertenecen a la RNA.

2. Estado de activación

Magnitud de la variable de estado de la unidad (por ej. 1 o 0)

Los valores de activación pueden ser discretos o contínuos, y limitados o ilimitados.

3. Función de salida

La señal de salida de una unidad varía con su activi-dad, de acuerdo con una función de salida, general-mente una función de saturación no lineal.

Diferentes funciones de salida

4. Conjunto de conexionesLas unidades de procesamiento están interconectadas. Con cada conexión se asocia un peso conocido como peso de conexión o peso sináptico. La magnitud de cada peso representa la eficiencia con la cual la señal de salida de una unidad es transmitida a la otra.Según el signo del peso las señales entrantes pueden ser excitatorias (+), inhibitorias(-), o nulas (0).

5. Conjunto de reglas de propagación

Una entrada en una unidad puede ser una versión en escala de la señal de salida recibida, pero también puede ser más compleja si, por ej., el peso sináptico es modulado por alguna señal de salida.

6. Regla de combinación

Necesaria para generar la entrada neta de las señales de salida pesadas o moduladas provistas por la regla de propagación.. En el caso de una simple suma de estas señales, la regla de combinación es del tipo simple; en cualquier otro caso se nombrará como del tipo complejo.

7. Regla de activación

Necesaria para combinar la señal de entrada con el estado actual. La regla de activación puede ser una ecuación diferencial con respecto al tiempo, en el caso contínuo, o una ecuación diferencia en el caso discreto. Además la regla de activación puede ser determinística o estocástica. En este último caso, se incluye una fuente de ruido para producir cierta incertidumbre sobre el estado presente de la unidad.

8. Regla de modificación

La modificación del funcionamiento de una RNA en función del tiempo requiere la modificación de patrones de conectividad con el tiempo, usando alguna regla de modificación.

9. Ambiente

Provee las señales a las unidades de entrada. Las señales de entrada pueden ser discretas o contínuas, constantes o dependientes del tiempo, y determinís-ticas o estocásticas.

Notación para la red neuronal(R & N)

Unidad neuronal

Unidades con función escalón para la función activación

Pueden actuar como puertas lógicas, dadoslos adecuados umbrales (t) y pesos (W).

Red hacia adelante de dos capas

Perceptrones

Perceptrones: algoritmo de aprendizaje

Wij nuevo = Wij viejo + Wij

2j

i si j o

j Wij =

0 en cualquier otro caso

ó Wij = (1 - j o

j ) j

i ó Wij = (

j - oj )

i

Velocidad de aprendizaje j Salida esperada de j

i Entrada desde i

o Salida obtenida de j

Separación lineal en perceptrones

Separación lineal en tres dimensiones

Representación de la función minoría

Red de HopfieldAsume lo siguiente:• Las variables de estado son binarias o graduadas.• Las funciones de salida usadas son tipo hard limiter o sigmoidea.• Las unidades de procesamiento estan ordenadas en una capa: todas las unidades realizan entrada y salida. Las conexiones dentro de la capa son recíprocas y simétricas; las conexiones recibidas de entradas externas son unidireccionales.• La regla de propagación es del tipo simple.• La regla de activación es discreta (red Hopf.binaria), o contínua (red de Hopfield graduada). Las reglas de propag. y de combinac. son del tipo simple.• El aprendizaje se da en un shot, los pesos de conexión son conocidos por el problema, no hay adaptación.• Las entradas externas son invariantes con el tiempo, y binarias o graduadas.

Perceptrón multicapaAsume lo siguiente:

• Las variables de estado son graduadas.• La función de salida usada es tipo sigmoidea.• Las unidades de procesamiento estan ordenadas en dos o tres capas. No hay conexiones dentro de una misma capa; las conexiones entre capas son unidireccionales.• La regla de propagación es del tipo simple.• La regla de activación es discreta. La actualización es síncrona dentro de cada capa y asíncrona de una capa a la otra.• El aprendizaje se da por minimización de una función error, el algoritmo de aprendizaje por retropropagación. La función error codifica información global. No hay adaptación.• Las entradas externas son graduadas y constantes.

Red hacia adelante de dos capas para el problema del restaurante

Algoritmo de retropropagación

Es utilizado para actualizar los pesos en una red multicapa.

Algoritmo de retropropagación1. Inicializar los pesos a valores pequeños al azar.

2. Elegir un patrón y aplicarlo a la capa de entrada.

3. Propagar la señal hacia delante por la red.

4. Computar los deltas de la capa de salida.

5. Computar los deltas de las capas previas propagando el error hacia atrás.

6. Actualizar todas las conexiones.

7. Volver al paso 2 y repetir con el patrón siguiente.

Superficie del error para la búsqueda de gradiente descendiente en el espacio de pesos

Máquina Boltzman

Asume lo siguiente:

• Las variables de estado son binarias.

•Las unidades de procesamiento estan ordenadas en capas.

• Las conexiones entre capas son recíprocas y simétricas.

• Las reglas de activación y de aprendizaje son estocásticas.

Ref. Ackley, 1985; Hinton y Sejnowski, 1986.

Operaciones básicas•Asociación

- Autoasociación: los conjuntos de patrones de entrada y de salida son idénticos- Heteroasociación: los patrones de salida difieren de los de entrada.

•Descubrimiento de regularidad.Aplicable cuando la estrategia de aprendizaje es

no supervisada.

Aprendizaje supervisadoLos pesos de las conexiones se ajustan de manera

tal que se reduzcan las discrepancias entre la salida real y la deseada, para todos los pares entrada/salida del conjunto de entrenamiento.

Estructuras de representación• Codificación de velocidad

- La información es representada por la actividad de las unidades de procesamiento de la red: para cada patron de entrada corresponde un patrón de actividad en la RNA.

• Codificación por grafo

- Las unidades de procesamiento corresponden a nodos y las conexiones se corresponden con arcos.- Los patrones de entrada y patrones de referencia se representan como dos grafos separados.

Redes Neuronales de retropropagación

Las neuronas artificiales reciben, procesan y comunican actividades y debido a esto, sus estados cambian con el tiempo. La red es enfrentada a un patrón de entrada y, gracias a enlaces que realimentan a la red, va actualizan-do su estado. Las redes neuronales artificiales analógicas son usadas en la resolución de problemas de optimización.