Características de las Redes Neuronales

Enero 2000 ESCOM I P N 1

Características Características de las Redes de las Redes NeuronalesNeuronales

http://www.escom.ipn.mx/


Características de lasCaracterísticas de lasRedes NeuronalesRedes Neuronales

• Elementos de una RN• Estructuras de RNA• Arquitectura de RNA• Mecanismos de

Aprendizaje• Asociación entre la

información de entrada/salida



Elementos de una Elementos de una red neuronal red neuronal

artificial.artificial.



Elementos de una Red Elementos de una Red Neuronal ArtificialNeuronal Artificial

TIPOS DE NEURONAS

Neuronas de entrada

Unidades ocultas

Neuronas de salida



Estructuras de redes Estructuras de redes neuronales artificiales.neuronales artificiales.



Estructura de una RNAEstructura de una RNA

• Unidades de proces amiento

• Es tado de activac ión

• Patrón de conectividad

• Regla de propagac ión

• Función de trans ferenc ia

• Regla de activac ión

• Regla de aprendizaje

Microestructura



Unidades de procesoUnidades de proceso



Estado de ActivaciónEstado de Activación

Todas las neuronas tienen 2 posibles estados de activación

• Reposo

• Exitado

• pueden ser continuos o discretos



Función de Transferencia Función de Transferencia • Cambia el estado de activación a una

señal de salida

• Existen 4 funciones de transferencia

Función escalon

Función lineal y mixta

Función sigmoidal

Función gaussiana



Eje mplos de Funcione s de Eje mplos de Funcione s de Trans fe re nciaTrans fe re ncia



Funciones de TransferenciaFunciones de Transferenciaen Escalón en Escalón



Funciones de Transferencia Funciones de Transferencia linealeslineales



Funciones de Transferencia Funciones de Transferencia sigmoidalessigmoidales



Conexiones entre Conexiones entre NeuronasNeuronas

• Cada neurona tiene asociado un peso

• Cada conexión entre neuronas esta

ponderada por un peso

• Reglas de propagación

• Se utilizan matrices con los pesos de cada

neurona



Regla de Propagación

)(;1

∑=

+=N

i

bWijPiFa

Donde:

a: Es la salida de la red.

Wij. Es la matriz de pesos.

Pi. Es el patrón de entrada.

B: Es el umbral de activación.

F: es la funcion de transferencia


http://www.ipn.mx/


Regla de aprendizajeRegla de aprendizaje

La modificación del comportamiento inducido por la interacción de con el entorno y como resultado de experiencias conducente al establecimiento de nuevos modelos de respuesta a estímulos externos.

* El conocimiento representado en los pesos



Arquitectura de las Arquitectura de las Redes NeuronalesRedes Neuronales

• Los parámetros fundamentales de Los parámetros fundamentales de la red son:la red son:– Número de capasNúmero de capas

– Número de neuronas por capaNúmero de neuronas por capa– Grado de conectividadGrado de conectividad– Tipo de conexiones entre neuronasTipo de conexiones entre neuronas



Red MulticapaRed Multicapa


Re de sMonocapa:Re de sMonocapa:

l1 lnl2

Las redes monocapa se utilizan típicamente en Las redes monocapa se utilizan típicamente en en tareas relacionadas en lo que se conoce comoen tareas relacionadas en lo que se conoce comoautoasociación: por ejemplo, para regenerar autoasociación: por ejemplo, para regenerar informaciones de entrada que se presentan a lainformaciones de entrada que se presentan a lared incompletas o distorsionadasred incompletas o distorsionadas..

P/ejemplo Hopfield, BSB, Learnig Matrix



Re de s Multicapa:Re de s Multicapa: Redes con conexiones hacia delante (feedforward)Redes con conexiones hacia delante (feedforward)

Este tipo de redes son especialmente Este tipo de redes son especialmente útiles en aplicaciones de útiles en aplicaciones de reconocimiento o clasificación dereconocimiento o clasificación depatrones.patrones.

En este tipo de redes, todas las señales neuronalesEn este tipo de redes, todas las señales neuronalesse propagan hacia adelante a través de las capas dese propagan hacia adelante a través de las capas dela red. No existen conexiones hacia atrás y normal-la red. No existen conexiones hacia atrás y normal-mente tampoco autorrecurrentes, ni laterales.mente tampoco autorrecurrentes, ni laterales.



Redes con conexiones Redes con conexiones hacia adelante y hacia atráshacia adelante y hacia atrás (feedforward / feedback): (feedforward / feedback):

En este tipo de redes En este tipo de redes circula información tanto circula información tanto hacia adelante como hacia hacia adelante como hacia atrás durante el atrás durante el funcionamiento de la red. funcionamiento de la red. Para que esto sea posible, Para que esto sea posible, existen conexionesexisten conexionesfeedforward feedforward y conexiones y conexiones feedbackfeedback entre las neuronas. entre las neuronas.

P/ ejemplo:

ART, BAM, CABAM.



También existen algunas que tienen conexiones laterales entre neuronas de la misma capa. Estas conexiones se diseñan como excitadores (con peso positivo) o inhibidoras (con peso negativo), estableciendose una competencia entre las neuronas correspondientes.

Redes con conexiones hacia adelante y Redes con conexiones hacia adelante y hacia atráshacia atrás

(feedforward / feedback) (feedforward / feedback)



Topologías de redes neuronales.



Re de s de una sola Re de s de una sola capa Fe e dforward capa Fe e dforward



Re de s de una sola Re de s de una sola capa Fe e dforwardcapa Fe e dforward

• Las unidades de entrada son fijadas y entonces la activación es propagada atraves de la red hasta que los valores de las unidades de salida son determinadas.

• La red actua como un vector de un funcion valuada tomando un vector enla entrada y regresando otro vector en la salida.

• Por ejemplo, las entradas pudieran representar las caracteristicas de un miembro de un grupo y la salida pudiera ser la prediccion de el grupo al cual pertenece dicha persona.



Re de s Multicapa Re de s Multicapa Fe e dforward Fe e dforward



Re de s Multicapa Re de s Multicapa Fe e dforward Fe e dforward

• Algunos problemas no se pueden solucionar con una red de unana capa, entonces una capa extra debe agregarse.

• La capa oculta permite a la red crear su propia representación de las entradas.

• Dadas sufientes unidades ocultas de la clase correcta es posible aproximar cercanamente arbitraria casi cualquiera. (Universal Approximation Theorem).



Redes Competitivas Redes Competitivas



Redes CompetitivasRedes Competitivas• Las redes competitivas son similares a las

feedforward simples, excepto que las competitivas tienen conexiones usualmente negativas entre los nodos de salida.

• Debido a las conexiones anteriores lateraoles en los nodos de salida, estas tienden a competir para representar el patron de entrada actual.

• Las redes de esta clase ha sido usada para explicar la formación de mapas topologicos que ocurren en muchos sistemas sensoriales humanos incluidos la vision, audicion, tacto y gusto y olfato.



Red completamente Red completamente RecurrenteRecurrente



Red completamente Red completamente RecurrenteRecurrente

• Un conjunto de patrones es instantiated en las unidades una al vez. Como cada patron es instantiated los pesos son modificados.

• Una version degrada de uno de los patrones se presenta en la red para intentar reconstruir el patron.



Otra Red RecurrenteOtra Red Recurrente



La Otra Red RecurrenteLa Otra Red Recurrente

• Debido a que procesamiento en redes recurrentes depende del estado de la red en el ultimp paso que tuvo lugar para responder a la entrada actual en diferentes formas, dependiendo de las entradas previas.

• Por ejemplo Simple Recurrent Network (Elman) and the Jordan Network



Red Recurrente SimpleRed Recurrente Simple



Dudas ???Dudas ???


Características de las Redes Neuronales

Education

Transcript of Características de las Redes Neuronales