Unidad VII Redes Neuronales -...

Unidad VII Redes Neuronales

Maestría en Sistemas ComputacionalesClave: MPSCO-0108 6 Créditos

Sesiones Sábados 10-13

Rafael Vázquez Pérez

sábado 29 de noviembre de 14

7.1 Introducción a las Redes Neurales (ANN)7.2 Tipos de ANN7.3 Aplicaciones7.4 Implementación

Agenda


Introducción• Durante varias décadas los científicos han perseguido la construcción de

algoritmos capaces de procesar información al igual que el cerebro humano

• En la actualidad existe un gran número de estructuras diferentes de redes de neuronas artificiales.

• Se caracterizan porque gozan de propiedades como la capacidad de aprendizaje a partir de ejemplos

• Las redes de neuronas se utilicen para abordar problemas de: Aproximación, Predicción, Clasificación, Agrupación

• Se aplican a áreas como:

• reconocimiento de patrones (imagen, voz, caracteres)

• compresión y análisis de datos

• robótica

• medicina

• ....


¿Qué es una Red Neuronal artificial (ANN)?• Es un Modelo Matemático-Informático de

cómo procesan la información las neuronas biológicas.


Neurofisiología Elemental

• Es importante conocer los conceptos básicos que nos permitan una mejor comprensión del estudio de las bases neurales de la cognición


El Cerebro Humano

• Parte del sistema nervioso central

• Contiene cerca de 1010 neuronas

• La neurona es la célula activa de la función cerebral

• Cada neurona se activa aproximadamente cada 5 ms

• Cada neurona se conecta aproximadamente con otras 104 neuronas

• Dando un total de 1014 conexiones


Neurona Biológica


Partes principales de una Neurona

• Sinapsis

• Espacio adyacente entre las neuronas cuyas señales químicas son transmitidas

• Dendritas

• Contactos sinapticos que reciben información de otras neuronas: ENTRADA

• Cuerpo de la célula o soma

• Centro metabólico de la neurona: PROCESO

• Axón

• Es la extensión del cuerpo de la neurona: SALIDA


Procesamiento Neural


K+

K+

K+

K+

Axón Dendrita

NeuroTransmisores- Acetilcolina

- Norepinefrina- Dopamina- Serotonina

Sinapsis


30 mv

K+

K+

K+

K+

Axón Dendrita



Sinapsis


30 mv

K+

K+

K+

K+

Axón Dendrita



Na-

Sinapsis


30 mv

K+

K+

K+

K+

Axón Dendrita



Na-

Sinapsis

Na-


30 mv

K+

K+

K+

K+

Axón Dendrita



Na-

Sinapsis

Na-

Na-


30 mv

K+

K+

K+

K+

Axón Dendrita



Na-

Sinapsis

Na-

Na-

Na-


Abstracción

Oposición o

Facilidad

Salida de otraneurona

Entrada

Neurona


wk1 x1

Input Signals

wk2 x2

wkm xm

Φ(.) Σ Output

yk

Bias wk0

Synaptic Weights

Summing Junction

Activation Function

Primer Modelo de la Neurona Artificial


wk1 x1

Input Signals

wk2 x2

wkm xm

Φ(.) Σ Output

yk

Bias wk0

Synaptic Weights

Summing Junction

Activation Function

Análisis del modelo de la neurona artificial

Conección fuerte: Pesos SinápticosPesos de cada entradaExcitatoria: pesos positivosInhibitoria: pesos negativos

Suma:Procesamiento metabólicode las entradas

Threshold: función de activaciónLa suma de los pesos exceden al

umbral? La señal de salida 0 no se dispara, 1 disparo


¿ Porque una red Neuronal ?

• Inspiración Biológica

• Para resolver problemas donde se requiere tener un beneficio de usar una computadora pero donde es impráctico programar la respuesta para todas las posibles salida (knowledge engineering bottleneck)

• Tolerancia al ruido

• Principios del aprendizaje de maquina


Ventajas de las ANN

• Aprendizaje adaptativo (entrenamiento)

• Auto organización (auto organizan la información)

• Tolerancia a Fallos (destrucción parcial de la red)

• Operación en tiempo real (calculo en paralelo)

• Fácil inserción dentro de la tecnología existente


Aplicaciones de las ANN

• Biología

• Aprender mas acerca del cerebro

• Obtención de modelos de la retina



• Empresa

• Identificación de Candidatos para posiciones especificas

• Explotación de bases de datos

• Optimización de plazas y horarios en lineas aéreas

• Reconocimiento de Caracteres Escritos



• Medio Ambiente

• Analizar Tendencias y Patrones

• Previsión del Tiempo



• Finanzas

• Previsión de la evolución de los precios

• Valoración del riesgo de los créditos

• Identificación de Falsificaciones

• Interpretación de Firmas



• Manufactura

• Sistemas de visión artificial

• Control de producción en lineas de proceso

• Inspección de la calidad



• Medicina

• Analizadores del Habla para la ayuda de audición de sordos

• Diagnósticos y tratamiento a partir de síntomas y/o datos analíticos (electrocardiogramas, Encefalogramas, análisis sanguíneos)

• Predicción de reacciones Adversas a los medicamentos

• Lectores de rayos X



• Clasificación de Patrones

• Reconstrucción de Patrones


Elemento básico: La Neurona Artificial

wk1 x1

wk2 x2

wkm xm

Σ Φ(.)

Output

yk

Synaptic Weights

Summing Junction

Activation Function

wk0

wk0 Bias

Input Signals



• Entradas x1, x2, …, xm

• Codifica la entrada a la red neural

• Bias wk0

• Codifica el valor del umbral

• Equivale a una entrada constante x0 = 1

• Pesos de conexión/ sinapsis

• Conexión fuerte a la entrada de la neurona.

• Negativo es inhibitorio

• Positivo es excitatorio



• Suma(entrada total)

• Adición acumulativa

• Sin tomar en cuenta el bias

• Función de Activación

• Usa la entrada total para determinar cuando se debe disparar la neurona (threshold)

• Salida

• Salida de la función de activación

∑=

+=m

jjkjkk xwxwv

100

∑=

=m

jjkjk xwv

0

( )kk vy ϕ=


Funciones de Activación

• Umbral Fuerte• Binario: salidas 0 o 1• Bipolar: salidas –1 o 1• función Heaviside / Step / Signum o

Piecewise-linear


Funcion Heaviside( )

!"

!#$

<

≥=

0 if0

0 if1

v

vvϕBinaria Bipolar ( )

!!"

!!#

$

<−

=

>

=

0 if1

0 if0

0 if1

v

v

v

vϕ


Función Sigmoide

( ) avev

−+=11

ϕ

Binary


Función Tangente Hiperbólica

( ) ( )

avav

avav

eeeeavv

−

−

+

−=

= tanhϕ

Bipolar


Ejemplo básico

wk1 x1

wk2 x2

wkm xm

Σ Φ(.)

Output

yk

Synaptic Weights

Summing Junction

Activation Function

wk0 Bias

Tenemos una Neurona de 2 entradas , con valor de umbral x0=1 y el peso w0=1

Los pesos w1=1.14 y w2= 0.45

La función de activación será Heaviside binaria

Debemos calcular la salida

Para una entrada X1=2 y X2= 5.2


Solución• Paso 1, Calcular la entrada Neta ∑ (en mucha

literatura le llaman NET)

• NET = x0w0+x1w1+x2w2

• NET=(1)(1)+(2)(1.14)+(5.2)(0.45)

• NET= 5.62

∑=

+=m

jjkjkk xwxwv

100

∑=

=m

jjkjk xwv

0

( )kk vy ϕ=


Solución

• Paso 2 Calcular la salida en base a la función de activación

• NET=V

• Salida = 1

( )!"

!#$

<

≥=

0 if0

0 if1

v

vvϕBinaria Bipolar


Modelo Computacional ANN

• Una red de neuronas artificiales viene determinada por

• Conjunto de unidades de proceso o neuronas artificiales

• Conexiones entre las unidades

• Regla de propagación, para emitir señales a través de las conexiones

• Regla de aprendizaje para modificar los pesos de las conexiones

• Se necesita un conjunto de ejemplos (muestras, datos, patrones) que representen el problema, a partir del cual se realiza el aprendizaje


Modelo Computacional ANN• Arquitectura de la red: Distribución de las neuronas y conexión

entre ellas• La estructura básica: Red multicapa• Capa de entrada, Capas ocultas y Capa de salida • Propagación de la señal hacia delante • El valor de la señal se modifica según el peso de la conexión • Los pesos se ajustan en la fase de aprendizaje


Interconexión de los elementos básicos

•  I1 O1

•  I2 O2

•  Im Om

•  Nivel de Niveles Nivel de •  Entrada Ocultos Salida


Capas• La distribución de neuronas dentro de la red se realiza formando

niveles o capas de un numero determinado de neuronas cada una.

• Se pueden distinguir 3 tipos de capas:

• De entrada.- Es la capa que recibe directamente la información proveniente de las fuentes externas a la red

• Ocultas: Son internas a la red y no tienen contacto directo con el entorno exterior. El numero de niveles ocultos puede estar entre cero y un numero elevado.

• Las neuronas de las capas ocultas pueden estar interconectadas de distintas maneras, lo que determina junto con su numero, las distintas tipologías de redes neuronales.

• De Salida.- Transfieren Información de la red hacia el exterior.


Clasificación de la redes entérminos topologicos• Redes de una Sola Capa o nivel de

neuronas.

• Redes de capas multiples (2 o 3) o Multicapas


Redes Monocapa

• Ejemplos tipicos son HOPFIELD y BRAIN-STATE-IN-BOX

• Conexiones laterales entre las neuronas que pertenecen a la unica capa que constituyen la red


Redes Multicapa

• Las redes multicapa son aquellas que disponen de conjuntos de neuronas agrupadas en varios (2 o 3) niveles o capas

• En estos casos, una forma para distinguir la capa a la que pertenece una neurona, consistiría en fijarse en el origen de las señales que recibe a la entrada y el destino de la señal de salida.


Redes Multicapa

• Ejemplos Típicos

• Adaline

• Perceptrón

• LVQ

• BAM

• BOLTZMAN

• Back-propagation


Software para implementación

• Típicos

• Matlab, Scilab (para entrenamiento y Ejecución)

• Herramientas Case

• Neuralworks, Predictdemo (instalación como complementos de excel) (para entrenamiento y ejecución)

• Lenguajes de Programación con fuerte soporte numérico


Modelo Típico orientado al software Matlab o Scilab


Aprendizaje• El proceso de aprendizaje consiste en

• Introducir paulatinamente todos los ejemplos de aprendizaje

• Modificar los pesos siguiendo una ley o ecuación de aprendizaje

• Cuando se han introducido todos, se comprueba si se cumple cierto criterio de convergencia. Si no se cumple, se repite el proceso.


Datos sobre flores de irisLongitud

delSépalo

Anchodel Sépalo

Longituddel

Pétalo

Anchodel

PétaloEspecie

5.1 3.5 1.4 0.2 Setosa

7.0 3.2 4.7 1.4 Versicolor

6.3 3.3 6.0 2.5 Virginica

6.4 3.2 4.5 1.5 Versicolor


Unidad VII Redes Neuronales -...

Documents

Transcript of Unidad VII Redes Neuronales -...