Lección 6 Redes Neuronales Artificiales

Curso Básico Curso Aproximación al estudio de célula mínima desde la Biología de Sistemas Montevideo 6-10 diciembre 2010 Federico Morán Departamento de Bioqímica y Biología Molecular Universidad Complutense madrid, España

Algunos enlaces de interés

•  http://www.gc.ssr.upm.es/inves/neural/ann2/anntutor.htm

•  http://www.ee.umd.edu/medlab/neural/nn1.html

•  http://math.chtf.stuba.sk/Books_texts_ANN.htm

2

3

La neurona biológica

4

Las neuronas son células vivas

5 Diferentes morfologías de neuronas

De neuronas naturales a artificiales

6

7

Neurona formal (McCulloch-Pitts, 1943)

Binaria:

I j = wij xi !i"

y j =0 si I j < !1 si I j " !# $ %

x1

x2

xn

…

yj f

w1j w2j

wnj

Valores reales:

I j = wij xii! "# $

y j = f (I j ) siendo f

función escalónsigmoidegaussiana

...

!

" # #

$ # #

8

Stanislaw Ulam

Sistemas dinámicos discretos capaces de describir sistemas dinámicos continuos

Toffoli T. (1984) Cellular automata as an alternative (rather than an approximation of) differential equations in modeling physics. Physica 10, 117- 127 Vichiniac G.Y. (1984) Simulating physics with cellular automata Physica 10D, 96-116 http//:www.wolfram.com/articles

John von Neumann

John Horton Conway

DISCRETO: “Que las propiedades, el espacio y el tiempo del autómata tienen un número de estados finitos”

Los autómatas celulares son una alternativa a los sistemas de ecuaciones diferenciales parciales

• Células • Rejilla

• Estados • Reglas de transición • Condiciones de contorno • Vecindad

Autómatas celulares

9

Neurona formal vs. autómata celular

x2

x3

x s

x1

x4

s(t +1) = f ({xi(t)},s(t))x(t +1) = g({xi(t)},s(t))

! " #

y j =0 si wij xi

i! "# < 0

1 si wij xii! "# $ 0

% & '

( '

x1

x2

xn

… yj

f

w1j w2j

wnj

Θ

10

Historia de las Redes Neuronales Artificiales (Primera Epoca)

AÑO AUTORES CONTRIBUCIÓN

1943 W. McCulloch, W. Pitts Neurona formal 1949 Donald Hebb Aprendizaje hebbiano 1950 N. Wiener Cybernetics 1951 y 56 J. von Neuman Automata y computacion neuronal.

Redundancia

1951 M. Minsky Neurocomputer 1957 y 62 F. Rosenblatt Regla delta y Perceptron 1962 B. Widraw ADALINE 1963 Winograd y Cowan Proceso distribuido 1969 M. Minsky y S. Papert Critica al perceptron

11

Perceptrón

12

Aprendizaje

• Supervisado: se conoce la respuesta esperada y se puede evaluar el grado de acierto

– Refuerzo positivo/negativo – Cálculo del error (regla delta)

• No supervisado: no se conoce si la respuesta es acertada o no; no se conoce el tipo de respuesta (clasificación)

– Autoorganizado – Hebbiano

13

Primeras redes adaptativas: El perceptrón original (Rosemblatt, 1959)

x1

x2

xn

… yj

f

w1j w2j

wnj

Θ

y j =!1 si wij xi

i" !# < 0

+1 si wij xii" !# $ 0

% & '

( '

Primera regla de aprendizaje (Rosemblatt): wij(nuevo) = wij(viejo) + β yj xi β es la constante de refuerzo (“critico”)

!1 respuesta incorrecta+1 respuesta correcta{

Procedimiento: - Se presenta la muestra en veces sucesivas - Se van modificando los pesos en cada paso hasta llegar a una situación estacionaria - El estado final depende de los valores iniciales de los pesos (mínimos locales)

Otras reglas de aprendizaje: • Tipo Hebb: β=0 • Convergente

! = signo(y j x i ) respuesta incorrecta0 respuesta correcta{

14

Primeras redes adaptativas: regla delta

x1

x2

xn

… yj f

w1j w2j

wnj

Θ

tj (respuesta deseada)

y j =0 si wij xi

i! "# < 0

1 si wij xii! "# $ 0

% & '

( '

wij (nuevo) = wij (viejo) + !(t j " y j )xi

! : constante aprendizaje (0 < ! " 1)

! j = (t j " y j )

Rosenblatt demostró en 1962 que con esta regla de aprendizaje el error siempre disminuye

15

Demostración de la disminución del error en la regla delta

16

Límites del perceptrón monocapa

x1

x2 yj f

w11

w21

Θ

Límites del perceptrón: el operador Xor

(Minsky y Papert, 1969)

17

18

Historia de las Redes Neuronales Artificiales (Epoca Intermedia)

AÑO AUTORES CONTRIBUCIÓN

1971 T. Kohonen Memoria asociativa 1973 Ch. von der Maslsburg Columnas de Orientacion 1975 S.I. Amari Aprendizaje competitivo 1976 Willsaw y von der Malsburg Retinotopia

1977 J. Anderson Autoasociación 1977 y 79 K. Fukushima Cognitron y neocognitron 1978 S. Grossberg Autoorganizacion de redes 1982 T. Kohonen Self Organizing Map (SOM) 1982 y 84 J. Hopfield Redes resonantes o de Hopfield 1985 Ackley, Hinton, Sejnowski Maquina de Boltzman

19

Redes de Hopfield

20

Redes Resonantes o Redes de Hopfield

•  Las redes de Hopfield están formadas por neuronas binarias, es decir que sus estado sj pueden adoptar valores (1, -1) ó (1, 0) •  Las neuronas están conectadas todas con todas mediante pesos sinápticos con las siguientes restricciones:

- wij = wji (conexiones simétricas) - wii = 0 (no se conectan a sí mismas)

•  Regla de actualización de la actividad:

•  La actividad se va actualizando de modo recursivo hasta que no varíe en un turno completo • En estas condiciones la energía E siempre disminuye:

21

Ejemplos de redes de Hopfield: memoria asociativa

22

Ejemplos de redes de Hopfield (2):

memoria asociativa y reconstrucción de

imágenes.

23

Convergencia de una red de Hopfield: minimización

de la “energía”

24

Aprendizaje no supervisado

•  El aprendizaje implica la modificación de los pesos “sinápticos” •  La red presenta ENTRADA y SALIDA, pero no hay retorno desde fuera •  La red debe descubrir por sí misma patrones, características, regularidades, correlaciones, etc. en los datos de entrada y codificarlos en la salida •  Tanto unidades como conexiones han de ser capaces de autoorganización •  Sólo es posible si existe redundancia en los datos de entrada:

“La redundancia proporciona conocimiento” (Barlow, 1989) •  Tipos de tareas que se pueden realizar:

- modelización de procesos biológicos - agrupar por familias - análisis de componentes principales - “clustering” (agrupamiento o clasificación) - localiación de prototipos - codificación - extracción de carácterísticas comunes - organización topológica de datos

25

Aprendizaje competitivo no supervisado

26

SOM: Mapas

topológicos o autoorganizados

de Kohonen

27

SOM (2)

28

Clasificación de partículas virales mediante SOM

Cálculo de estructura secundaria de proteínas a partir de DC en UV lejano

SOMCD Cálculo de estructura

secundaria de proteínas a

partir de DC en UV lejano

31

http://somcd.geneura.org/

32

Historia de las Redes Neuronales Artificiales (Segunda Epoca)

AÑO AUTORES CONTRIBUCIÓN

1986 Rumelhart, Hinton y Williams

Regla delta generalizada, backpropagation

1986 Rumelhart, McClelland y PDP-group

Paralell distributed processing

1986 Sejnowski y Rosenberg NETtalk 1989 T. Kohonen LVQ

33

Perceptron multicapa

34

Regla delta generalizada:

propagación del error hacia atrás

35

Dos pasos: propagacion de

actividad hacia delante y del error hacia atrás.

36

Demostración de la disminución del error en la regla delta generalizada

37

Solución al problema XOR

38

Ejemplo de aplicación con

perceptrón multicapa

39

NETtalk: Sejnowski, T. J. and Rosenberg, C. R. (1986) NETtalk: a parallel network that learns to read aloud, Cognitive Science, 14, 179-211.

40

Redes Neuronales en Bioinformática Algoritmos supervisados

http://bioinformatics.org.au/gann/

•  Genetic Algorithm Neural Networks for Regulatory Region Identification Robert G. Beiko and Robert L. Charleboi

•  Análisis de microarrays de DNA: diagnóstico de diferentes tipos de cáncer basándose en sus expresiones génicas características. Khan et al. Nature Med. 7: 673-679 (2001)

•  Predicción de la estructura secundaria a partir de la secuencia de aminácidos de una proteína. B Rost: PHD: predicting one-dimensional protein structure by profile based neural networks.

Meth. in Enzymolgy, 266, 525-539, (1996) http://www.predictprotein.org/

http://www.cmpharm.ucsf.edu/~nomi/nnpredict.html

41

42