Apuntes Ampliados

8/16/2019 Apuntes Ampliados

1/41

Alumno: Aitor Gómez Maguregui

Grupo: 2º Ingeniería Informática A

Asignatura: Modelos de Computación II

Profesor: Prof. D. Juan Luis Castro Peña

1


2/41

ÍNDICE

Portada 1

Índice 2

Apuntes ampliados 3 a 33

Conceptos básicos sobre RRNN 3 a 20

Redes de una capa: Perceptrón, Adaline 20 a 27

Retropropagación o Backpropagation 27 a 32

Validación en Redes Neuronales 32 a 34

Bibliogra!a 3"

2


3/41

REDES NEURONALES

Conceptos básicos sobre Redes Neuronales

¿De dónde surge la conexión cerebro vs. Máquinas?

Cuando trabajamos en el ámbito de las Redes Neuronales tenemos!ue comenzar "or mostrar una cone#ión clara $ e%idente entre lasmá!uinas $ el cerebro &umano'

(a diferencia más im"ortante $ decisi%a es la forma en !ue se"roduce el almacenamiento de información en el cerebro $ en elordenador'

)n el ordenador los datos se guardan en "osiciones de memoria !ueson celdillas aisladas entre sí' Así cuando se !uiere acceder a una"osición de memoria se obtiene el dato de esta celdilla sin !ue las"osiciones de memoria contiguas se %ean afectadas "or dic&ao"eración'

)n el cerebro la gestión es totalmente diferente' Cuando buscamos

una información no &ace falta !ue se"amos dónde se encuentraalmacenada $ en realidad no lo "odemos saber $a !ue nadie sabedónde guarda el cerebro los datos'

)n todo el mundo "ero sobre todo en )stados *nidos $ +a"óncientí,cos e#"ertos tratan de dar con la cla%e de la memoria asociati%a' -i se consiguiera construir un c&i" de memoria seg.n elmodelo &umano la ciencia daría un "aso gigante en la fascinantecarrera &acia la inteligencia arti,cial'

Un superordenador llamado cerebro

)l &ombre necesita un sistema de "roceso de datos de m.lti"le"ro"ósito ca"az de tratar gran cantidad de información mu$ distinta $en mu$ "oco tiem"o $ con el ma$or sentido "ráctico/"ero nonecesariamente con e#actitud0 "ara inmediatamente "oder actuar enconsecuencia'

(os ordenadores en cambio son altamente es"ecializados conca"acidad "ara "rocesar con e#actitud información mu$ concreta /en"rinci"io solo n.meros0 siguiendo unas instrucciones dadas'

)l cerebro &umano "osee más de diez millones de neuronas lascuales $a están "resentes en el momento del nacimiento' Conforme

3

http://www.monografias.com/trabajos12/dispalm/dispalm.shtmlhttp://www.monografias.com/trabajos11/basda/basda.shtmlhttp://www.monografias.com/trabajos13/memor/memor.shtmlhttp://www.monografias.com/trabajos13/memor/memor.shtmlhttp://www.monografias.com/trabajos13/memor/memor.shtmlhttp://www.monografias.com/trabajos15/sistemas-control/sistemas-control.shtmlhttp://www.monografias.com/trabajos11/basda/basda.shtmlhttp://www.monografias.com/trabajos7/esun/esun.shtmlhttp://www.monografias.com/trabajos16/memorias/memorias.shtmlhttp://www.monografias.com/trabajos13/memor/memor.shtmlhttp://www.monografias.com/trabajos/adolmodin/adolmodin.shtmlhttp://www.monografias.com/trabajos16/ciencia-y-tecnologia/ciencia-y-tecnologia.shtmlhttp://www.monografias.com/trabajos16/la-inteligencia-artificial/la-inteligencia-artificial.shtmlhttp://www.monografias.com/trabajos15/fundamento-ontologico/fundamento-ontologico.shtmlhttp://www.monografias.com/trabajos14/administ-procesos/administ-procesos.shtml#PROCEhttp://www.monografias.com/trabajos12/foucuno/foucuno.shtml#CONCEPhttp://www.monografias.com/trabajos2/mercambiario/mercambiario.shtmlhttp://www.monografias.com/trabajos12/dispalm/dispalm.shtmlhttp://www.monografias.com/trabajos11/basda/basda.shtmlhttp://www.monografias.com/trabajos13/memor/memor.shtmlhttp://www.monografias.com/trabajos13/memor/memor.shtmlhttp://www.monografias.com/trabajos13/memor/memor.shtmlhttp://www.monografias.com/trabajos15/sistemas-control/sistemas-control.shtmlhttp://www.monografias.com/trabajos11/basda/basda.shtmlhttp://www.monografias.com/trabajos7/esun/esun.shtmlhttp://www.monografias.com/trabajos16/memorias/memorias.shtmlhttp://www.monografias.com/trabajos13/memor/memor.shtmlhttp://www.monografias.com/trabajos/adolmodin/adolmodin.shtmlhttp://www.monografias.com/trabajos16/ciencia-y-tecnologia/ciencia-y-tecnologia.shtmlhttp://www.monografias.com/trabajos16/la-inteligencia-artificial/la-inteligencia-artificial.shtmlhttp://www.monografias.com/trabajos15/fundamento-ontologico/fundamento-ontologico.shtmlhttp://www.monografias.com/trabajos14/administ-procesos/administ-procesos.shtml#PROCEhttp://www.monografias.com/trabajos12/foucuno/foucuno.shtml#CONCEPhttp://www.monografias.com/trabajos2/mercambiario/mercambiario.shtml


4/41

"asa el tiem"o se %uel%en inacti%as aun!ue "ueden morirmasi%amente'

Nuestro órgano de "ensamiento consume energía bio!uímica ele!ui%alente a una cuc&arada de az.car "or &ora' (os ordenadores

dom1sticos consumen una cantidad semejante'

-eg.n estudios es"ecializados el cerebro dis"one de dosmecanismos de almacenamiento de datos la memoria intermediaace"ta de cinco a diez unidades de información aun!ue solo lasmantiene durante algunos minutos' (a memoria de,niti%a guarda lasinformaciones 3"ara toda la %ida4 lo !ue no signi,ca !ue nos"odamos acordar siem"re de todo' (a memoria inmediata trabajacomo una es"ecie de cinta continua la información circularotati%amente en forma de im"ulsos el1ctricos "or los registros'

Así el sistema es com"arable a la memoria dinámica de unordenador en la !ue la información tiene !ue ser refrescadacontinuamente "ara !ue no se "ierda' )n cambio la memoriade,niti%a "arece asemejarse más bien a las conocidas memorias deceldillas de los ordenadores' -e cree !ue esta memoria funcionagracias a formaciones !uímicas de las "roteínas "resentes en elcerebro &umano'

Diferencias entre el cerebro y una computadora

5odemos resumir las diferencias "rinci"ales entre el cerebro $ unacom"utadora en la siguiente tabla

Cerebro Computadora

-istema de datos de m.lti"le"ro"ósito ca"az de tratar grancantidad de información en "ocotiem"o "ero no necesariamentecon e#actitud'

-istemas altamente es"ecializadoscon ca"acidad "ara "rocesarinformación mu$ concreta siguiendounas instrucciones dadas'

(a frecuencia de losim"ulsos ner%iosos "uede %ariar' (a frecuencia de transmisiónes inalterable $ está dada "or el relojinterno de la má!uina'

(as llamadas sina"sis cum"le en elcerebro la función simultánea de%arias com"uertas /AN6 7R N78etc'0

(as com"uertas lógicastienen una función "erfectamentedeterminada e inalterable'

(a memoria es del ti"o asociati%o

$ no se sabe dónde !uedaraalmacenada'

(a información se guarda en

"osiciones de memoria de accesodirecto "or su dirección'

4

http://www.monografias.com/trabajos14/genesispensamto/genesispensamto.shtmlhttp://www.monografias.com/trabajos12/bioqui/bioqui.shtmlhttp://www.monografias.com/trabajos12/dispalm/dispalm.shtmlhttp://www.monografias.com/trabajos16/memorias/memorias.shtmlhttp://www.monografias.com/trabajos16/memorias/memorias.shtmlhttp://www.monografias.com/trabajos16/memorias/memorias.shtmlhttp://www.monografias.com/trabajos7/regi/regi.shtmlhttp://www.monografias.com/trabajos14/dinamica-grupos/dinamica-grupos.shtmlhttp://www.monografias.com/trabajos2/mercambiario/mercambiario.shtmlhttp://www.monografias.com/trabajos16/memorias/memorias.shtmlhttp://www.monografias.com/trabajos10/compo/compo.shtmlhttp://www.monografias.com/trabajos15/direccion/direccion.shtmlhttp://www.monografias.com/trabajos14/genesispensamto/genesispensamto.shtmlhttp://www.monografias.com/trabajos12/bioqui/bioqui.shtmlhttp://www.monografias.com/trabajos12/dispalm/dispalm.shtmlhttp://www.monografias.com/trabajos16/memorias/memorias.shtmlhttp://www.monografias.com/trabajos16/memorias/memorias.shtmlhttp://www.monografias.com/trabajos16/memorias/memorias.shtmlhttp://www.monografias.com/trabajos7/regi/regi.shtmlhttp://www.monografias.com/trabajos14/dinamica-grupos/dinamica-grupos.shtmlhttp://www.monografias.com/trabajos2/mercambiario/mercambiario.shtmlhttp://www.monografias.com/trabajos16/memorias/memorias.shtmlhttp://www.monografias.com/trabajos10/compo/compo.shtmlhttp://www.monografias.com/trabajos15/direccion/direccion.shtml


5/41

(os im"ulsos 9u$en a :; metros"or segundo'

)n el interior de unacom"utadora los im"ulsos 9u$en a la%elocidad de la luz'

Similitudes entre el cerebro y una computadora

< Ambos codi,can la información en im"ulsos digitales'< 8anto el cerebro como la com"utadora tienen com"uertas lógicas'< )#isten distintos ti"os de memoria'< (os dos tienen a"ro#imadamente el mismo consumo de energía'

Como conclusión de las analogías $ diferencias entre má!uina $cerebro además de obser%ar detenidamente el análisis !ue arriba,gura tenemos !ue destacar !ue a "esar de las similitudes entre

ambos modelos $ de la utilidad del modelo de cóm"uto de RRNN elcerebro &umano es &o$ "or &o$ insustituible' No !uiere decir esto!ue la utilidad de las Redes Neuronales sea ni muc&o menos escasa'

Inspiración biológica en Redes Neuronales

Nuestro modelo de estudio las redes neuronales tienen un e%idente$ marcado origen biológico'

A grandes rasgos recordemos !ue el cerebro &umano se com"one de

decenas de billones de neuronas interconectadas entre sí formandocircuitos o redes !ue desarrollan funciones es"ecí,cas'

*na neurona tí"ica recoge se=ales "rocedentes de otras neuronas atra%1s de una "l1$ade de delicadas estructuras llamadas dendritas'(a neurona emite im"ulsos de acti%idad el1ctrica a lo largo de una,bra larga $ delgada denominada a#ón !ue se escinde en millares derami,caciones'

5odemos %er en la siguiente imagen la estructura de una neurona

"

http://www.monografias.com/trabajos15/computadoras/computadoras.shtmlhttp://www.monografias.com/trabajos13/cinemat/cinemat2.shtml#TEORICOhttp://www.monografias.com/trabajos5/natlu/natlu.shtmlhttp://www.monografias.com/trabajos15/computadoras/computadoras.shtmlhttp://www.monografias.com/trabajos16/memorias/memorias.shtmlhttp://www.monografias.com/trabajos14/consumoahorro/consumoahorro.shtmlhttp://www.monografias.com/trabajos15/computadoras/computadoras.shtmlhttp://www.monografias.com/trabajos13/cinemat/cinemat2.shtml#TEORICOhttp://www.monografias.com/trabajos5/natlu/natlu.shtmlhttp://www.monografias.com/trabajos15/computadoras/computadoras.shtmlhttp://www.monografias.com/trabajos16/memorias/memorias.shtmlhttp://www.monografias.com/trabajos14/consumoahorro/consumoahorro.shtml


6/41

(as e#tremidades de estas rami,caciones llegan &asta las dendritasde otras neuronas $ establecen unas cone#iones llamadas sina"sisen las cuales se "roduce una transformación del im"ulso el1ctrico en

un mensaje neuro!uímico mediante la liberación de unas sustanciasllamadas neurotransmisores'

5odemos %erlo en detalle en la siguiente imagen

)l efecto de los neurotransmisores sobre la neurona rece"tora "uedeser e#citatorio o in&ibitorio $ es %ariable /la intensidad del efecto

de"ende de numerosos factores !ue no sería o"ortuno describira!uí0 de manera !ue "odemos &ablar de la fuerza o efecti%idad deuna sina"sis' (as se=ales e#citatorias e in&ibitorias recibidas "or unaneurona se combinan $ en función de la estimulación total recibidala neurona toma un cierto ni%el de acti%ación !ue se traduce en lageneración de bre%es im"ulsos ner%iosos con una determinadafrecuencia o tasa de dis"aro $ su "ro"agación a lo largo del a#ón&acia las neuronas con las cuales 3conecta4'

6e esta manera la información se transmite de unas neuronas a otras$ %a siendo "rocesada a tra%1s de las cone#iones siná"ticas $ las

#


7/41

"ro"ias neuronas' )l a"rendizaje de las redes neuronales se "roducemediante la %ariación de la efecti%idad de las sina"sis de estamanera cambia la in9uencia !ue unas neuronas ejercen sobre otrasde a!uí se deduce !ue la ar!uitectura el ti"o $ la efecti%idad de lascone#iones en un momento dado re"resentan en cierto modo la

memoria o estado de conocimiento de la red'

Redes Neuronales Arti!ciales

(as neuronas se modelan mediante unidades de "roceso' Cadaunidad de "roceso se com"one de una red de cone#iones de entradauna función de red / de "ro"agación0 encargada de com"utar laentrada total combinada de todas las cone#iones un n.cleo centralde "roceso encargado de a"licar la función de acti%ación $ la salida"or dónde se transmite el %alor de acti%ación a otras unidades'

)n la siguiente tabla "odemos ilustrar las analogías entre lasneuronas arti,ciales $ las neuronas biológicas

edes !euronales "iológicas edes !euronales #rti$ciales

Neuronas *nidades de "roceso

Cone#iones siná"ticas Cone#iones "onderadas

)fecti%idad de las sina"sis 5eso de las cone#iones

)fecto e#citatorio o in&ibitorio deuna cone#ión

-igno del "eso de unacone#ión

)fecto combinado de las sina"sis >unción de "ro"agación o dered

Acti%ación


8/41

(a función de red es tí"icamente el sumatorio "onderado mientras!ue la función de acti%ación suele ser alguna función de umbral o unafunción sigmoidal'

@amos a %er con detalle cada uno de los t1rminos !ue a!uí a"arecen

"unción de propagación o de red Calcula el %alor de base oentrada total a la unidad generalmente como sim"le suma"onderada de todas las entradas recibidas es decir de las entradasmulti"licadas "or el "eso o %alor de las cone#iones' )!ui%ale a lacombinación de las se=ales e#citatorias e in&ibitorias de las neuronasbiológicas'

"unción lineal de base #L$"%

Consiste en el sumatorio de las entradas "onderadas' -e trata de unafunción de ti"o &i"er"lano esto es de "rimer orden'

6ado una unidad j $ n unidades conectadas a 1sta si llamamos X al%ector de entradas /!ue coincide con las salidas de las unidades de laca"a anterior0 $ Wj al %ector de "esos de las cone#ionescorres"ondientes esta función !uedaría así

Al re"resentar los "esos utilizamos dos subíndices "ara indicar !ueconectan dos unidades i $ j dónde j se re,ere la unidad actual'

"unción radial de base #R$"%

>unción de ti"o &i"eresf1rico de segundo orden no lineal' )l %alor dered re"resenta la distancia a un determinado "atrón de referencia'

$

http://www.iiia.csic.es/~mario/rna/tutorial/RNA_abreviaturas.html#LBFhttp://www.iiia.csic.es/~mario/rna/tutorial/RNA_abreviaturas.html#RBFhttp://www.iiia.csic.es/~mario/rna/tutorial/RNA_abreviaturas.html#LBFhttp://www.iiia.csic.es/~mario/rna/tutorial/RNA_abreviaturas.html#RBF


9/41

"unción de acti&ación )s !uizás la característica "rinci"al ode,nitoria de las neuronas la !ue mejor de,ne el com"ortamiento dela misma' -e usan diferentes ti"os de funciones desde sim"lesfunciones sim"les de umbral a funciones no lineales' -e encarga decalcular el ni%el o estado de acti%ación de la neurona en función de la

entrada total'

-e suele distinguir entre funciones lineales en las !ue la salida es"ro"orcional a la entrada funciones de umbral en las cuales la salidaes un %alor discreto /tí"icamente binario ;B0 !ue de"ende de si laestimulación total su"era o no un determinado %alor de umbral $funciones no lineales no "ro"orcionales a la entrada'

"unción de umbral

)n un "rinci"io se "ensó !ue las neuronas usaban una función deumbral es decir !ue "ermanecían inacti%as $ se acti%aban sólo si laestimulación total su"eraba cierto %alor límite esto se "uede modelarcon una función escalón la más tí"ica es el escalón unitario lafunción de%uel%e ; "or debajo del %alor crítico /umbral0 $ "orencima'

6es"u1s se com"robó !ue las neuronas emitían im"ulsos de acti%idadel1ctrica con una frecuencia %ariable de"endiendo de la intensidadde la estimulación recibida $ !ue tenían cierta acti%idad &asta enre"oso con estimulación nula' )stos descubrimientos lle%aron al uso

de funciones no lineales con esas características como la funciónsigmoidal con un "er,l "arecido al escalón de una función de umbral"ero continua'

"unción sigmoidal o log'stica

)s "robablemente la función de acti%ación más em"leada en laactualidad'

-e trata de una función continua no lineal con bastante "lausibilidad,siológica'

(a función sigmoidal "osee un rango com"rendido entre ; $ ' )stoa"licado a las unidades de "roceso de una red neuronal arti,cialsigni,ca !ue sea cual sea la entrada la salida estará com"rendidaentre ; $'

)sta función de"ende del "arámetro s !ue usualmente toma el %alor

'

%

http://www.iiia.csic.es/~mario/rna/tutorial/RNA_intro.html#Funci%C3%B3n%20de%20umbralhttp://www.iiia.csic.es/~mario/rna/tutorial/RNA_intro.html#Funci%C3%B3n%20de%20umbral


10/41

5odemos obser%ar la re"resentación grá,ca de este .ltimo caso en lasiguiente grá,ca

(a salida de una unidad %ale ;'D cuando la entrada es nula estosigni,ca !ue la unidad tiene cierta acti%idad a.n en ausencia deestimulación' Al aumentar la estimulación la unidad aumenta suacti%ación $ la disminu$e si la estimulación es in&ibitoria de forma"arecida a como se com"ortan las neuronas reales'

5resenta las siguientes características deseables

' Acomodación de se=ales mu$ intensas sin "roducir saturación'2' Admite se=ales d1biles sin e#cesi%a atenuación

:' >ácilmente deri%able $a !ue

(a "rinci"al limitación de esta función es !ue no sir%e "ara e#"resar"olaridades da siem"re %alores "ositi%os' *na función alternati%a concualidades "arecidas "ero con un rango entre


11/41

Salida calcula la salida de la neurona en función de la acti%ación dela misma aun!ue normalmente no se a"lica más !ue la funciónidentidad $ se toma como salida el %alor de acti%ación' )l %alor desalida cum"liría la función de la tasa de dis"aro en las neuronasbiológicas'

#rquitecturas de edes !euronales

5ara dise=ar una red debemos establecer como estarán conectadasunas unidades con otras $ determinar adecuadamente los "esos delas cone#iones' (o más usual es dis"oner las unidades en forma deca"as "udi1ndose &ablar de redes de una de dos o de más de dosca"as las llamadas redes multica"a'

Aun!ue inicialmente se desarrollaron redes de una sola ca"a lo másusual es dis"oner tres o más ca"as la "rimera ca"a act.a comobuEer de entrada almacenando la información bruta suministrada ala red o realizando un sencillo "re


12/41

(as cone#iones entre una ca"a $ otra "ueden ser totales es decir!ue cada unidad se conecta con todas las unidades de la ca"asiguiente o "arciales en las cuales una unidad se conecta con sóloalgunas de las ca"as de la unidad siguientegeneralmente siguiendo alg.n "atrón aleatorio o "seudo


13/41

decir se "uede usar "ara obtener un resultado frente a datostotalmente nue%os "ara los !ue no se conoce la res"uesta correcta'

Aprendi)a*e super&isado

a sabemos !ue en el a"rendizaje su"er%isado se "resentan a la reduna serie de "atrones de entrada junto a los "atrones de salidadeseados' )l a"rendizaje consiste en la modi,cación de los "esos delas cone#iones en el sentido de reducir la discre"ancia entre la salidaobtenida $ la deseada' (os "asos generales a seguir "or estealgoritmo son los siguientes

& Aleatorizar los "esos de todas las cone#iones /"referiblementecon %alores "e!ue=os0

& -eleccionar un "ar de entrenamiento es decir un "atrón deentrada $ el "atrón de salida deseado /target0 corres"ondiente'

& 5resentar el "atrón de entrada $ calcular la salida de la redmediante las o"eraciones usuales sumatorio de las entradas"onderadas función de acti%ación $ transferencia a la siguienteca"a &asta llegar a la ca"a de salida' /inicialmente obtenemossalidas aleatorias $a !ue los "esos de las cone#iones sonaleatorios0

& Cálculo del error o discre"ancia entre la salida obtenida $ ladeseada' )l error /función objeti%o0 se suele de,nir como lasuma de los cuadrados de las diferencias entre las salidasreales obtenidas $ las deseadas "romediado "ara todas lasunidades de salida $ todos los "atrones de entrenamiento' -i elerror es menor de cierto criterio ,jado de antemanoincrementar el n.mero de ejem"los correctos si todos losejem"los se &an clasi,cado correctamente ,nalizar sinocontinuar'

& A"licar la regla de a"rendizaje es decir ajustar los "esos de las

cone#iones tratando de disminuir el error generalmentemediante el cálculo de tasas de %ariación o gradientes del error"or eso &ablamos de reglas de a"rendizaje "or gradientedescendiente' 5ara reducir el error &abrá !ue modi,car los"esos de las cone#iones en "ro"orción a la tasa relati%a de%ariación del error con res"ecto a la %ariación del "eso o sea laderi%ada del error res"ecto al "eso )5 /error res"ecto al "eso0'*na forma de calcular el )5 sería "erturbar le%emente un "eso$ obser%ar como %aría el error "ero no resultaría e,ciente sitrabajamos con muc&as cone#iones /este es el fundamento de

algunos m1todos estadísticos comentados en otro a"artado0'

13


14/41

Más adelante %eremos un algoritmo matemático "ara calcular)5'

& @ol%er al "aso 2

Aprendi)a*e no super&isado

*na de las críticas "rinci"ales al a"rendizaje su"er%isado dejando delado los as"ectos com"utacionales era su dudosa "lausibilidadbiológica "ues

& Re!uiere "ro"agar cierta información /el error cometido0 &aciaatrás en sentido contrario al 9ujo natural de la información'Como es ob%io esto no sucede en las neuronas reales sin

embargo esta objeción es su"er,cial si tenemos en cuenta !ueel cerebro es rico en redes !ue retrogradan de una ca"as aotras $ "odría utilizar estos caminos de m.lti"les formas "araa"ortar la información del ti"o !ue el a"rendizaje su"er%isadore!uiere'

& Re!uiere de un instructor !ue "ro"orcione la salida deseada'(as "ersonas a"rendemos a com"render frases o escenas%isuales sin instrucciones e#"lícitas "ara ello se "odría decir!ue el cerebro "osee alg.n mecanismo de auto


15/41

salida consistentes esto es la "resentación de un "atróna"rendido o "arecido a 1l "roduce siem"re la misma salida' -econsidera !ue el "roceso de a"rendizaje es ca"az de e#traerciertas "ro"iedades estadísticas de los ejem"los de a"rendizaje$ agru"arlos en categorías o clases de "atrones similares'

& No sabemos a "riori !u1 salida corres"onderá a cada ti"o ogru"o de "atrones de entrada ni !u1 atributos usará "araclasi,carlos "or eso son mu$ .tiles como generadores decategorías /clustering0

& )n general los m1todos de a"rendizaje no su"er%isado a"elan aalguna noción de la calidad de la re"resentación' (asre"resentaciones de calidad se caracterizan "or la economía dela re"resentación /el costo de codi,cación más el costo dereconstrucción0 sin "erder la ca"acidad de reconstruir lainformación almacenada'

Imaginemos "or ejem"lo imágenes formadas "or eli"ses como lascaras de la ,gura "odríamos re"resentarlas mediante ma"as de bits"ero son "osibles otras re"resentaciones más e,cientes una eli"se se"uede se distingue de otra en cinco atributos orientación "osición%ertical "osición &orizontal longitud $ anc&ura "or consiguiente laimagen "odría describirse usando sólo cinco "arámetros "or eli"se'

)#isten %arios m1todos sencillos "ara encontrar códigos económicos!ue al mismo tiem"o "ermitan una buena reconstrucción de laentrada el a"rendizaje "or com"onentes "rinci"ales el a"rendizajecom"etiti%o $ los códigos demográ,cos'

Aprendi)a*e por componentes principales

)l a"rendizaje "or com"onentes "rinci"ales consiste en e#traer $describir las com"onentes de %ariación com"artidas "or multitud deunidades de entrada siendo su,ciente una unidad "ara cadacom"onente "rinci"al' -e "uede lograr &aciendo !ue las redesreconstru$an la entrada sobre unas unidades de salida a"licando

retro"ro"agación' )ste a"rendizaje no es su"er%isado "or!ue dado!ue la salida es la misma !ue la entrada no se necesita instructor'

1"


16/41

7tra forma de lograrlo sin usar retro"ro"agación se basa en modi,carlas cone#iones en función de las correlaciones entre las acti%idadesde las unidades ocultas $ las unidades de entrada'

Aprendi)a*e competiti&o

)n el a"rendizaje "or com"onentes "rinci"ales un "e!ue=o n.merode unidades coo"era en la re"resentación del "atrón de entrada' )n ela"rendizaje com"etiti%o un gran n.mero de unidades ocultas "ugnanentre sí con lo !ue ,nalmente se utiliza una sola unidad oculta "arare"resentar un "atrón de entrada determinado o un conjunto de"atrones similares' (a unidad oculta seleccionada es a!uella cu$os"esos incidentes se asemejan más al "atrón de entrada' )la"rendizaje consiste en reforzar las cone#iones de la unidad ganadora$ debilitar las otras "ara !ue los "esos de la unidad ganadora seasemejen cada %ez más al "atrón de entrada' Generalmente seutilizan reglas basadas en la regla de Jebb o regla del "roducto' (areconstrucción del "atrón de entrada consistirá en co"iar ladistribución de "esos de la unidad ganadora'

Códigos demográ!cos

)l "roblema de los com"onentes "rinci"ales es !ue eliminan toda laredundancia $ con ello "ierden la tolerancia a fallos $a !ue cada

"atrón o conjunto de "atrones de entrada similares !uedare"resentado "or una sola neurona' (a solución a este dilema !ueademás "arece ser la utilizada "or el cerebro son los códigosdemográ,cos una solución intermedia entre las re"resentacionesdistribuidas "uras $ re"resentaciones "uramente locales'

-e trata de re"resentar cada "atrón de entrada "or un conjunto o"oblación de unidades acti%as simultáneamente de manera !ue ladisfunción de alguna unidad no "ro%oca la "1rdida de la información'

(os códigos demográ,cos "arecen contradecir el "rinci"io de

economía de las re"resentaciones sin embargo una "oblación deneuronas es mu$ fácil de re"resentar si se com"one de un gru"o deneuronas %ecinas con un centro "rominente de acti%idad' )n ese casoes su,ciente con describir dic&o centro más alguna medida de laforma en !ue la acti%idad de las unidades ad$acentes decae amedida !ue nos alejamos del centro'

Aprendi)a*e re+or)ado

Como $a comentamos la idea es similar a la del a"rendizaje

su"er%isado sólo !ue a!uí la información dada "or el maestro esmínima se limita a indicar si la res"uesta de la red es correcta oincorrecta' )n este sentido se asimila a la noción tomada de la

1#


17/41

"sicología conductual de condicionamiento "or refuerzo !ue enresumen de,ende !ue se a"renden /en el sentido de !ue tienen más"robabilidad de re"etirse0 las conductas reforzadas "ositi%amente $%ice%ersa /las conductas castigadas o reforzadas negati%amentereducen la "osibilidad de a"arecer0'

*na noción estrec&amente ligada a la de a"rendizaje reforzado es lade Redes Kasadas en la 6ecisión' -on redes "ara clasi,cación de"atrones similares a los asociadores de "atrones en las cuales elmaestro en %ez de indicar la salida deseada e#acta /target0 indicasólo la clase correcta "ara cada "atrón de entrada'

)n las redes basadas en la decisión se utiliza una funcióndiscriminante "ara determinar a !ue categoría o clase "ertenece el"atrón de entrada si durante el entrenamiento una res"uesta nocoincide con la dada con el maestro se cambian los "esos si no sedejan igual /de a!uí %iene el nombre de 6KNN0' )l a"rendizajeconsiste en encontrar los "esos !ue dan la clasi,cación correcta'

Construcción de modelos

Con el ,n de llegar al entendimiento global de Redes NeuronalesArti,ciales ado"tamos la siguiente "ers"ecti%a llamada top,do-n !ue em"ieza "or la aplicación se "asa al algoritmo $ de a!uí a laarquitectura

)sta a"ro#imación a las Redes Neuronales Arti,ciales está moti%ada"or la a"licación basada en la teoría $ orientada &acia laim"lementación' (as "rinci"ales a"licaciones son "ara el procesadode señal $ el reconocimiento de "atrones'

(a "rimera eta"a algorítmica re"resenta una combinación de la teoríamatemática $ la fundamentación &eurística "or los modelos

neuronales' )l ,n .ltimo es la construcción de neurocom"utadores

17

http://www.gc.ssr.upm.es/inves/neural/ann2/concepts/app.htm#apphttp://www.gc.ssr.upm.es/inves/neural/ann2/images/topdown1.gifhttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/app.htm#app


18/41

digitales con la a$uda de las tecnologías @(-I $ el "rocesadoada"tati%o digital $ "aralelo'

6esde el "unto de %ista de la a"licaciones la %entaja de las RRNNreside en el "rocesado "aralelo ada"tati%o $ no lineal' (as RRNN &an

encontrado muc&as a"licaciones con 1#ito en la %isión arti,cial en el"rocesado de se=ales e imágenes reconocimiento del &abla $ decaracteres sistemas e#"ertos análisis de imágenes m1dicas controlremoto control de robots ins"ección industrial $ e#"loracióncientí,ca' )l dominio de a"licación de las RRNN se "uede clasi,car dela siguiente forma asociación $ clasi,cación regeneración de"atrones regresión $ generalización $ o"timización'

Asociación . Clasi!cación

)n esta a"licación los "atrones de entrada estáticos o se=alestem"orales deben ser clasi,cadas o reconocidas' Idealmente unclasi,cador debería ser entrenado "ara !ue cuando se le "resenteuna %ersión distorsionada ligeramente del "atrón "ueda serreconocida correctamente sin "roblemas' 6e la misma forma la reddebería "resentar cierta inmunidad contra el ruido esto es deberíaser ca"az de recu"erar una se=al Hlim"iaH de ambientes o canalesruidosos' )sto es fundamental en las a"licaciones &olográ,casasociati%as o regenerati%as'

Asociación de es"ecial inter1s son las dos clases de asociación

autoasociación $ &eteroasociación' )l "roblema de la autoasociaciónes recu"erar un "atrón enteramente dada una información "arcial del"atrón deseado' (a &eteroasociación es recu"erar un conjunto de"atrones B dado un "atrón de ese conjunto' (os "esos en las redesasociati%as son a menudo "redeterminados basados en la regla deJebb' Normalmente la auto correlación del conjunto de "atronesalmacenado determina los "esos en las redes auto asociati%as' 5orotro lado la correlación cruzada de muc&as "arejas de "atrones seusa "ara determinar los "esos de la red de Jeteroasociación'

Clasi!cación no Super&isada "ara esta a"licación los "esos

siná"ticos de la red son entrenados "or la regla de a"rendizaje nosu"er%isado esto es la red ada"ta los "esos $ %eri,ca el resultadobasándose .nicamente en los "atrones de entrada'

Clasi!cación Super&isada esta clasi,cación ado"ta algunas formasdel criterio de inter"olación o a"ro#imación' )n muc&as a"licacionesde clasi,cación "or ejem"lo reconocimiento de %oz los datos deentrenamiento consisten de "ares de "atrones de entrada $ salida' )neste caso es con%eniente ado"tar las redes -u"er%isadas como lasbien conocidas $ estudiadas redes de retro"ro"agación' )ste ti"o de

redes son a"ro"iadas "ara las a"licaciones !ue tienen una grancantidad de clases con límites de se"aración com"lejos'

1$

http://www.gc.ssr.upm.es/inves/neural/ann2/concepts/app.htm#asshttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/app.htm#patthttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/app.htm#patthttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/app.htm#reghttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/app.htm#opthttp://www.gc.ssr.upm.es/inves/neural/ann2/unsupmod/competle/competle.htm#Hebbhttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/suunsupm.htmhttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/suunsupm.htmhttp://www.gc.ssr.upm.es/inves/neural/ann2/supmodel/mlp.htmhttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/app.htm#asshttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/app.htm#patthttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/app.htm#patthttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/app.htm#reghttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/app.htm#opthttp://www.gc.ssr.upm.es/inves/neural/ann2/unsupmod/competle/competle.htm#Hebbhttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/suunsupm.htmhttp://www.gc.ssr.upm.es/inves/neural/ann2/concepts/suunsupm.htmhttp://www.gc.ssr.upm.es/inves/neural/ann2/supmodel/mlp.htm


19/41

Completar los patrones

)n muc&os "roblemas de clasi,cación una cuestión a solucionar es larecuperación la información esto es recu"erar el "atrón originaldada sola una información "arcial' Ja$ dos clases de "roblemas

tem"orales $ estáticos' )l uso a"ro"iado de la información con te#tuales la lla%e "ara tener 1#ito en el reconocimiento'

/enerali)ación

(a Generalización' -e "uede e#tender a un "roblema de inter"olación')l sistema es entrenado "or un gran conjunto de muestras deentrenamiento basados en un "rocedimiento de a"rendizajesu"er%isado' Una red se considera que esta entrenada con éxito si puede aproximar los valores de los patrones de entrenamiento y puede dar interpolaciones suaves para el espacio de datos noentrenado' )l objeti%o de la Generalización es dar una res"uestacorrecta a la salida "ara un estímulo de entrada !ue no &a sidoentrenado con anterioridad' )l sistema debe inducir la característicasaliente del estímulo a la entrada $ detectar la regularidad' 8al&abilidad "ara el descubrimiento de esa regularidad es crítica enmuc&as a"licaciones' )sto &ace !ue el sistema funcione e,cazmenteen todo el es"acio incluso &a sido entrenado "or un conjunto limitadode ejem"los' (o "odemos %er en la siguiente ,gura

Optimi)ación

(as RRNN son una &erramientas interesantes "ara la o"timización dea"licaciones !ue normalmente im"lican la b.s!ueda del mínimoabsoluto de una función de energía

1%

http://www.gc.ssr.upm.es/inves/neural/ann2/abrtions.htmhttp://www.gc.ssr.upm.es/inves/neural/ann2/abrtions.htm


20/41

*na %ez !ue se de,ne la función de energía entonces ladeterminación de los "esos siná"ticos se &ace rá"idamente' 5araalgunas a"licaciones la función de energía es fácilmente deducible')n otras sin embargo esta función de energía se obtiene de ciertoscriterios de coste $ limitaciones es"eciales' )l ma$or "roblemaasociado al "roblema de o"timización es la alta "osibilidad decon%erger &acia un mínimo local en %ez de &acia el mínimo absoluto'5ara combatir este "roblema se utilizan algunas "ro"uestasestadísticas como "or ejem"lo "rocedimientos estocásticos'

&'emplos de #plicaciones con edes !euronales #rti$ciales

Antes de se=alar algunos de los ejem"los donde las Redes Neuronalestienen una im"ortante a"licación cabe decir !ue nos centramos enlos !ue "ueden tener más rele%ancia dentro de nuestro ámbito laIngeniería Informática

0rocesamiento de lengua*e natural

Con%ersión de te#to escrito a lenguaje &ablado'

!"#tal$ toma como entradas te#tos escritos $ como salidas deseadaslos códigos elegidos "ara re"resentar los fonemas corres"ondientes'Mediante la a$uda de un sintetizador /6)CtalF0 se transforman loscódigos en fonemas' 6urante el "roceso de a"rendizaje se obser%ócomo iba mejorando su &abilidad desde un ni%el de beb1 &asta elni%el de un ni=o de L a=os a"rendiendo a &acer distinciones difícilescomo "ronunciar una c sua%e o fuerte seg.n el conte#to' -i bien estose &abía conseguido antes la no%edad más im"ortante reside en !uemediante la red neuronal no es necesario de,nir $ "rogramar unmontón de com"lejas reglas "ues la red e#trae automáticamente el

conocimiento necesario'

20


21/41

Aprendi)a*e de gramáticas

/Rumel&art6' McClelland +'0 estudiaron la forma en !ueconstruimos las reglas sobre el lenguaje $ trataron de ense=ar a una

red neuronal el "asado de los %erbos ingleses' )l sistema fuemejorando $ al ,nal era ca"az de generalizar $ conjugar %erbosdesconocidos'

Compresión de imágenes

/Cottrell G'' $ otros0 &an conseguido codi,car imágenes con unarelación de com"resión de &asta O sin tener !ue idear ninguna regla$ alta ,delidad en la reconstrucción'

Reconocimiento de caracteres

Reconocimiento de escritura manual

Nestor Inc P? leen lo escrito mediante una tarjeta digitalizadora' 8ras a"render son ca"aces de reconocer escrituras !ue nunca &abían%isto antes' -e &a em"leado "or ejem"lo "ara reconocer Fanji/escritura ja"onesa0 eliminando la gran di,cultad !ue "resenta estelenguaje "ara introducirlo en el com"utador'

)l Neocognitrón /Quni&iFo >uFis&ima0 simula la forma en !ue la

información %isual a%anza en la corteza cerebral' Consigue unreconocimiento mu$ a%anzado de "atrones con gran ca"acidad deabstracción $ generalización !ue lo &acen ca"az de reconocer"atrones con distinta orientación $ altos ni%eles de distorsión'

Reconocimiento de patrones en imágenes

Clasi,cación de objeti%os

)n este cam"o se &an desarrollado numerosas a"licaciones como laclasi,cación de imágenes de sonar $ radar la detección de c1lulas

cancerosas lesiones neurológicas $ cardíacas "ros"eccionesgeológicas etc'' -on mu$ .tiles "ara "rocesar imágenes de las !ueno se sabe bien cuales son las características esenciales odiferenciales $a !ue las redes no necesitan dis"oner de reglase#"lícitas "re%ias "ara realizar la clasi,cación sino !ue e#traen elconocimiento necesario'

1isión arti!cial en robots industriales

5or ejem"lo "ara ins"ección de eti!uetas clasi,cación de

com"onentes etc' -u"era a otros sistemas de %isión ademásminimiza los re!uerimientos de o"eradores $ facilita elmantenimiento'

21

http://www.iiia.csic.es/tutorial/RNA_bibliografia.html#24http://www.iiia.csic.es/tutorial/RNA_bibliografia.html#24


22/41

"iltro de ruido

(as redes neuronales arti,ciales son mejores "reser%ando laestructura "rofunda $ el detalle !ue los ,ltros tradicionales cuando

eliminan el ruido' (a "rimera a"licación "rofesional de las redesneuronales consistió en un ,ltro "ara eliminar ruido en las líneastelefónicas'

0roblemas de combinatoria

(as redes neuronales arti,ciales están ofreciendo ciertas es"eranzasen el área de "roblemas algorítmicamente tan com"lejos como losN5


23/41

)n L MinsF$ $ 5a"ert realizan una seria crítica del 5erce"trónre%elando serias limitaciones como su inca"acidad "ara re"resentarla función S7R debido a su naturaleza lineal' )ste trabajo creó seriasdudas sobre las ca"acidades de los modelos cone#ionistas $ "ro%ocóuna caída en "icado de las in%estigaciones'

A=os T; a "esar del duro gol"e !ue su"uso el trabajo de MinsF$ $5a"ert "ara las in%estigaciones en com"utación cone#ionista un"u=ado de in%estigadores siguió trabajando $ desarrollando nue%asideas Anderson estudia $ desarrolla modelos de memorias asociati%as'6estaca el autoasociador lineal conocido como modelo brain


24/41

Redes de una capa2 0erceptrón Adaline . 3adaline

)erceptron

Antecedentes

)n U: arren McCulloc $ alter 5itts originaron el "rimer modelode o"eración neuronal el cual fue mejorado en sus as"ectosbiológicos "or 6onald Jebb en UO' )n L2 Kernard idro "ro"uso la regla de a"rendizaje idro<JoE $ >ranF Rosenblatt desarrolló una "rueba de con%ergencia $de,nió el rango de "roblemas "ara los !ue su algoritmo aseguraba

una solución' )l "ro"uso los V5erce"tronsV como &erramientacom"utacional'

"uncionamiento

)n la siguiente ,gura se re"resenta una neurona Harti,cialH !ueintenta modelar el com"ortamiento de la neurona biológica' A!uí elcuer"o de la neurona se re"resenta como un sumador lineal de losestímulos e#ternos zj seguida de una función no lineal $j P f/zj0' (afunción f/zj0 es llamada la función de acti%ación $ es la función !ueutiliza la suma de estímulos "ara determinar la acti%idad de salida de

la neurona'

(o %emos con detalle en la siguiente ilustración

)ste modelo se conoce como "erce"trón de McCulloc&


25/41

otras funciones sigmoidales /"'ej' la tan& W tangente &i"erbólica < 0 $otras funciones de umbral de dis"aro' (a e,ciencia siná"tica sere"resenta "or factores de "eso de intercone#ión ij desde laneurona i &asta la neurona j'

(os "esos "ueden ser "ositi%os /e#citación0 o negati%os /in&ibición0'(os "esos junto con las funciones f/z0 dictan la o"eración de la redneuronal' Normalmente las funciones no se modi,can de tal forma!ue el estado de la red neuronal de"ende del %alor de los factores de"eso /sina"sis0 !ue se a"lica a los estímulos de la neurona'

)n un "erce"trón cada entrada es multi"licada "or el "eso corres"ondiente $ los resultados son sumados siendo e%aluadoscontra el %alor de umbral si el resultado es ma$or al mismo el"erce"trón se acti%a'

Limitantes

)l "erce"trón es ca"az tan sólo de resol%er funciones de,nidas "or un&i"er"lano /objeto de dimensión N


26/41

*n 5erce"trón con tres ni%eles de neuronas "uede formar cual!uierregión con%e#a en este es"acio' (as regiones con%e#as se formanmediante la intelección entre las regiones formadas "or cada neuronade la segunda ca"a cada uno de estos elementos se com"orta comoun 5erce"trón sim"le acti%ándose su salida "ara los "atrones de un

lado del &i"er"lano'

*n 5erce"trón con cuatro ca"as "uede generar regiones de decisiónarbitrariamente com"lejas' )l "roceso de se"aración en clases !ue selle%a a cabo consiste en la "artición de la región deseada en"e!ue=os &i"ercubos'

Cada &i"ercubo re!uiere 2n neuronas en la segunda ca"a /siendo n elnumero de entradas a la red0 una "or cada lado del &i"ercubo $ otraen la tercera ca"a !ue lle%a a cabo el AN6 lógico de la salida de losnodos del ni%el anterior' (a salida de los nodos de este tercer ni%el seacti%aran solo "ara las entradas de cada &i"ercubo' (os &i"ercubos seasignan a la región de decisión adecuada mediante la cone#ión de lasalida de cada nodo del tercer ni%el solo con la neurona de salida/cuarta ca"a0 corres"ondiente a la región de decisión en la !ue estecom"rendido el &i"ercubo lle%ándose a cabo una o"eración lógica 7Ren cada nodo de salida' )ste "rocedimiento se "ude generalizar demanera !ue la forma de las regiones con%e#as sea arbitraria en lugarde &i"ercubos'

)n teoría el 5erce"trón de U ca"as "uede resuel%e una gran %ariedadde "roblemas cu$as entradas sean analógicas la salida sea digital $sea linealmente se"arable' )l "roblema "ráctico radica en el numerode neuronas en el numero idóneo de ca"as ocultas la e#tensión de lafunción de acti%ación el tiem"o de entrenamiento de la red lasim"licaciones en la generación de ruido /al tener un numero e#cesi%ode neuronas0 en contra"arte con la %entaja de tener un sistematolerante a fallas al tener un numero de neuronas redundante'

Aplicaciones del perceptrón

)l rango de tareas !ue el 5erce"trón "uede manejar es muc&o ma$or!ue sim"les decisiones $ reconocimiento de "atrones' 5or ejem"lo se"uede entrenar una red "ara formar el tiem"o "asado de los %erbosen ingles leer te#to en ingles $ manuscrito' )l 5erce"trón multica"a/M(50 "uede ser usado "ara la "redicción de una serie de datos en eltiem"o tal a sido su 1#ito en la medición de la demanda de gas $electricidad además de la "redicción de cambios en el %alor de losinstrumentos ,nancieros'

5redicción de mercados ,nancieros diagnósticos m1dicos el

5erce"trón como una red codi,cadora el 5erce"trón a"rende a sumarenteros'

2#


27/41

N)8talF a"licación de la !ue $a &emos &ablado anteriormente es un5erce"trón !ue es ca"az de transformar te#to en ingles en sonidoindi%idual /re"resentaciones fon1ticas0 $ la "ronunciación con lautilización de un sintetizador de %oz cuenta con a"ro#imadamente:;; nodos de neuronas /siendo O; en la ca"a escondida0 $ 2;;;;

cone#iones indi%iduales'

Algoritmo del 0erceptrón

)l objeti%o es encontrar un "erce"trón "ara calcular una función de n<%ariables de la !ue tenemos un ,c&ero de ejem"los es decir unaserie de líneas donde cada línea re"resenta un ejem"lo

x,- x,. /// x,n y

con los %alores de las entradas SXi seguido del %alor de la función"ara esas entradas'

5ara encontrar el "erce"trón tendremos !ue 3a"render4 los "esos Xiasociados a cada %ariable de entrada

X,i 0 el 1ias 1%W,n0- (que ser2a el 3um1ral+/

6e tal forma !ue la función !ue calculará el "erce"trón será

* % f(e+

-iendo e el estimulo !ue le entra al "erce"trón $ f la función deacti%ación del mismo

e% 1 0 4 x,i 5 W,i y f(x+% - 6(-0e7x+

)n el caso de !ue la salida fuese binaria la función !uedaría

* %- si f(e+ 8 9/:; e* % 9 si f(e+ < /:/

en el caso de !ue tomase n %alores discretos &abría !ue generalizaresto di%idiendo el inter%alo unidad Y;Z en n subinter%alos / "orcada %alor0'

-e su"one !ue el ,c&ero esta normalizado $ así tanto como cadaSXi toma %alores entre ; $ ' )n otro caso &abía !ue normalizarlo"re%iamente a dic&o inter%alo'

(o !ue se "retende es minimizar el error cuadrático medio

(4 error7.+6n= ejemplos+

27


28/41

mediante la t1cnica del gradiente descendente

>?!@#A!#"@

λ /tasa de a"rendizaje normalmente entre ;'; $ ;'0

) /)rror cuadrático medio admitido0

NºMa#Iteraciones /Nº má#imo de iteraciones !ue %amos a dar0

A'CAB&"@

I /nº de iteraciones0

Q /contador de ejem"los0

Yi''n[Z /"esos del "erce"tron0

SYi''nZ /%alores de la entrada en el ejem"lo actual0

/%alor de la salida en el ejem"lo actual0

-5 /salida del "erce"trón con la entrada del ejem"lo actual0

)rror /error en el ejem"lo actual0

)CM /error cuadrático medio0

0ASO 52 Iniciali)ación de &ariables

C%9DEara i%-//n0-WFi%H%"

0ASO 62 $ucle de iteraciones

Hientras (C < !=HaxCteraciones+ y ("rror>uadraticoHedio 8 "+

0aso 6752 $ucle de paso por todos los e*emplos

A1rir(


29/41

&eer(xFi (i%-//n+; y+

67575 Calcular error en ese e*emplo

@E % WFn0- 0 \ xFi 5 WFi /salida del "erce"trón con la entrada del

ejem"lo &0@E% -6(-0e7()@E++"rror % y ) @E /diferencia entre el %alor de $ en el ejem"lo & $ -50

67576 Actuali)ar los pesos seg9n el error de ese e*emplo6757675 Actuali)ar los pesos de las entradas

Eara cada i%-//nWFi % WFi 0 ]5@E5(-)@E+5xFi5"rror

6757676 Actuali)ar el bias #: ,umbral%

WFn0-%WFn0- 0 ]5@E5(-)@E+5"rror

6757; Incrementar contador de e*emplos

$%$0->errar(H0("rror+7.">H%">H6$ >errar(on 1ias %N; WFn0-+

2%


30/41

#daline

)s una de las estructuras neuronales más sim"les junto con el"erce"trón'

)stá formada "or un .nico elemento de "rocesado /Adaline Ada"ti%e(inear )lemento HidrouadrOtico Hedio sobre todos los "atrones de entrenamiento'

Cálculo de 0esos


31/41

)l )rror Cuadrático Medio

-ea

5ara &allar el mínimo deri%amos con res"ecto a $ se &ace igual a ;

Consecuencias5osee un e#tremo)l e#tremo es mínimo

31


32/41

$ac=propagation o Retropropagación2

edes de etropropagación +"ac,-prop

Al &ablar de redes de retro"ro"agación o redes de "ro"agación &aciaatrás &acemos referencia a un algoritmo de a"rendizaje más !ue auna ar!uitectura determinada'

(a retro"ro"agación consiste en "ro"agar el error &acia atrás esdecir de la ca"a de salida &acia la ca"a de entrada "asando "or lasca"as ocultas intermedias $ ajustando los "esos de las cone#ionescon el ,n de reducir dic&o error'

Ja$ distintas %ersiones o reglas del algoritmo de retro"ro"agación $distintos ar!uitecturas cone#ionistas a las !ue "ueden ser a"licados'

6urante muc&o tiem"o no se dis"uso de algoritmos "ara entrenarredes multica"a $ como las redes de una ca"a estaban mu$ limitadasen cuanto a lo !ue eran ca"aces de re"resentar el cam"o de lasredes neuronales arti,ciales estaba estancado'

(a in%ención $ "erfeccionamiento del algoritmo de retro"ro"agacióndio un gran im"ulso al desarrollo de este cam"o' 8iene un buen

fundamento matemático $ a "esar de sus limitaciones &a e#"andidoenormemente el rango de "roblemas donde se a"lican las redesneuronales arti,ciales'

Al "arecer el algoritmo fue ideado a "rinci"ios de los T; "or erbos $redescubierto a "rinci"ios de los O; "or 5arFer $ Rumel&artinde"endientemente' -in embargo no se &izo "o"ular &asta OLcuando Rumerl&art Jinton $ illiams "resentaron una descri"ciónclara $ concisa del mismo'

es !ue en un "rimer momento no se %aloró como se merecía' )l&ec&o de !ue "ermaneciera en el ol%ido tanto tiem"o tambi1n debeser una consecuencia de la condición interdisci"linar del cam"ore"artido entre las matemáticas $ ciencias de la com"utación lasneurociencias $ la "sicología'

6esde la fec&a cla%e de OL &an surgido nue%as %ersiones !ue &antratado de aumentar la %elocidad de con%ergencia del algoritmo $&an tratado de su"erar algunos de sus incon%enientes como latendencia a alcanzar mínimos locales $ no globales'

Descripción matemática del algoritmo de retropropagación

32


33/41

-e e#"lica una %ersión del algoritmo /Jinton 20 "ara redes con lassiguientes características

& No recurrentes& >unción de acti%ación sigmoidal

& Ca"as totalmente interconectadas& 7"eración totalmente síncrona&' Aleatorizamos los "esos de las cone#iones'2' 5resentamos un "atrón de entrada $ calculamos la salida':' 6ada una unidad j


34/41

)s justamente la diferencia entre la salida deseada $ la salidareal obtenida es decir la diferencia entre la acti%idad deseada$ la acti%idad real'

L' Cóm"uto de la ra"idez de %ariación del error al cambiar laentrada total !ue recibe cada unidad de salida'

)s igual a la tasa de %ariación del error al %ariar su acti%aciónmulti"licado "or la tasa de %ariación de la acti%ación al cambiarsu entrada / !ue es justamente la deri%ada de la funciónsigmoidal0'

T' Cóm"uto de la ra"idez de %ariación del error al ser modi,cadoun "eso de la cone#ión aferente a una unidad de salida'

)s igual a la tasa de %ariación del error al %ariar su entrada "orla tasa de %ariación de la entrada al %ariar ese "eso'

Jasta a&ora sabemos calcular el )A sólo "ara las unidades desalida ^ !u1 "asa con las unidades ocultas_' )n este caso notenemos una estimación directa del error a"ortado "or cadaunidad oculta a!uí es donde inter%iene la retro"ro"agación o"ro"agación &acia atrás del error

34


35/41

(a unidad i


36/41

& (os resultados dependen de los &alores iniciales aleatoriosde las cone#iones' )sto &ace !ue sea con%eniente entrenar%arias redes con distintas %alores iniciales $ elegir la !ue mejorfuncione'

& A %eces se re!uiere muc>o tiempo "ara obtener solucionessencillas' )ste "roblema se reduce gracias al aumento de"otencia de los "rocesadores $ al uso de nue%as tecnologíassin embargo el tiem"o de cóm"uto aumenta muc&o alaumentar el tama=o de la red' -i bien el %olumen de cálculo es"ro"orcional al n.mero total de cone#iones' )n la "ráctica alaumentar el tama=o de la red &acen falta más ejem"los dea"rendizaje $ eso "ro%oca un aumento aumenta muc&o ma$ordel tiem"o de a"rendizaje' 5ara incrementar la %elocidad decon%ergencia se &an desarrollado diferentes modi,caciones delalgoritmo'

& (a Hinter+erencia catastró!caH o em"eoramiento en elrendimiento del sistema como consecuencia de laincor"oración de nue%os ejem"los de a"rendizaje'

& La parálisis esto sucede cuando los "esos !uedan ajustados a%alores mu$ grandes esto &ace o"erar a las unidades de

"roceso con una acti%ación mu$ "ró#ima a $ "or lo tanto elgradiente del error tiende a ;___ en consecuencia no se"roducen modi,caciones en los "esos el a"rendizaje !uedadetenido' 5or eso es con%eniente aleatorizar los "esos de lascone#iones con %alores "e!ue=os $ usar la tasa de a"rendizajetambi1n "e!ue=a___ a "esar de !ue se ralentice el a"rendizaje'

& Inestabilidad temporal' -i usamos un coe,ciente dea"rendizaje ele%ado se %an a "roducir incrementos grandes enlos "esos de manera !ue es fácil "asarse de incremento $

tener !ue tratar de com"ensarlo en el siguiente ciclo demanera !ue se "roducirían oscilaciones continuas' )sto sesoluciona usando un coe,ciente "e!ue=o o "ara no tener una"rendizaje mu$ lento modi,car dic&o coe,cienteada"tati%amente /aumentarlo si el error global disminu$e $disminuirlo en caso contrario0'

& El problema de los m'nimos locales' )l algoritmo deretro"ro"agación usa un t1cnica "or gradiente descendienteesto signi,ca !ue sigue la Hsu"er,cie del errorH siem"re &acia

abajo &asta alcanzar un mínimo local "ero no garantiza !ue sealcance una solución globalmente ó"tima' -in embargo se &a

3#


37/41

com"robado !ue el &ec&o de alcanzar mínimos locales noim"ide !ue se consigan resultados satisfactorios' 5or otro ladose &an desarrollado m1todos "ara sol%entar este "roblemacomo el modo de o"eración asíncrono o "robabilístico $ el usode m1todos estadísticos'

5odemos considerar el error como una su"er,cie llena de desni%elessi soltamos una "elota caerá en alg.n %alle "ero no necesariamenteen el más &ondo sino en el más cercano /un mínimo local0'

*na idea intuiti%a "ara solucionar esto sería a"licarle cierta energía aesa su"er,cie agitándola o &aci1ndola %ibrar /momentum0 esto &aríasaltar a la "elota de %alle en %alle como de los %alles más "rofundoses más difícil salir tendería a estar en %alles cada %ez más "rofundos'

-i dejamos de agitar esa su"er,cie "oco a "oco al ,nal tendremos la"elota en el %alle más "rofundo de la su"er,cie'

7tras t1cnicas !ue "ueden a$udar a no caer en mínimos localesconsisten en a=adir cierto ni%el de ruido a las modi,caciones de los"esos de las cone#iones' 7tra medida "ro"uesta es a=adir ruido a lascone#iones "ero esto es más .til "ara darle robustez $ aumentar laca"acidad de generalización de la red' )stas medidas "or contraaumentan el tiem"o de a"rendizaje'

1alidación

!ecesidad de validación

*na %ez tenemos nuestro modelo es necesario "robarlo antediferentes situaciones $ circunstancias'

)s "reciso asegurarse de !ue nuestra red funciona correctamente $a!ue "odría no &acerlo "or diferentes moti%os' (os más usuales son lossiguientes

& )ntrenamiento insu,ciente

37


38/41

& Conjunto de datos no re"resentati%o& -obreentrenamiento

)unto óptimo para parar el entrenamiento

6entro de las t1cnicas de %alidación uno de los "rinci"ales objeti%os!ue se "ersigue es encontrar cuál es e#actamente el "unto en el !uedebemos "arar nuestro entrenamiento'

Generalmente se suelen seguir los siguientes criterios

& Al llegar a e%aluar un n.mero determinado de ejem"los& Cuando el error alcanza un mínimo& -i la reducción del error es inferior al esti"ulado

con%enientemente'

M/todo de validación simple

)ste es el m1todo conocido como 3&old


39/41

1tros m/todos de validación

-im"lemente mencionar otros m1todos usuales en la %alidación deredes neuronales

& Kootstra""ing& -tacFed generalization

¿)or qu/ validar y cómo?

)s de gran im"ortancia com"robar !ue nuestra red funcionacorrectamente con unos ejem"los con los !ue no &a sido entrenada/"ensemos en !ue como "a"aga$os "odría &aber a"rendido.nicamente los ejem"los con los !ue &a sido entrenada0'

5ara lle%ar a buen "uerto esta tarea tendremos !ue tener unconjunto de datos general !ue re"resente adecuadamente el"roblema "ara el !ue estamos trabajando con nuestra red neuronal'

Con todo el "roceso de %alidación tendremos !ue com"robar sinuestro modelo de cóm"uto se ajusta ,elmente a las situacionesreales !ue le "resentamos $ "ara lo !ue en de,niti%a &a sidoconcebido'

3%


40/41

$I$LIO/RA"ÍA

'as principales uentes bibliogr(icas son sitios de la red)

• R!: """#iiia#csic#es

• R!: """#gc#ssr#upm#es

• R!: """#monografias#com

• R!: $ttp:%% decsai#ugr#es%&castro%'C((

• R!: $ttp:%%o$m#utp#edu#co

• R!: """#lfcia#org

• R!: """#gui#u)a#es

• R!: $ttp:%%electronica#com#m*

• R!: """#google#es

40

http://www.iiia.csic.es/http://www.gc.ssr.upm.es/http://www.monografias.com/http://ohm.utp.edu.co/http://www.lfcia.org/http://www.gui.uva.es/http://electronica.com.mx/http://www.google.es/http://www.iiia.csic.es/http://www.gc.ssr.upm.es/http://www.monografias.com/http://ohm.utp.edu.co/http://www.lfcia.org/http://www.gui.uva.es/http://electronica.com.mx/http://www.google.es/


41/41

• R!: """#ugr#es

• +ransparencias sobre Redes Neuronales -uan !uis Castro Pe.a
http://www.ugr.es/http://www.ugr.es/

Apuntes Ampliados

Documents

Transcript of Apuntes Ampliados