Otras Técnicas Evolutivas

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as

Instituto Universitario de Sistemas Inteligentes y Aplicaciones Numéricas en Ingeniería

Otras Técnicas Evolutivas

Mario Hernández

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Contenidos

• ES: Estrategias Evolutivas (Rechenberg)• PE: Programación Evolutiva (Fogel)• SC: Sistemas Clasificadores • EP: Programas de Evolución (Michalewicz, 94) • PM: Programación Memética

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Historia (I)I. Rechenberg,H.-P. SchwefelTU Berlin, ‘60s

Estrategias Evolutivas

John H. HollandUniversity of Michigan,

Ann Arbor, ‘60sAlgoritmos Genéticos

L. FogelUC S. Diego, ‘60s

Programación Evolutiva

John KozaStanford University

‘80s (1989)Programación

Genética

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Historia (II)1859 Charles Darwin: herencia, variación, selección natural1957 G. E. P. Box: mutación aleatoria & selección para

optimización1958 Fraser, Bremermann: simulación por

computador de la evolución1964 Rechenberg, Schwefel: mutación &

selección1966 Fogel et al.: Autómatas que evolucionan (evolving

automata) – Programación Evolutiva (evolutionary programming)

1975 Holland: cruce (crossover), mutación & selección – “plan reproductivo”

1975 De Jong: Optimización paramétrica - “algoritmos genéticos”

1989 Goldberg: Primer libro de texto1991 Davis: Primer manual1993 Koza: evolución de programas LISP - “programación

genética”

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


ClasificaciónDos dimensiones

Unasolución

Variassoluciones

Generales (débiles)

Particulares (fuertes)

PG

ES

AG

PE

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Estrategias Evolutivas (ES)

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Introducción

• Surgieron como métodos estocásticos de escalada con paso adaptativo

• Diseñados para resolver problemas de optimización paramétrica

• Con el tiempo fueron incorporando procedimientos propios de la Computación Evolutiva hasta convertirse en un paradigma más de dicha metodología.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Introducción (II)

• Actualmente son Algoritmos Evolutivos enfocados preferentemente hacia la optimización paramétrica que trabajan sobre poblaciones de cromosomas que son números reales.

• Utilizan selección determinista y operadores específicos de mutación y cruce.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Introducción (III)• Hay diversos tipos de estrategias de

evolución• En la más común:

– Se crean nuevos individuos de la población añadiendo un vector mutación a los cromosomas existentes en la población

– En cada generación, se elimina un porcentaje de la población (especificado por los parámetros y µ), y los restantes generan la población total, mediante mutación y cruce

– La magnitud del vector mutación se calcula adaptativamente.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Estrategias Evolutivas Simples

• Nombre técnico (1+1)-ES• Evoluciona un solo individuo

utilizando solamente el operador genético de mutación

• Los individuos son bicromosomáticos y se representan a través de un par de vectores reales:

sxv ;

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Punto en el espacio de búsqueda

sxv ;

Vector de desviaciones típicas

Se usa parra realizar la mutaciónComo hay solo un progenitor, no hay selección

Criterio de reemplazo: un descendiente reemplaza a su progenitor si y solo si es más apto que este En caso contrario el descendiente es eliminado y la población permanece sin cambios

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


La evolución del cromosoma x se puede sintetizar así:

Criterio de reemplazo: un descendiente reemplaza a su progenitor si y solo si es más apto que este.En caso contrario el descendiente es eliminado y la población permanece sin cambios

contrariocasoentx

Xtxtxtxsiikstxtx

][]1[][]1[][,0][

1N

Donde N(0,s) es un vector de números aleatorios gaussianos independientes con media 0 y desviación típica s[t]

Salvo indicación en contra: lttts ,.....1][

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Convergencia

Se demuestra (*) que para óptimos finitos y bajo ciertas condiciones de regularidad, el esquema anterior converge al óptimo con probabilidad 1 cuando t

(*) Z. Michalewicz, Genetic Algorithms + Data Structures = Evolution Programs, Springer Verlag, 1994.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Velocidad de Convergencia

• No existen resultados teóricos concluyentes sobre la velocidad de convergencia

• Existe una regla semiempírica:

Hipótesis de 1/5 de éxitos: la velocidad óptima de convergencia se alcanza cuando [t], la relación de mutaciones con éxito frente al total de mutaciones vale 1/5

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Estrategia de evolución del 2º cromosoma

• Según la hipótesis de 1/5 de éxitos resulta innecesario someterlo a mutación.

• La estrategia óptima de evolución del 2º cromosoma es la que proporciona una tasa de éxito en las mutaciones lo más próxima posible a 1/5

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Ley de adaptación para el 2º cromosoma

k[t] coeficiente de éxito del operador mutación durante las k últimas generaciones (k parámetro)

ci > 1 y cd < 1 son coeficientes de regulación de la tasa de adaptación

Parametrización típica:

k 5 cd 0.82 ci 1/cd

5/1][][

5/1][][5/1][][

]1[tsiitc

tsiittsiitc

t

ki

k

kd

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Ley de adaptación para el 2º cromosoma

• Con esta ley, la búsqueda avanzará con pasos largos cuando tenga éxito y con pasos cortos en caso contrario

• NOTA: la mutación sólo afecta al primer cromosoma, ya que el segundo sólo se adapta en función del éxito que haya tenido la mutación del primero

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Procedimiento (1+1)-ES

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Resumen de (1+1)-ES

• También conocidas como EE de dos miembros• Modelo más sencillo de EE• Características de la estrategia:

1. Sencilla2. Útil en la práctica en problemas de ingeniería3. Procedimientos estocásticos de optimización de

paso adaptativo.4. No son, en esta versión simple, métodos evolutivos

propiamente

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Desventaja de (1+1)-ES

Como el resto de métodos de búsqueda simple, esta tiende a converger hacia subóptimos

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Solución

1. Para corregir, realizar una búsqueda múltiple y una selección de los mejores descendientes

2. Además, la mutación por si sola no tiene la capacidad de recombinar información de buenos individuos, por lo que es necesario introducir también operadores de cruce

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Estrategias Evolutivas Múltiples

• ES múltiples o multimiembros• Nombre técnico: (+)-ES

tamaño de la población

tamaño de ladescendencia

Dos tipos de reemplazo determinista:• Tipo “más”: por inclusión• Tipo “coma”:por inserción

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Métodos y Criterios en (+)-ES

• Representación• Tratamiento de Individuos no Factibles• Operadores Genéticos• Criterio de Selección• Criterios de Reemplazo

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Criterio de Representación

• Ya comentado; Mediante parejas de vectores reales

• Se utilizan también tríos, de manera que el último vector controla la correlación entre las mutaciones en cada componente

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Criterio de Tratamiento de Individuos no Factibles

• Se ignoran los individuos no factibles (filtrado)

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Operadores Genéticos

Por defecto son: • Cruce • Mutación

Se pueden introducir otros

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


CruceSe suele usar:• Cruce uniforme (para ambos cromosomas)• Cruce intermedio: generando un solo descendiente promediando los dos progenitores• Progenitores:

• Descendencia:

• A veces se realiza cruce en modo global, es decir, tomando un nuevo par de progenitores para cada componente de la descendencia

mm

mm

ssxx

ssxx

',';','

,;,

11

11

222

12

111 ',';'21,'

21

mmmm ssssxxxx

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Mutación• Idem caso (1+1)-ES:

• Salvo que ahora no se verifica la hipótesis del 1/5 de éxitos, sino que el segundo cromosoma se somete también a mutación de la siguiente manera:

• Donde es un parámetro del método

])[,0(][]1[ tsNtxtx

][]1[ ),0( tsets N

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Criterio de Selección

Por muestreo aleatorio simple: cualquier miembro de la población puede ser elegido como progenitor con igual probabilidad

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Criterios de Reemplazo• Determinista eligiéndose siempre los mejores

miembros• Se puede hacer:

– Por inclusión ó (+)-ES: se juntan los descendientes con los criadores en una sola población, y de ella se toman los mejores miembros para la nueva población

– Por inserción ó (,)-ES: según el tamaño relativo de la descendencia respecto a la población se distinguen dos casos: : se eliminan los peores miembros de la población de

criadores. Su lugar resulta ocupado por los descendientes > : se construye una población con los mejores

miembros de la población de descendientes

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Criterios de Reemplazo (II)

• NOTA: En el criterio (,)-ES (por inserción) la población varía mucho de una generación a otra, por lo que debe usarse con especial cuidado. Este criterio resulta útil para optimizar objetivos no variables en el tiempo o ruidosos.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Mejoras en (+)-ES

Muchas posibles• Se pueden crear nuevas variedades

modificando los anteriores métodos o criterios

• Pe: hay una variedad que utiliza representación con vectores enteros y nuevos operadores de mutación adaptados a esa representación

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


ES versus AGSus orígenes son distintos, pero con el tiempo y los desarrollos se han ido acercando. Hoy día se puede considerar que los ES son un tipo especial AG (o viceversa) distinguiéndose por:

ES AGGeneralidad Más conocimiento específico Propósito generalCampos de aplicación Optimización Paramétrica Optimización de Atributos

(problemas combinatorios)Clave de búsqueda Alteración (operadores de

mutación)Recombinación (operadores de cruce)

Criterio de reemplazo Determinista EstocásticoTamaño de descendencia

Fijo de antemano Fijo en promedio (Tasa de Cruce)

Mutación Todos los individuos la sufren en función del vector de dispersiones

Solo unos pocos pero igual de drástica en todos ellos

Tratamiento de los puntos no factibles

Implícito mediante filtrado Específico

Tipo de búsqueda Local Preferentemente global

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Ejemplo

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Minimización mediante ES de los costes de seguimiento en procesos

dinámicos

• Resolución de un “problema real” de Teoría de Sistemas en el ámbito empresarial

• Las ES permiten resolverlo utilizando una formulación genérica, es decir, sin utilizar información específica

• Esto permite particularizar inmediatamente las soluciones obtenidas a una gran variedad de sistemas que se dan en el ámbito empresarial

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


DefiniciónDada una fábrica modelada como un proceso

dinámico realimentado como el de la figura

Se trata de diseñar un control que permita minimizar los costes ocasionados por la planta al tratar de seguir la señal de referencia

referencia error respuesta

Planta-

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Detalle del modelo: VariablesGenérico (caja negra) que se corresponde, entre otras, al

siguiente caso:• La planta es una factoría/almacén• u[k] demanda de un cierto producto• y[k] oferta capaz de generar la planta

u[k] y[k]

e[k]

referencia error respuestaPlanta-

La oferta se adecúa a la demanda y, por tanto, el error e[k] := u[k] - y[k]

Se hace nulo

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Detalle del modelo: Respuesta dinámica

Comportamiento:Al producirse variación en la demanda u[k], la planta no puede seguirla instantáneamente, lo que ocasiona un error en el seguimiento de la demanda e[k] 0

u[k]

y[k]e[k]Planta-

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Detalle del modelo: Respuesta dinámica (II)

Para la planta estos errores son perjudiciales. Casos:

1. e < o la oferta supera a la demanda Costes de Almacenamiento

2. e > o la demanda supera a la oferta Costes de Oportunidad

Costes de Almacenamiento

Costes de Oportunidad

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Objetivo

Diseñar un modelo de gestión que corrija la respuesta de manera que haga mínimo el valor de los costes totales de seguimiento

demanda

y[k]

e[k]Gestión-

error

oferta

u[k]Planta

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Costes de seguimientoÍndice que mide los costes totales de seguimiento:

][].[][].[:0

kekckekcC opk

alT

Donde:cal[k] costes de almacenamiento en el instante kcop[k] idem de oportunidad

Y (k) la función rampa:

contrariocasoenzsiiz

z0

0)(

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Restricciones

Se imponen para ajustarse lo más posible a la realidad:1. Error nulo en régimen permanente: La gestión n o

debe alejar a la planta del seguimiento exacto de la señal en estado estacionario, es decir que:

2. Evolución suave: La gestión no puede someter a la planta a seguir un comportamiento fuertemente variable. Los sistemas reales (y más los empresariales) evolucionan suavemente

0][lim

kek

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


• El proceso de la planta puede ser identificado a través de un modelo discreto de ecuación en diferencias P(q) donde q es el operador de retraso

• Pe. para una planta en concreto, con una herramienta de análisis de series temporales:

• Y con un índice de costes derivado de cal[k] = cop[k] = 1

32

325

8607.07168.28561.219276.08534.310*014.4)(

qqqqqqqP

0

][k

T keC

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Respuesta sin correcciónCuando no hay gestión G(q), al producirse variación unitaria de

la demanda, la oferta evoluciona según la gráfica

Los costes totales en los que se incurren son: CT = 54.1472 unidades monetarias

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Reducción de costos con modelo de gestión

Modelo de Gestión de segundo orden propuesto :

Se trata de hallar los valores de los coeficientes a0, a1, a2, b1, b2 que minimicen los costes CT sin violar las restricciones que se establecen en ai bi [-200, +200]

221

2210

1)(

qbqbqaqaaqG

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Resolución

Tras varios ensayos de tanteo se eligen los siguientes valores iniciales:

a0 = 30 a1 = -60 a2 = 25 b1 = 1 b2= -1

Con ellos se ejecuta una implementación de ES que proporciona los siguientes resultados:

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


• Al ejecutar el procedimiento se observa que en las primeras etapas de la búsqueda, los controles hallados originan controles altísimos (del orden de 1013), señal de que son inestables o de que no pueden mantener el requisito de seguimiento exacto.

• AL ir progresando la búsqueda, la ES proporciona controles estables y de buen comportamiento dinámico que además logran reducir los costes de seguimiento hasta poco más de la quinta parte.

• Ahora la oferta responde a una variación unitaria de la demanda a la manera indicada en la figura.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


FIN

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Programación Evolutiva (PE)

Mario Hernández

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Programación Evolutiva(PE)

• Fogel (años 60)• Constituyen una estrategia de

optimización estocástica• Es similar a los algoritmos genéticos y

simultánea a ellos

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Intento de utilizar la evolución para crear máquinas inteligentes, que puedan prever su entorno y reaccionar adecuadamente a el.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Teoría

“El comportamiento inteligente es una habilidad compuesta que, primero predice el entorno y segundo traduce esa predicción en una respuesta adecuada en función de algún objetivo”

David B. Fogel

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Teoría (II)

Un prerrequisito para el comportamiento inteligente es el éxito en la predicción del entorno.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Soporte conceptual del algoritmo

Un autómata es un conjunto de estados y reglas de transición entre ellos, de forma que, al recibir una entrada, cambia o no de estado y produce una cierta salida.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Teoría (III)Sea que el entorno se corresponda con una

secuencia de símbolos pertenecientes a un alfabeto finito

TAREA: crear un algoritmo que opere en el conjunto de símbolos indexados y produzca uno de salida que se corresponda con el siguiente símbolo que emerja del entorno

En vez de determinar el algoritmo se determina una MEF que es capaz de ejecutarlo

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


• Se trata de hacer aprender a estos autómatas a encontrar regularidades en los símbolos que se le van enviando.

• Como método de aprendizaje, se usa un algoritmo evolutivo: una población de diferentes autómatas compiten para hallar la mejor solución, es decir, predecir cual va a ser el siguiente símbolo de la secuencia con un mínimo de errores.

• Los peores (50%) son eliminados en cada generación y sustituidos por otros autómatas resultantes de una mutación de los existentes.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


•Estados etiquetados por letras mayúsculas y representados por círculos•reglas de transición, con líneas que unen los estados •Los símbolos de entrada son 0 y 1, idem. los símbolos de salida

A B

0/1

1/0 1/00/1

Entorno 1 0 1 1 1 0 0 1 1 1 0 1Predicción de la MEF 0 1 0 0 0 1 1 0 0 0 1Estado Actual A B A B B B A A B B B

A

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


q1

q0

q2

b/c c/ba/b

c/c

a/b

b/c

a/a

c/ab/a

AEF: (Q, q0, A, , ) • Conjunto de estados Q;• Estado inicial q0;• Conjunto de estados aceptadores A;• Alfabeto de símbolos ;• Función de transición : Q Q;• Función de Salida : Q ;

q0 q1 q2

a

b

c

stateinput

q0

q0

q0q1 q1

q1

q2

q2

q2

a

c c

c

a

ab

b b

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Proceso de Predicción

a b c a b c a b

b =?no

yes

f() = f() + 1

indivíduo

predicción

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Programación Evolutiva: Selección

Variante de la selección por q-torneo estocástico:

1

2

q... Puntuación() = #{i | f() > f(i) }

Ordenación de individuos decreciente según puntuaciónSe seleciona la primera mitad (Selección por truncamiento)

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Procedimiento Básico (Fogel)

1. Población Inicial: Una colección de algoritmos (MEF) se exponen al entorno, es decir, a la secuencia de símbolos que han sido observados hasta el instante actual.

2. Para cada MEF y cada símbolo de entrada, se compara el símbolo de salida con el próximo símbolo de entrada

3. El valor de esta predicción se mide entonces respecto a la función de evaluación (payoff function) del error que suele ser:

a. Todo-nadab. Error absolutoc. Error cuadráticod. Etc ...

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Procedimiento Básico (Fogel) (II)

4. Realizadas todas las predicciones, la aptitud de la máquina la da la función de evaluación de cada símbolo.

5. Las distintas máquinas evaluadas son gradadas en función de su aptitud, es decir, lo bien que predicen el próximo símbolo que entrará proveniente del entorno.

6. Los que reciben una gradación por encima de un nivel umbral son retenidos como CRIADORES (padres) para la próxima iteración. El resto resultan descartados.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Procedimiento Básico (Fogel) (III)

7. Se genera la descendencia, que se valora por el mismo criterio que el de sus padres, y el proceso continúa iterativamente hasta que se consiga un individuo de suficiente calidad, o hasta que se alcanza un cierto número de generaciones. La descendencia se genera según los criterios:

• Las máquinas descendientes se crean aleatoriamente mutando cada máquina criador.

• Cada criador produce un solo descendiente (por conveniencia)

8. La descendencia se evalúa sobre el entorno definido de la misma manera que los criadores.

9. Las máquinas con mayor valor de función de evaluación resultan retenidas para la próxima generación. Típicamente la mitad del total de máquinas se salvan tal que la población permanezca de tamaño fijo.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Versatilidad del procedimiento

• La función de evaluación (payoff function) puede ser arbitrariamente compleja

• No es imprescindible que la predicción se realice un paso adelante. Puede realizarse con una longitud arbitraria hacia adelante.

• El entorno no tiene por que ser estacionario, porque el proceso de evolución simulado podría adaptarse a los cambios en los estadísticos de transición

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Mutación

• Hay cinco modos posibles de mutación aleatoria:– Cambio de un símbolo de salida– Cambio de una transición de estado– Añadir un estado– Eliminar un estado– Cambiar el estado inicial

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Mutación (II)

• Restricción: La eliminación de un estado y el cambio del estado inicial sólo se permiten cuando la máquina criador tiene más de un estado

• Las mutaciones se escogen respecto a una distribución de probabilidad, normalmente uniforme.

• El número de mutaciones por descendiente puede ser fijo a priori o escogido respecto a una distribución de probabilidad (pe Poisson)

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


The first four experiments were used to demonstrate the sensitivity of the procedure’s capability to predict symbols in the sequence as a function of the types of mutation that were imposed on the parent machines. The environment used was the repeating pattern (101110011101)*. These initial experiments have no penalty for complexity (why a penalty for complexity? Well because huge machines would simply develop that are nothing but the sequence of symbols we input! This is not the desired end!) and only a single mutation was applied to each parent to derive it’s offspring. Mutation was one of these 5 :

Add a state Delete a state Randomly change a next state link Randomly change the start state Change the start state to the 2nd state assumed under available experience.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Sistemas Clasificadores (SC)

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as



• Son sistemas de aprendizaje artificial basados en Algoritmos Evolutivos.

• Constituyen un sistema de aprendizaje inductivo de reglas de decisión basados en atributos, con el que se trata de producir respuestas adecuadas a un conjunto de estímulos a través de un proceso de clasificación de conceptos que van siendo adquiridos empíricamente.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as



• Un sistema clasificador es un sistema de aprendizaje inductivo de reglas de decisión sobre espacios basador en atributos con el que se trata de producir respuestas adecuadas a un conjunto de estímulos a través de un proceso de clasificación de conceptos que van siendo adquiridos empíricamente.

• “Un Sistema Clasificador es un sistema de aprendizaje automático que aprende sintácticamente reglas de cadenas sencillas para guiar su desempeño en un entorno arbitrario” Goldberg

• Un CS consta de tres componentes principales: – Sistema de reglas y mensajes– Sistema de Compromiso de Crédito (Apportionment of credit)– Algoritmo Genético (para evolución de clasificadores)

• Implementado por primera vez en un sistema denominado CS1 (Holland/Reitman-1978).

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Sistemas Clasificadores (II)• La poblaciión se codifica como reglas (aproximación Michigan). Ejemplo de reglas

de clasificación:SI <condicion> ENTONCES <accion>

• Los SC poseen mecanismos generales para procesar las reglas en paralelo, para generar nuevoas reglas de modo evolutivo y para verificar su eficacia en el entorno.

• Esto se logra manteniendo una población de reglas codificadas como cadenas de bits de longitud fija (a dechas cadenas es a las que se llama clasificadores):

00##:000000#0:110011##:1000##00:0001

• A diferencia de los Sistemas Expertos, los SC permiten la activación en paralelo de las reglas. Asimismo para arbitrar entre dos alternativas mutuamente excluyentes, a diferencia de lso sistemas expertos, utilizan estrategias competitivas de arbitrio en vez de procedimientos basados en el orden o similares

• Los clasificadores evolucionan en función de una serie alterna de estímulos y refuerzos proporcionados por el entorno.

• La finalidad última es que el sistema aprenda de modo inductivo un conjunto de conceptos que le permita responder apropiadamente a los estímulos del entorno

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Estructura Genérica de un SC

• El entorno activa los detectores que generan mensajes de entrada que pasan a una caja de mensajes internos

• El SC mantiene una población de reglas activadas a su debido tiempo por los mensajes internos

• De entre las respuestas producidas se realiza una subasta, de manera que las reglas pujan en función de su fuerza, y las más fuertes pasan a los actuadores

• El mecanismo de aportación de crédito actualiza la fuerza de las reglas repartiendo entre ellas el refuerzo proporcionado por el entorno, de modo que favorezca a las mejores

• Cada cierto número de ciclos se pone en marcha un procedimiento evolutivo de actualización de la población de reglas, cuya tarea no es tanto encontrar la mejor reglas como proporcionar una población completa de ellas que ejecute lo mejor posible la labor de reconocimiento y clasificación de conceptos.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Aprendizaje de un Concepto a través de un

SC• Problema: control de una cuba de fermentación

• Atributos observables:

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


• Suceso: cada asignación de valores• Selector: asignación de valor a un

atributo (equivale a alelo)• Se admiten asignaciones múltiples o

indeterminadas (*)

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


• Es imposible obtener leyes de control analíticas para este problema

• Ni siquiera es posible plantearlo como problema de optimización, ya que no hay ecuaciones de la evolución temporal del modelo.

• Se plantea por eso el control mediante reglas de decisión, intentando describir conceptos o pautas de comportamiento ante ciertos sucesos.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


• Cada concepto se expresa en función de sus atributos mediante una simplificación de la lógica de predicados:

• “La fermentación es excesivamente lenta si la presión y la densidad son simultáneamente altas o la presión y el caudal simultáneamente intermedios”

• “Hay fermentación con precipitación de posos si se enturbia el producto y el caudal no es alto”

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Con esta terminología, el problema del aprendizaje inductivo mediante reglas consiste en construir un sistema lógico capaz de determinar si un suceso – posiblemente no identificado con anterioridad – está dentro o fuera del “campo semántico” (descripción) de cierto concepto.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


Formulación de Michigan (Holland)

• Las reglas se codifican mediante clasificadores con dos partes: condición y acción

• Donde qp pertenece al dominio T del atributo correspondiente que incluye el símbolo de indiferencia (*), y di es una variable binaria que está a 1 si es un ejemplo positivo del concepto Ci correspondiente.

• PE: representación del concepto C1:

• Idem con el C2:

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


• Un SC mantiene una población de clasificadores interactuando con el entorno, que se actualiza a través de un algoritmo genético para mejorar progresivamente la capacidad de desenvoltura del sistema en dicho entorno.

• La capacidad de desenvoltura se mide asociando a cada clasificador qj una fortaleza sj que sirve para participar en el AG y para competir en la subasta con la que se determina que clasificadores mandan sus mensajes.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


• Sea que se desea que el sistema aprenda a discernir cuando la fermentación transcurre demasiado lentamente, es decir, el concepto C1 y que se parte de la siguiente población de clasificadores:

• Sea que del entorno llega el mensaje de un nuevo suceso siguiente:

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


• Descripción de una cuba con la presión alta, baja temperatura, turbidez, caudal alto, densidad alta y sin ebullición.

• Este constituye un ejemplo positivo del concepto C1, por tener presión y densidad altas.

• El mensaje anterior activa tres clasificadores, indicados con :

• Que deben competir en la subasta para mandar sus respectivos mensajes de acción.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


• Los clasificadores pujan en función de su fortaleza bidj = b.sj

• Sólo el clasificador más fuerte puede enviar su mensaje, en este caso q1

• Dicho clasificador, al ser una muestra positiva del concepto, obtendrá una recompensa r>0, de manera que su fortaleza pasa a ser:

• Si fuese una muestra negativa del concepto, la recompensa habría sido negativa.

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


• El procedimiento anterior se repite hasta que le toque actuar al AG, lo que se hace cada cierto número de pasos TAG, que es cuando la fortaleza actual de cada clasificador se utilizará como medida de aptitud.

• Se hace selección por sorteo, reemplazo por factor de llenado y como operadores genéticas los de una representación entera.

• Para la mutación se conserva la aptitud del padre y para el cruce, la media de la aptitud de los padres

• Concluido con el AG, la nueva población resultante sustituye a la anterior

• Al final la población de clasificadores deberá converger a un conjunto de individuos de gran fortaleza con los que se describa lo mejor posible cada concepto C i

Bi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

asBi

oinf

orm

ática

-Otra

s Téc

nica

s Evo

lutiv

as


FIN

Otras Técnicas Evolutivas

Documents

Transcript of Otras Técnicas Evolutivas