Fusion de sistemas fuzzy y redes neuronales
Tomado de Kwang H. Lee, Division of Computer Science, KAIST
FS y NNs: metodos complementarios
Sistemas fuzzy Facil de representar conocimiento humano:
usan terminos linguisticos y reglas if-then no tienen algoritmos de aprendizaje
Redes neuronales capacidad de aprendizaje a partir de datos dificultad para la representacion de conocimiento
Tipos de fusion de FS y NNs
Concatenacion de NNs y FS
Redes neuronales que usan sistemas fuzzy
Sistemas fuzzy que usan NNs
Modificacion de FS con NNs (sistemas neuro-fuzzy)
Construccion de funciones de pertenencia con NNs
CONCATENACION DE REDES NEURONALES Y SISTEMAS FUZZY
Combinacion en paralelo Correccion de las salida de un FS con una NN
FS
NN
+
Combinacion en paralelo: ejemplo Mecanismo de correccion para una lavadora
FuzzySystem
Clothes mass(3 values)
Clothes quality(4 values)
NeuralNetwork
Clothes mass(3 values)
Clothes quality(4 values)
Electrical conductivity(5 values)
Water flow speed
Washing time
Rinsing time
Spinning time
Correction values
Combinacion en cascada La salida de un sistema es la entrada del
otro sistema
NN
FS
FS
NN
Combinacion en cascada: ejemplo Ventilador electrico japones
Fan
body
Remote controller
Center sensor(C)
Right sensor (R)
Left sensor (L)
(a) the angle between remote controller and fan
Fuzzy System
NN
),,max(
),,(mid
CRL
CRL
),,max( CRL
),min(RC
C
LC
C
Ratio of sensor output
estimate
(b) cascade combination of NN and FS
Value corresponding to distance
REDES NEURONALES QUE USAN SISTEMAS FUZZY
Construccion de NNs con particion fuzzy del espacio de entrada
Los metodos en esta categoria usan un FS o una estructura de reglas fuzzy para diseñar la red neuronal
En lugar de entrenar una sola NN para todos los datos de entrada-salida, . . . .
este modelo construye varias redes
Construccion de NNs con particion fuzzy del espacio de entrada
Construye un clasificador fuzzy que agrupa (clusters) los dados de entrada-salida dados en varias clases
Construccion de NNs con particion fuzzy del espacio de entrada
Construye una NN por clase
NNs sobre las particiones fuzzy
If X is C1 Then NN1
NN2
NN3
If X is C2 Then
If X is C3 Then
Entrena las NNs con los dados I/O en la clase correspondiente
C1C2
C3
Fuzzy partitions
NN1
NN2
NN3
C1
C2
C3
Training NNs for each class
Input Space
If X is … Then C1
If X is … Then C2
If X is … Then C3
NNiIf X is Ci Then
Modelo de Takagi y Hayashi Un ejemplo de este modelo fue propuesto por
Takagi y Hayashi
En este modelo se usa una NN para construir un clasificador fuzzy
y se propone un metodo para reducir el numero de reglas o de variables de entrada redundantes
El modelo se resume a continuacion
Modelo de Takagi y Hayashi1. Preparacion de los datos
Los datos se dividen en dos grupos:
Conjunto de entrenamiento (ntr) : Se usa para construir la NN
Conjunto de prueba (nts): Se usa para reducir el # de variables de entrda m
1 2, , ,i mx x x x
Modelo de Takagi y Hayashi2. Particion crisp del espacio de entrada
Los datos en el conjunto de entrenamiento se agrupan en r clases mediante un metodo de clustering crisp: Cs( s = 1, 2, …, r )
Los datos pertenecientes a un grupo se denotan:
str
ssi
si niCy ,,2,1,),( x
Modelo de Takagi y Hayashi3. Desarrollo del clasificador fuzzy
Se construye un clasificador fuzzy usando una red neuronal, NNmem
NNmem se entrena usando los nuevos datos,
NNmem cambia las fronteras crisp a fuzzy
rsniC
C strs
i
sis
i ,,1;,,1 0
1
x
x
Modelo de Takagi y Hayashi
4. Desarrollo de las redes neuronales
Se construyen las NNs para cada Cs
NNs aproxima a los datos dados
que pertenecen a Cs
Obteniendose la estructura de reglas fuzzy con redes neuronales
str
ssi
si niCy ,,2,1,),( x
5. Reduccion de las variables de entrada1. Se evalua NNs
usando el conjunto de prueba (suma de los errores)
2. Se elimina una variable de entrada arbitraria xp
3. Se entrena NNs con los datos sin xp
4. Se evalua el desempeño de la nueva NNsp (suma de los errores)
5. Si , xp puede descartarse
6. Las mismas operaciones se mantienen para las m-1 variables de entrada restante
tsn
iimemisi
sm NNNNyE 2)}()({ xx
tsn
iimemi
psi
spm NNNNyE 2
1 )}()({ xx
spm
sm EE 1
Modelo de Takagi y Hayashi
Modelo de Takagi y Hayashi
Las redes neuronales construyen una estructura de reglas fuzzy
CONSTRUCCION DE FUNCIONES DE PERTENENCIA CON REDES NEURONALES
Construccion de funciones de pertenencia con NNs En este metodo se usa una red neuronal para
generar unas reglas fuzzy compactas
Las reglas fuzzy
Se generan hipercubos fuzzy k-dimensionales en el espacio de entrada
Se construyen NNs cuyas salidas son los grados que una entrada pertenece a cada regla
Construccion de funciones de pertenencia con NNs
C1
C2 C3
Input Space
R1: If X is C1 then Y=F1
R2: If X is C2 then Y=F2
R3: If X is C3 then Y=F3
+NeuralNetworkX
)(1
XC
)(2
XC
)(3
XC
F1
F2
F3
Reglas fuzzy sobre hiper-espacios fuzzy
MFs con NNs: Ejemplo Controlador Hitachi para un rodillo
El sistema produce laminas planas de hierro, system making flat plates of iron, acero o aluminio
20 reglas fuzzy con 20 plantillas estandar de perfiles de superficie
Una NN produce el grado en que superficie arbitraria pertenece a cada regla
MFs con NNs: Ejemplo
If scanned shape is Then control A
If scanned shape is Then control B
If scanned shape is Then control C
Controlling 20 roles
Surface shape
time
NN
Controlador Hitachi de un molino
SISTEMAS FUZZY QUE USAN REDES NEURONALES
Modificacion de FS con NNs
En las redes neuronales ordinarias: Los nodos tienen la misma funcionalidad y estan conectados completamente con los nodos de
capas vecinas
En la representacion de un FS con una estructura de NN feedforward multicapa: Los nodos tienen diferente funcionalidad y no estan conectados completamente con los nodos de
capas vecinas
Modificacion de FS con NNs
Las diferencias surgen del hecho de que:
Algunos nodos representan los terminos linguisticos de las variables de entrada
Algunos nodos representan los terminos linguisticos de las variables de salida
Algunos nodos y conecciones se usan para representar reglas fuzzy
Modificacion de FS con NNs
Los meritos surgen del hecho de que: Es facil añadir conocimiento experto antes del
aprendizaje
Tiene capacidad de aprendizaje con backpropagation y otros algoritmos
Por lo tanto, la convergencia a un minimo local puede no ser tan serio acomo en el caso de NNs ordinarias
Red neuronal fuzzy
X1
X2
Xm
.
.
.
.
.
L1
Input var.L2
Input var’s termL3
RuleL4
Output var.
I11
I12
I13
I21
I22
Im1
Im2
R1
R2
R3
Rr
n m l k j
Wmn Wlm
Wkl
Wjk
.
.
Y
.
.
T1
T2
Tt
Cinco capas 1: nodos de entrada
2: terminos linguisticos de las
entradas
3: antecedentes de las reglas
4: consecuente de las reglas
5: nodo de salida con la de-
fuzificacion
Propuesta por Kwak y Lee (‘94)
Red neuronal fuzzy
otherwise ,0
],[ ,1
],( ,1
)(
)()(2
jjj
j
j
jjj
j
j
j
j
AAAiA
Ai
AAAiA
Ai
A
Aj
cslcxsl
cx
srccxsr
cx
x
xxf
Segunda capa (terminos linguisticos de entrada)
Red neuronal fuzzy Tercera capa (antecedentes de las reglas)
“IF X1 is I11 and ··· and Xm is Im1 THEN”
usedproduct if )(
used minimum if )(min),,,( 1
213
p
i i
ipi
pj x
xxxxf
Red neuronal fuzzy Cuarta capa (consecuentes de las reglas)
“IF consecuent part THEN Y is Tt ”
}{max)(1
4iji
q
ij xwxf
un nodo representa un termino linguistico de la variable de salida.
Red neuronal fuzzy Quinta capa (Defuzificacion)
n
i iiB
n
i iiBiii
xy
xyyxBCentroid
i
i
)),(min(
)),(min(),(
Bi es el conjunto fuzzy representado por el nodo ijen la cuarta capa
xi es la salida del nodo
Red neuronal fuzzy Quinta capa
Red neuronal fuzzy
Algoritmo de aprendizaje
basado en backpropagation
Se encuentran: Los pesos de las conexiones entre las capas 3 y 4
Los parametros en los nodos de las capas 2 y 4
SISTEMA DE INFERENCIA ADAPTIVO NEURO DIFUSO (ANFIS)
Estructura de la red anfis
A11
A22
A21
A12
Π
Π
N
N
y*
x1
x2
11
1( )A
x
21
1( )A
x
12
2( )A
x
22
2( )A
x
µ1
µ2
1
2
x1 x2
x1 x2
1 1f
2 2f
Estructura de la red anfis
Layer 1 : Each node in this layer is an input node that just passes external signal to the next layer .
Estructura de la red anfis
Layer 2 : Each node in this layer acts as a membership fun. , and its output specifies the degree to which the given xi satisfies the parameters in this layer are referred to as precondition parameters.
( )ji
iAx
m2,...,n 1,n i para (y),μO
n2,..., 1, i para (x),μO
n-i
i
Bi1,
Ai1,
Estructura de la red anfis
Layer 3 : Each node in this layer performs
Each node output represents the firing strength of a rule. In fact, other t-norm operators can be used as the node function for the generalized AND function.
1 2
1 2 = j jj A Ax x
1,2i (y)μ(x)μwOii BAii2,
Estructura de la red anfis
Layer 4 : Each node in this layer calculates the normalized firing strength of a rule
1 2
jj
1,2iww
wwO
21
iii3,
Estructura de la red anfis
Layer 5 : Each node j in this layer calculates the weighted consequent value
Parameters , and are to be tuned .
Parameters in this layer are referred to as consequent parameters.
0 1 1 2 2j j j
j a a x a x
0ja 1
ja 2ja
0 1 1 2 2j j j
j a a x a x
1,2i)rqyx(pwfwO iiiiii4,
Estructura de la red anfis
Layer 6 : The node in this layer sums all incoming signal to obtain the final
inferred result for the whole system .
ii
i
iii
ii5,1 w
fwfwO
Las reglas en la red anfis
R1 : IF x1 is A11 AND x2 is A2
1 , THEN y = f1 = ao1+a1
1x1+a21x2
R2 : IF x1 is A12 AND x2 is A2
2 , THEN y = f2 = ao2+a1
2x1+a22x2.
* 1 1 2 2
1 2
f fy
Inferencia en la red anfis
j1 2
1 2A = ( ) ( )jj A
x x
Aprendizaje en la red anfis
~ tuning of , , , ( 1) 0 ~ , 1 ~j j j ji i i ia m b i n j M
~ ( 1) ( ) ,j ji i j
i
Ea t a t
a
*0
1
( ) , where 1jdiMj
i kk
Ey y x x
a
Aprendizaje en la red anfis
~ tuning of , , , ( 1) 0 ~ , 1 ~j j j ji i i ia m b i n j M
~ 1 ,j ji i j
i
Em t m t
m
2
1
2
( )
ji ijd
jMj ji i
kk
x mf yEy y
m
Aprendizaje en la red anfis
~ tuning of , , , ( 1) 0 ~ , 1 ~j j j ji i i ia m b i n j M
~ ( 1) = ( ) ,j ji i j
i
Et t
23
1
2 =
( )
ji ijd
jMj ji i
kk
x mf yEy y
Aprendizaje en la red anfis
~ tuning of , , , ( 1) 0 ~ , 1 ~j j j ji i i ia m b i n j M
11 1 1 1 1 1 1 1 1 1 10
1 1 1 1 2 2 2 1 2 2 112 2 2 2 2 2 2 2 2 2 2
1 1 1 1 2 2 2 1 2 2 12202121 1 1 1 2 2 2 1 2 22
p p p p p p p p p p p
ax x x x d
ax x x x d
a
a
ax x x x da
where are the kth training pair , k = 1 , 2 , … P . 1 2, ,k k kx x d
Aprendizaje en la red anfis Takagi Sugeno FIS Input partitioning LSE + gradient descent training
A1
A2
B1
B2
S
S
/
x
y
w1
w4
w1*z1
w4*z4
Swi*zi
Swi
z
P
P
P
P
nonlinearparameters
linearparameters
fixed
least-squares
steepest descent
fixed
Forward pass Backward passMF parameter
(nonlinear)Coefficient parameter
(linear)
Fuente Kwang-Hyung Lee, Fuzzy Theory,Textbook
http://if.kaist.ac.kr/lecture/cs670/2001/index.html
Top Related