1

Abstract This paper has the presentation of a general vision over neural networks RBF as a goal, show the basic structure and some characteristics. This kind of network provides effective solutions in many science and engineering fields, being really popular in the pattern classification and signal processing fields. As an example the XOR function will be approached as a learning problem, at the end some other application examples will be mentioned briefly.

Resumo Este trabalho tem como objetivo apresentar uma

viso geral sobre as redes neurais artificias RBF, mostrar a sua estrutura e algumas caractersticas. Este tipo de rede provee solues efetivas em vrios campos da cincia e engenharia sendo muito populares nas reas de classificao de padres e processamento de sinais. Para exemplificao do seu uso abordado a funo XOR como problema de aprendizado, no final mais algumas aplicaes so brevemente citados.

I. INTRODUO

As redes neurais artificiais (RNAs) so amplamente

utilizadas em diversas reas de aplicao, especialmente para o caso de tratamento de problemas de aproximao e classificao. Para a resoluo deste tipo de problemas uma abordagem pode ser a utilizao de redes neurais do tipo perceptron de uma camada ou do tipo perceptron de mltiplas camadas (MLP), onde possvel obter um desempenho satisfatrio nestas tarefas. Entretanto os resultados dos testes para ambas abordagens apresentam algumas limitaes, no caso do perceptron de uma camada simples somente possvel realizar classificaes lineares, sendo assim, no podem ser utilizadas em sistemas mais complexos com dinmicas e rudos no lineares. No caso do MLP no existe restrio classificao no-linear, mas o seu treinamento se torna lento demais na situao de existncia de um nmero muito grande de clusters nos dados de entrada.

Desta maneira para fornecer uma soluo alternativa para esse tipo de problemas ser apresentada a RNA do tipo funo de base radial (RBF).

Este trabalho est constituido da forma seguinte: Na seo 2 so apresentadas caractersticas sobre as redes neurais RBF. Na seo 3 descrita rpidamente um mtodo para realizar o treinamento deste tipo de rede neural. A funo XOR como problema de aprendizado para as redes RBF apresentado na seo 4. Um sucinto comparativo entre redes RBF e MLP encontra-se na seo 5. Na seo 6 so encontram-se algumas aplicaes prticas e finalmente na seco 7 so apresentadas as concluses deste trabalho.

II. CARACTERSTICAS DAS REDES NEURAIS DE FUNES DE BASE RADIAL

As redes neurais artificias do tipo RBF so ferramentas de

modelagem no-linear e estatstica de dados e podem ser utilizados para modelar relaes complexas entre entrada e sada e tambm para encontrar padres em uma coleo de dados. As redes RBF so do tipo feed-forward no-linear, bastante utilizados em aproximao de funes, predio de series temporais e classificao de modelos com alta coplexidade.

A. ESTRUTURA DAS REDES RBF

A estrutura bsica das redes neurais RBF apresenta somente

3 camadas. A primeira camada, geralmente conhecida como camada de entrada, realiza a interface entre o modelo e o meio. A segunda camada, ou camada escondida, realiza uma transformao no-linear do vetor de entrada para um espao vetorial interno, tipicamente com uma dimenso maior. A terceira camada, chamada de camada de sada, realiza a transformao do espao vetorial interno em uma sada, utilizando para isto um processo linear.

Fig 1 . Estrutura bsica de uma rede neural RBF O funcionamento da camada escondida est baseada no

teorema de Cover [1] sobre a separabilidade dos padres. Neste teorema um problema no linearmente separvel pode de forma probabilstica ser transformada em um problema linearmente separavel, atravs de uma transformao no linear que mapeia o espao para outro de ordem maior.

Redes Neurais Artificais RBF

Daniel Kraemer Aliaga PGEAS - UFSC, SC, Brasil

daniel@boreste.com

2

B. FUNES DE BASE RADIAL

As funes radiais so uma classe especial de funes em

que a sua resposta decresce (ou cresce) monotonicamente com o distanciamento de um ponto central [2]. Algumas funes geralmente utilizadas so:

- Funes Gaussianas: c representa o centro da curva ao

longo do qual os valores so distribuidos. O representa a largura ou raio de abrangncia da funo.

Fig 2 . Funo Gaussiana com diversos parmetros

- Funes Multi-Quadrtricas:

-Funes Multi-Quadrticas Inversas:

Existem alguns fatores que influenciam a escolha da funo

de base radial a ser utlizada. Entre esses fatores, um muito importante diz a repeito do nvel de conhecimento que se tem sobre os dados que vo ser tratados (distribuio, quantidade de clusters, etc) e o conhecimento da estrutura geral das entradas. Uma vez que o poblema tenha sido estudado e pr-processado, a escolha do funo de base radial mais adequada poder ser realizada.

C. MAPEAMENTO DE ENTRADAS E SADAS

Considerando a arquitetura apresentada como estrutura bsica da rede RBF. Temos como representao a expresso geral da relao entrada-sada da rede, onde a funo de ativao uma funo de base radial:

Se a funo de base radial for definida como sendo a Funo Gaussiana, obtemos a seguinte relao:

Para esta expresso temos que a varivel w o peso sinptico entre o neurnio h da camada escondida e do neurnio j da camada de sada. A varivel x contm o vetor de entrada do conjunto de treinamento e finalmente o c corresponde ao vetor de centro correspondente aos centros de todos os neurnios que sero utilizados na rede

Para a distncia entre o vetor de entrada e o vetor de

centros bastante comum considerar a norma euclidiana. Para todos os casos em geral desejvel que o nmero M

de neurnios da camada escondida seja menor que o nmero N de exemplos de treinamento (M

3

centro aos N vetores de entrada mais prximos.

B. Segunda etapa

O treinamento realizado na segunda etapa tipicamente do tipo supervisionado.So ajustados os pesos da camada de sada, onde a funo de ativao linear:

- Condies.- necessrio que os parmetros da camada oculta sejam mantidos fixos e que a sada dessa camada sejam vetores linearmente separveis.

- Mtodo de ajuste de pesos.- A entrada de vetores lineramente separveis tem como consequncia que a resoluo desta etapa extremamente simples, pois pode ser resolvido utilizando algum mtodo para resoluo analtica de equaes lineares.

IV. PROBLEMA DA FUNO XOR

A funo XOR (OU exclusivo) apresentou um problema peculiar desde a criao do Perceptron de Rosenblat de uma camada e ajudando a identificar alguma limitaes presentes pois a classificao deste problema no linearmente separvel [1][3] . A primeira soluo apareceu graas ao desenvolvimento e estudo das MLP.

Fig 3 . Funo XOR e resoluo por MLP

A. Resoluo de XOR utilizando redes RBF

Para poder resolver o problema de classificao da funo XOR utilizando redes neurais RBF inicialmente precisamos decidir o nmero de neurnios iremos precisar. Com uma anlise rpida da tabela de cima possvel observar que existem 4 exemplos que podem ser utilizados para treinamento e 2 possiveis estados para as sadas, portanto podemos considerar inicialmente que M=2.

Para o posicionamento dos centros foram escolhidos os pontos (0,0) e (1,1). Com esses pontos temos um valor de

2 para distncia entre os centros, utilizando esses valores na funo Gaussiana obtemos:

Com as funes de ativao finalmente definidas, utilizamos elas para realizar a transformao linear utilizando as funes de base radial encima do vetor de entradas. Aps realizar esta operao obtemos a seguinte tabela e grficos:

Fig 4 . Funo XOR transformada por RBF Pode-se observar que a transformao realizada agora

permite que o problema seja linearmente separvel. Com isso a primeira parte do treinamento completado.

Para a segunda etapa do treinamento da rede RBF

(encontrar os pesos da camada de sada), primeiro necessrio obter a expresso para a relao entrada-sada. Desta maneira temos presentes os pesos w1 e w2 que devem ser calculados, adicionalmente foi adicionada mais uma varivel para ajustar

offset ou bias para as camadas de sada.

Como temos valores conhecidos como os valores esperados

de sada e o resultado da funo radial podemos substituir na expresso. Desta maneira obtemos as 4 equaes:

Embora 2 dessas equaes sejam iguais, ainda mantemos a

proporo de 3 equaes e 3 variveis, portanto podemos resolver o sistema e como resultado para os parmetros temos:

Com isto acaba o treinamento da rede para a resoluo do

problema de identificao da funo XOR.

V. COMPARATIVO ENTRE RBF E MLP

Estes dois tipos de redes neurais possuem em comum que ambos so redes feed-forward no-lineares, so aproximadores universais e so utilizados em aplicaes muito parecidas.

Embora existam estas semelhanas, existem muitas diferenas estruturais e funcionais entre estas redes.

4

Em uma rede RBF Funo de ativao computa a distncia euclidiana entre vetores de entrada e centros. No caso do MLP, computa-se a produto interno do vetor de entrada e do vetor de pesos sinpticos da unidade [4].

No RBF o modelo de neurnio da camada oculta (no-linear) diferente da camada de sada (linear), no caso da MLP todos os neurnios so iguais. Em RBF a camada oculta no linear e a sada linear. Em MLP as camadas so todas no lineares. MLP constrem aproximaes globais, RBF constrem aproximaes locais.

Para aproximaes no lineares RBF realizam um treinamento mais rpido, MLP podem requerer um nmero menor de parmetros. A rede MLP separa utilizando hiper-planos no espao de entrada enquanto a rede RBF utiliza hiper-elipsides para particionar o espao de entradas

Fig 5. Classificao por MLP(esq.) e RBF (dir.)

VI. APLICAES PRTICAS

Algumas aplicaes tpicas das Redes Neurais do tipo RBF:

A. Processamento de imagens

B. Processamento de sinais

C. Financial Trading

D. Predio de trfego de redes

E. Controle de processos industriais

F. Classificao em Data Mining

VII. CONCLUSO

Este trabalho apresentou uma viso geral sobre as redes neurais artificiais RBF. A sua estrutura bsica foi descrita destacando a camada escondida, a qual foi definida segundo o teorema de Cover sobre a separabilidade dos padres, para facilitar a resoluo de modelos.

Foi realizado um paralelo entre redes do tipo RBF e MLP,

com a inteno de caracterizar melhor o problema que est sendo tratado e escolher qual ferramenta mais adeuquada.

De maneira geral uma grande vantagem do uso das redes neurais RBF o rpido processo de treinamento (se comparado com o MLP), sendo pelo outro lado uma desvantagem deste mtodo o o uso e exigncia acentuado da memria. Mesmo assim, as redes RBF so uma alternativa robusta e eficiente para problemas de aproximao de funes e classificao de grandes volumes de dados.

REFERNCIAS

[1] S. Haykin. Neural networks. 2nd. edition. Prentice Hall, 1999 [2] M. A. Fernandes, A. D. Neto e J. B. Bezerra. Aplicao das Redes RBF na Deteo Inteligente de Sinais Digitais. No IV Congresso Brasileiro de Redes Neurais. ITA-SP, pp. 888-999, 1999.

[3] John A. Bullinaria. Introduction to Neural Networks Lectures. University of Birmingham, UK

[4] ER. A. F. Romero. Slides SCC-5809 Redes Neurais. Programa de Ps-Graduao em Cincia de Computao e Matemtica Computacional. ICMC/USP, 2010.