Redes Neurais Artificiais

http://www2.icmc.usp.br/~andre/research/neural/index.htm

Voc ver nesta pgina um tutorial introdutrio sobre Redes Neurais Artificiais, em especial sobre as Redes Multi Layer Perceptron treinadas com BackPropagation

Tpicos:
Introduo Um Breve Histrico Caractersticas Gerais das Redes Neurais Processos de Aprendizado Treinamento Supervisionado Perceptron multi-camadas (MLP) Backpropagation Treinamento da Rede MLP Utilizao Limitaes Desenvolvimento de Aplicaes Hot Links

Introduo
Redes Neurais Artificiais so tcnicas computacionais que apresentam um modelo matemtico inspirado na estrutura neural de organismos inteligentes e que adquirem conhecimento atravs da experincia. Uma grande rede neural artificial pode ter centenas ou milhares de unidades de processamento; j o crebro de um mamfero pode ter muitos bilhes de neurnios. O sistema nervoso formado por um conjunto extremamente complexo de clulas, os neurnios. Eles tm um papel essencial na determinao do funcionamento e comportamento do corpo humano e do raciocnio. Os neurnios so formados pelos dendritos, que so um conjunto de terminais de entrada, pelo corpo central, e pelos axnios que so longos terminais de sada.

1 de 6

18-11-2012 08:02

Redes Neurais Artificiais

http://www2.icmc.usp.br/~andre/research/neural/index.htm

Constituntes da clula neuronal - esquema. Outras figura: Cortex - esquema. Vrias formas de neurnios - esquema. Micro-fotografia de neurnios 1. Micro-fotografia de neurnios 2. Micro-fotografia de neurnio de macaco. Micro-fotografia de neurnios em sinapse. Os neurnios se comunicam atravs de sinapses. Sinapse a regio onde dois neurnios entram em contato e atravs da qual os impulsos nervosos so transmitidos entre eles. Os impulsos recebidos por um neurnio A, em um determinado momento, so processados, e atingindo um dado limiar de ao, o neurnio A dispara, produzindo uma substncia neurotransmissora que flui do corpo celular para o axnio, que pode estar conectado a um dendrito de um outro neurnio B. O neurotransmissor pode diminuir ou aumentar a polaridade da membrana ps-sinptica, inibindo ou excitando a gerao dos pulsos no neurnio B. Este processo depende de vrios fatores, como a geometria da sinapse e o tipo de neurotransmissor. Em mdia, cada neurnio forma entre mil e dez mil sinapses. O crebro humano possui cerca de 10 E11 neurnios, e o nmero de sinapses de mais de 10 E14, possibilitando a formao de redes muito complexa.

Um Breve Histrico
Um histrico resumido sobre Redes Neurais Artificiais deve comear por trs das mais importantes publicaes iniciais, desenvolvidas por: McCulloch e Pitts (1943), Hebb (1949), e Rosemblatt (1958). Estas publicaes introduziram o primeiro modelo de redes neurais simulando mquinas, o modelo bsico de rede de auto-organizao, e o modelo Perceptron de aprendizado supervisionado, respectivamente. Alguns histricos sobre a rea costumam pular os anos 60 e 70 e apontar um renicio da rea com a publicao dos trabalhos de Hopfield (1982) relatando a utilizao de redes simtricas para otimizao e de Rumelhart, Hinton e Williams que introduziram o poderoso mtodo Backpropagation.

2 de 6

18-11-2012 08:02

Redes Neurais Artificiais

http://www2.icmc.usp.br/~andre/research/neural/index.htm

Entretanto, para se ter um histrico completo, devem ser citados alguns pesquisadores que realizaram, nos anos 60 e 70, importantes trabalhos sobre modelos de redes neurais em viso, memria, controle e auto-organizao como: Amari, Anderson, Cooper, Cowan, Fukushima, Grossberg, Kohonen, von der Malsburg, Werbos e Widrow.

Caractersticas Gerais das Redes Neurais

Uma rede neural artificial composta por vrias unidades de processamento, cujo funcionamento bastante simples. Essas unidades, geralmente so conectadas por canais de comunicao que esto associados a determinado peso. As unidades fazem operaes apenas sobre seus dados locais, que so entradas recebidas pelas suas conexes. O comportamento inteligente de uma Rede Neural Artificial vem das interaes entre as unidades de processamento da rede. A operao de uma unidade de processamento, proposta por McCullock e Pitts em 1943, pode ser resumida da seguinte maneira: Sinais so apresentados entrada; Cada sinal multiplicado por um nmero, ou peso, que indica a sua influncia na sada da unidade; feita a soma ponderada dos sinais que produz um nvel de atividade; Se este nvel de atividade exceder um certo limite (threshold) a unidade produz uma determinada resposta de sada.

Esquema de unidade McCullock - Pitts. Suponha que tenhamos p sinais de entrada X1, X2, ..., Xp e pesos w1, w2, ..., wp e limitador t; com sinais assumindo valores booleanos (0 ou 1) e pesos valores reais. Neste modelo, o nvel de atividade a dado por: a = w1X1 + w2X2 + ... + wpXp A sada y dada po y = 1, se a >= t ou y = 0, se a < t. A maioria dos modelos de redes neurais possui alguma regra de treinamento, onde os pesos de suas conexes so ajustados de acordo com os padres apresentados. Em outras palavras, elas aprendem atravs de exemplos. Arquiteturas neurais so tipicamente organizadas em camadas, com unidades que podem estar conectadas s unidades da camada posterior.

3 de 6

18-11-2012 08:02

Redes Neurais Artificiais

http://www2.icmc.usp.br/~andre/research/neural/index.htm

Organizao em camadas. Usualmente as camadas so classificadas em trs grupos: Camada de Entrada: onde os padres so apresentados rede; Camadas Intermedirias ou Escondidas: onde feita a maior parte do processamento, atravs das conexes ponderadas; podem ser consideradas como extratoras de caractersticas; Camada de Sada: onde o resultado final concludo e apresentado. Uma rede neural especificada, principalmente pela sua topologia, pelas caractersticas dos ns e pelas regras de treinamento. A seguir, sero analisados os processos de aprendizado.

Processos de Aprendizado
A propriedade mais importante das redes neurais a habilidade de aprender de seu ambiente e com isso melhorar seu desempenho. Isso feito atravs de um processo iterativo de ajustes aplicado a seus pesos, o treinamento. O aprendizado ocorre quando a rede neural atinge uma soluo generalizada para uma classe de problemas. Denomina-se algoritmo de aprendizado a um conjunto de regras bem definidas para a soluo de um problema de aprendizado. Existem muitos tipos de algoritmos de aprendizado especficos para determinados modelos de redes neurais, estes algoritmos diferem entre si principalmente pelo modo como os pesos so modificados. Outro fator importante a maneira pela qual uma rede neural se relaciona com o ambiente. Nesse contexto existem os seguintes paradigmas de aprendizado: Aprendizado Supervisionado, quando utilizado um agente externo que indica rede a resposta desejada para o padro de entrada; Aprendizado No Supervisionado (auto-organizao), quando no existe uma agente externo indicando a resposta desejada para os padres de entrada; Reforo, quando um crtico externo avalia a resposta fornecida pela rede. Denomina-se ciclo uma apresentao de todos os N pares (entrada e sada) do conjunto de treinamento no processo de aprendizado. A correo dos pesos num ciclo pode ser executado de dois modos: 1) Modo Padro: A correo dos pesos acontece a cada apresentao rede de um exemplo do conjunto de treinamento. Cada correo de pesos baseia-se somente no erro do exemplo apresentado naquela iterao. Assim, em cada ciclo ocorrem N correes.

4 de 6

18-11-2012 08:02

Redes Neurais Artificiais

http://www2.icmc.usp.br/~andre/research/neural/index.htm

2) Modo Batch: Apenas uma correo feita por ciclo. Todos os exemplos do conjunto de treinamento so apresentados rede, seu erro mdio calculado e a partir deste erro fazem-se as correes dos pesos.

Treinamento Supervisionado
O treinamento supervisionado do modelo de rede Perceptron, consiste em ajustar os pesos e os thresholds de suas unidades para que a classificao desejada seja obtida. Para a adaptao do threshold juntamente com os pesos podemos consider-lo como sendo o peso associado a uma conexo, cuja entrada sempre igual -1 e adaptar o peso relativo a essa entrada. Quando um padro inicialmente apresentado rede, ela produz uma sada. Aps medir a distncia entre a resposta atual e a desejada, so realizados os ajustes apropriados nos pesos das conexes de modo a reduzir esta distncia.Este procedimento conhecido como Regra Delta.

Regra Delta Deste modo, temos o seguinte esquema de treinamento. Iniciar todas as conexes com pesos aleatrios; Repita at que o erro E seja satisfatoriamente pequeno (E = e) Para cada par de treinamento (X,d), faa: Calcular a resposta obtida O; Se o erro no for satisfatoriamente pequeno E > e, ento: Atualizar pesos: Wnovo := W anterior + neta E X

5 de 6

18-11-2012 08:02

Redes Neurais Artificiais

Onde:

http://www2.icmc.usp.br/~andre/research/neural/index.htm

O par de treinamento (X, d) corresponde ao padro de entrada e a sua respectiva resposta desejada; O erro E definido como: Resposta Desejada - Resposta Obtida (d - O); A taxa de aprendizado neta uma constante positiva, que corresponde velocidade do aprendizado.

Esquema de treinamento do Perceptron. As respostas geradas pelas unidades so calculadas atravs de uma funo de ativao. Existem vrios tipos de funes de ativao, as mais comuns so: Hard Limiter, Threshold Logic e Sigmoid.

Tpicos Perceptron Multi-Camadas (MLP) Desenvolvimento de Aplicaes

Hot Links
Links para pginas sobre Redes Neurais Artificiais. SNNS- Sttutgart Neural Networks Simulator.

Back to my personal page!

6 de 6

18-11-2012 08:02