Beruflich Dokumente
Kultur Dokumente
Campinas
Faculdade de Engenharia Elétrica e
Computação
Revisão Bibliográfica
Autores:
Resumo
1. INTRODUCAO
a. DEFINICAO
Redes Neurais Artificiais são técnicas computacionais que
apresentam um modelo matemático inspirado na estrutura
neural de organismos inteligentes e que adquirem conhecimento
através da experiência. Os neurônios se comunicam através de
sinapses.
Sinapse é a região onde dois neurônios entram em contato e
através da qual os impulsos nervosos são transmitidos entre
eles.
Os impulsos recebidos por um neurônio A, em um determinado
momento, são processados, e atingindo um dado limiar de ação,
o neurônio A dispara, produzindo uma substância
neurotransmissora que flui do corpo celular para o axônio, que
pode estar conectado a um dendrito de um outro neurônio B. O
neurotransmissor pode diminuir ou aumentar a polaridade da
membrana pós-sináptica, inibindo ou excitando a geração dos
pulsos no neurônio B. Este processo depende de vários fatores,
como a geometria da sinapse e o tipo de neurotransmissor.
b. CARACTERISTICAS
Uma rede neural artificial é composta por várias unidades
de processamento, cujo funcionamento é bastante simples.
Essas unidades, geralmente são conectadas por canais de
comunicação que estão associados a determinado peso e fazem
operações apenas sobre seus dados locais, que são entradas
recebidas pelas suas conexões. O comportamento inteligente de
uma Rede Neural Artificial vem das interações entre as unidades
de processamento da rede.
A operação de uma unidade de processamento, proposta por
McCullock e Pitts em 1943, pode ser resumida da seguinte
maneira:
c. PROCESSO DE APRENDIZADO
A propriedade mais importante das redes neurais é a
habilidade de aprender de seu ambiente e com isso melhorar seu
desempenho. Isso é feito através de um processo iterativo de
ajustes aplicado a seus pesos denominado treinamento. O
aprendizado ocorre quando a rede neural atinge uma solução
generalizada para uma classe de problemas.
Denomina-se algoritmo de aprendizado a um conjunto de regras
bem definidas para a solução de um problema de aprendizado.
Existem muitos tipos de algoritmos de aprendizado específicos
para determinados modelos de redes neurais, estes algoritmos
diferem entre si principalmente pelo modo como os pesos são
modificados.
• Material Relacionado
Autores: Rauber, A.
Titulo: Cluster Visualization in Unsupervised Neural Networks
Tipo de Publicação: Tese
Evento: Diplomarbeit, Technische Universität Wien, Austria.
Ano: 1996.
Fonte:
http://www.ifs.tuwien.ac.at/ifs/research/pub_html/rau_mastert
h96/thesis.html
Nível: Bom
Informações Adicionais: Nesta tese o autor explica toda a
arquitetura e o processo de treinamento básico e sinala os
Ana Alvarez – Baldomero Luque 9
Rede Neural de Kohonen e Outras Técnicas para
Treinamento Não-Supervisionado
limites de este modelo em termos de visualização do cluster e
detecção de limites.
Autores: Becker, S.
Titulo: Unsupervised learning with global objective functions
Tipo de Publicação: Artigo
Evento: in The Handbook of Brain Theory and Neural
Networks, M. Arbib (ed).
Dados Complementares: La Jolla, CA: MIT Press, 1995.
Fonte:
ftp://claret.psychology.mcmaster.ca/pub/becker/handbook-
btnn.ps.gz
Informações Adicionais: Neste artigo o autor revisa três
tipos de procedimento de aprendizagem que se podem
considerar não supervisionado: algoritmos que preservam a
informação, técnicas de estimação de densidade e
procedimento de aprendizado baseado em invariância.
Autores: Zemel, R. S.
• Material Relacionado
• Material Relacionado
2. REDES DE KOHONEN
4.1. DEFINIÇÃO
O modelo de KOHONEN é uma rede neural linear não
supervisionada de camada única totalmente conectada, cuja
saída é organizada em uma ou duas dimensões. Considerando
uma rede de duas dimensões, o paradigma de KOHONEN não
impõe em absoluto nenhuma forma topológica podendo ser
hexagonal, retangular, triangular, etc.
Autor: Owechko, Y
Titulo: Optical Neural Networks Based On Distributed
Holographic Gratings
Tipo de Publicação: Technical Repport
Editor: Hughes Research Labs., Malibu, CA.
Dados Complementares: 94 páginas, ano 1996, Report: HAC-
REF-J6305.
Fonte: http://alt3.csa3.com/
Palavras-Chave: Neurocomputer, Perceptron, Kohonen,
Backpropagation.
Informações Adicionais: Este relatório descreve a pesquisa
das redes neurais óticas executada em laboratórios de pesquisa
Hughes, patrocinada por DARPA.
O neurocomputador ótico desenvolvido é baseado em um tipo
novo de hologramas múltiplos. As redes neurais executadas
incluem Perceptron, a memória associativa bidirecional, SOMs de
Kohonen, e as redes neurais Backpropagation.
Autor: Lagus, K.
Titulo: Text Retrieval Using Self-Organized Document Maps
Tipo de Publicação: Relatório técnico A61
Editor: Helsinki University of Technology, Laboratory of
Computer and Information Science, ISBN 951-22-5145-0.
Ano: 2000.
Fonte: http://alt3.csa3.com/
Palavras-Chave: Information Retrieval, SOM, Text Mining,
Document Maps, and LSI.
Informações Adicionais: Este relatório descreve como um
mapa de textos que esta organizada automaticamente para a
busca e visualização pode com sucesso ser utilizado também em
a recuperação acelerada do original. Além disso, as experiências
na coleção de CISI indicam o desempenho melhorado comparado
ao modelo do espaço do vetor de Salton e ao “Latent Semantic
Indexing”, medido pela precisão média ao recuperar um número
pequeno, fixo dos mais melhores originais.
Autores: Suganthan, PN
Titulo: Hierarchical Overlapped SOM's For Pattern Classification
Tipo de Publicação: Journal Article
Editor: IEEE Transactions on Neural Networks [IEEE TRANS
NEURAL NETWORKS].
Dados Complementares: volume 10, número 1, páginas 193 –
196, ano 1999.
Fonte: http://alt3.csa3.com/
Palavras-Chave: Self-Organizing Maps, learning vector
quantization (LVQ) 2.
Informações Adicionais: Este artigo desenvolve mapas
autorganizáveis associadas a esquemas de aprendizagens para
aplicações etiquetadas como classificação de padrões. O
algoritmo consiste em uma aprendizagem não supervisionado
SOM.
Autores: Kohonen, T., Kaski, S., Lagus, K., Salojärvi, J., Honkela,
J., Paatero, V., and Saarela, A.
Titulo: Self Organization Of A Massive Text Document Collection
Tipo de Publicação: Livro
Dados Complementares: páginas pages 171-182, ano 2001.
Editor: In Oja, E. and Kaski, S., editors Elsevier, Amsterdam.
Fonte: http://alt3.csa3.com/
Palavras-Chave: Large Self-Organizing Maps, Text Exploration,
Knowledge Discovery, Patent Abstracts, And Content-
Addressable Search.
Informações Adicionais: O livro aplica SOM para o
mapeamento de documentos, trabalha sobre uma base de sete
milhões de originais de todos os patentes no mundo que foram
escritos em inglês e estão disponíveis no formulário eletrônico,
Ana Alvarez – Baldomero Luque 3
1
Rede Neural de Kohonen e Outras Técnicas para
Treinamento Não-Supervisionado
novos efetivos códigos e esquemas computacionais do
mapeamento são descritos.
Autor: Kaski, S.
Titulo: Fast Winner Search For SOM Based Monitoring And
Retrieval Of High-Dimensional Data.
Tipo de Publicação: Artigo
Evento: Proceedings of ICANN99, Ninth International Conference
on Artificial Neural Networks; IEE London.
Dados Complementares: Volume 2, páginas 940-945, ano
1999
Fonte: http://alt3.csa3.com/
Palavras-Chave: Vectors Of The Map, Self-Organizing Maps.
Informações Adicionais: Neste artigo é proposto um método
para reduzir a quantidade de operações restringindo a busca a
determinados subespaços de pequenas dimensiones do espaço
original. O método é apropriado para as aplicações em que o
mapa pode ser computado off-line, por exemplo, nos dados que
monitoram, classificação, e recuperação de informação.
Autores: Kohonen, T.
Titulo: Exploration Of Very Large Databases By Self-Organizing
Maps.
Tipo de Publicação: Texto
Evento: In Proceedings of ICNN'97, International Conference on
Neural Networks, IEEE Service Center, Piscataway, NJ.
Dados Complementares: páginas PL1-PL6, Ano 1997.
Ana Alvarez – Baldomero Luque 3
2
Rede Neural de Kohonen e Outras Técnicas para
Treinamento Não-Supervisionado
Fonte: http://alt3.csa3.com/
Palavras-Chave: Self-Organizing Map, Addressable Memory.
Informações Adicionais: Este texto descreve um sistema de
organização dos dados e uma memória de direcionamento
chamado WEBSOM. É uma arquitetura autorganizável de duas
camadas (SOM) onde os documentos são mapeados como pontos
no mapa superior. As ferramentas padrão podem selecionar dos
subconjuntos originais do mapa que são os mais similares
mutuamente.
Autores: Bengtsson, M
Titulo: Hierarchical Clustering In A Mean Field Theory
Tipo de Publicação: Relatório cientifico
Editor: Foersvarets Forskningsanstalt, Linkoeping (Sweden).
Dept. of Command and Control Warfare Technology.
Dados Complementares: 23 páginas, ano1996, Report: FOA-R-
96-00298-3.4-SE.
Fonte: http://alt3.csa3.com/
Palavras-Chave: Hierarchical Clustering, Kohonen Self-
Organizing Map, Standard Vector Quantization, Gaussian
Clusters.
Informações Adicionais: Neste relatório demonstra-se que o
vetor de quantização e o mapa autorganizável de Kohonen são
Ana Alvarez – Baldomero Luque 3
4
Rede Neural de Kohonen e Outras Técnicas para
Treinamento Não-Supervisionado
incapazes de resolver as tarefas de clusterização em uma
aproximação média do campo.
• SOM: Voz
Autores: Kurimo, M
Titulo: Training Mixture Density Hmms With SOM And LVQ
Tipo de Publicação: Artigo
Editor: Performer: Helsinki Univ. of Technology, (Finland). Lab.
of Computer and Information Science.
Dados Complementares: 32 paginas, ano 1997 Report: ISBN-
951-22-3423-8.
Fonte: http://alt3.csa3.com/
Palavras-Chave: SOM (Self Organizing Maps), LVQ (Learning
Vector Quantization), HMM (Hidden Markov Models).
Informações Adicionais: O objetivo deste artigo é apresentar
experiências e discussões de como alguns algoritmos da rede
neural podem ajudar ao reconhecimento da voz com modelos
misturados de densidade escondia de Markov (MDHMMs). LVQ é
usada para aumentar a discriminação entre modelos diferentes
do fonema, e SOM é aplicado para fornecer apropriadamente o
treinamento e acelerar a convergência do treinamento real.
• SOM: Controle
Ana Alvarez – Baldomero Luque 4
0
Rede Neural de Kohonen e Outras Técnicas para
Treinamento Não-Supervisionado
Autores: Rauber, A.
Titulo: SOMLib: A Distributed Digital Library System Based on
Self-Organizing Maps
Tipo de Publicação: Artigo
Evento: Proc 10th Italian Workshop on Neural Nets (WIRN98),
Vietri sul Mare, Italy.
Dados Complementares: 1998.
Fonte:
http://www.ifs.tuwien.ac.at/ifs/research/pub_html/rau_wirn98/wir
n98.html
Palavras-Chave: Digital Libraries, Information Retrieval, Self-
Organizing Map (SOM).
Informações Adicionais: Os autores decrevem uma
arquitetura para distribuição digital de um sistema de bibliotecas
baseado em uma rede neural não supervisionada.
Autores: Kohonen, T
Titulo: Self-Organizing Maps Of Symbol Strings
Tipo de Publicação: Relatório Técnico
Editor: Helsinki Univ. of Technology, Espoo (Finland). Lab. of
Computer and Information Science. Dados Complementares:
1996, 40pag. Report: ISBN-951-22-3405-X
Fonte: http://alt3.csa3.com/
Palavras-Chave: Self-Organizing Maps; Learning Vector
Quantization
Informações Adicionais: Neste relatório é mostrado que os
mapas não supervisionados (SOMs), assim como os
aprendizagens supervisionadas de (LVQ) podem ser definidos
para variáveis de cadeia. Se uma medida especial da distância
chamada distância característica é usada, o vencedor pode ser
localizado quase imediatamente pelo método chamado
“Redundant Hash Addressing”, sem embargo o número das
computações do vencedor é quase independente do tamanho de
SOM.