SOM Maps for Clustering and Dimensionality Reduction

Mapas Auto Organizveis SOMs Mapas de Kohonen
PSI 2886 Princpios de Neurocomputao Edio de 2008

1
PSI-5886 Prof. Emilio Del Moral Princpios de Neurocomputao 2008 EPUSP www.lsi.usp.br/ICONE
PSI 5886 Prof. Emilio Self Organizing Maps de Kohonen

Estes slides foram usados nas aulas #8 e #9 na edio de 2008 da disciplina Vrios slides aqui apresentados foram desenvolvidos conjuntamente com alguns de meus orientados ou usam imagens de seus trabalhos de pesquisa na EPUSP:
Clodis Boscarioli Leandro Augusto da Silva Renato Sassi (vide www.lsi.usp.br/icone para trabalhos relacionados)
2
Diversity of Neural Architectures

Is Perceptrons & Multi Layer Perceptrons (MPLs) a synonym of Artificial Neural Networks?
No!!! There are many other very distinct topologies for arrangement of nodes
Is Error Back Propagation a synonym of learning in artificial neural networks?

No!!! The weights in other architectures (non MLPs) are defined through very different strategies which are nor guided by gradient descent
3
Kohonen Architecture (SOM) for dataminig
Samples are grouped around prototypes in a 2-d grid
Rede de Kohonen (SOM)

Arquitetura Aprendizado Aplicaes
Arquiteturas de Kohonen (SOM) para clustering
sexo
idade
Dados so agrupados em torno de prottipos organizados em espao bidimensional
sexo
idade
8
Conceitos principais em SOMs de (Teuvo) Kohonen

Universo de populao de dados massivos e multidimensionais (de alta dimenso) que se deseja visualizar e/ou organizar em classes / grupo Prottipos representando partes da populao Prottipos organizados numa grade, ou numa fila, por semelhana Ordenao na grade Conceito de neurnio vencedor para definio do representante (aprendizado competitivo) 9
sexo
idade
10
Arquitetura da rede SOM

neurnios de sada (cada neurnio tem N dimenses de entrada)
...
padro de entrada (dimenso N)
11
Arquitetura do SOM
12
Arrajo 2-D da Arquitetura SOM
13
Rede de Kohonen (SOM)

Arquitetura Aprendizado Aplicaes
14
Redes SOM de Kohonen e o Aprendizado No-Supervisionado

O aprendizado no-supervisionado no requer sadas desejadas e por isso conhecido pelo fato de no precisar de professores para o seu treinamento. Para o treinamento da rede, so usados apenas os valores de entrada. A rede trabalha essas entradas e se organiza de modo que acabe classificando-as, usando para isso, os seus prprios critrios. 15
Adaptation of the 2D-weigths of proyotypes in the Kohonen grid
x2
X
x2
x1 Incio
x1 Fim
16
Aprendizado SOM
17
O Processo de Auto-organizao
Em linhas gerais: Inicializa-se os vetores de pesos dos neurnios; Apresenta-se dados de entrada rede; Seleciona-se o BMU para cada dado apresentado; Atualiza-se o BMU e sua vizinhana;
18
Aprendizado SOM
Inicializao: defina o tamanho do mapa e seus respectivos pesos, w, aleatoriamente. Defina a relao de vizinhana do mapa. Ativao: escolha um padro de entrada, x, do conjunto de treinamento. Calcula a resposta do mapa:
Adaptao:
19
Vizinhana SOM
Vizinhana hexagonal
Vizinhana retangular
20
Vizinhana do SOM
21
Aprendizado SOM
Espao de prottipos Espao Atributos Atr2 (sexo)
I
A B C
D F B E H G
A
D E F
Atr1 (idade)
22
Exemplo de adaptao em prottipos 2-D com inicializao no randmica / linear
23
Aprendizado SOM
24
Da reduo de populao a conjunto de prottipos tarefa de identificao de grupos relevantes
25
Clustering com SOM Exemplo
Dados so agrupados em torno de prottipos organizados em espao bidimensional.

26
Agrupamento .... SOM no faz tudo ...

Uma vez representada a populao por prottipos, resta ainda particionar estes em grupo E se os grupo de prottipos no estiverem to separados assim como na ilustrao? E se uma inspeo visual dos prottipos (de por exemplo 50 dimenses) no for possvel para a definio imediata dos grupos?
27
Uma primeira tentativa ... Histograma de frequencias para identificao de picos e vales na grade de representantes
28
Histograma / Prottipos mais votados indicam partes do mapa mais significativas
29
Note que o histograma seria visvel na grade de prottipos
Dados so agrupados em torno de prottipos organizados em espao bidimensional.

30
Visualizao
Matriz U
Para efetuar anlise de agrupamentos, apenas mapeamento topologicamente ordenado do SOM no suficiente, pois a informao de distncias entre os neurnios perdida. Matriz de distncias unificadas (U-matrix) um mtodo de visualizao de um SOM treinado, que permite a deteco visual das relaes topolgicas dos neurnios. A idia bsica usar a mesma mtrica que foi utilizada durante o treinamento para calcular distncias entre pesos sinpticos de neurnios adjacentes.
31
Matriz U - Exemplos
2-D
3-D
32
Matriz U
33
Matriz U
34
Matriz U
O resultado uma imagem f(x, y), na qual as coordenadas de cada pixel (x, y) so derivadas das coordenadas dos neurnios no grid do mapa (por exemplo, (1,1), (1, 2) ... (X, Y) (1,1), (1, 2) ... (2*X-1, 2*Y-1)), e a intensidade de cada pixel na imagem f(x,y) corresponde a uma distncia calculada. A matriz U geralmente complexa em casos reais, tornando seu uso restrito visualizao, como ferramenta de auxlio na separao manual dos agrupamentos de um SOM.
35
Matriz U
Representao 3-D
36
Medidas de Avaliao
Erro de Quantizao: uma medida sobre a resoluo do mapa. Corresponde distncia entre o vetor de caractersticas e seu BMU. Erro Topolgico: Avalia o quanto a estrutura do mapa aproxima padres prximos do espao de entrada, a partir do primeiro e do segundo BMUs. Produto Topolgico: Objetiva quantizar a preservao de relaes de vizinhana em mapeamentos.
37
Erro de Quantizao
38
Linear Vector Quantization

Primo do SOM, sem aprendizado dos vizinhos O conceito de Prottipos representando a populao de dados mantido A vizinhana de aprendizado eliminada, de forma que a grade ordenada no mais existe
39
sexo
idade
40
Vizinhana SOM
Vizinhana hexagonal
Vizinhana retangular
41
Arquitetura do SOM
42
Erro Topolgico
43
Rede SOM
Aplicaes
44
SOM - Aplicaes
Visualizao e anlise de dados de dimensionalidade elevada; Projeo no-linear do espao de dados de entrada, em M, para o espao de dados do arranjo, N, executando uma reduo de dimensionalidade M < N. Normalmente, N para 2 ou 1; Algoritmo de Classificao (com outras arquiteturas neurais, ...); Amostragem, extrao de caractersticas; Algoritmo de Clustering (deteco de agrupamentos) - utilizado em conjunto com U-Matrices.
45
Applications of the Self Organizing Maps (SOM) of Kohonen

Partition of the universe of multidimensional data in sub-groups of similar elements Data mining (clustering + visualization) Multidimensional data pre processing aiming facilitated classification, within more specific sub universes
46
Algumas aplicaes de mapas auto organizveis de Kohonen (SOM)

Diviso de universos de dados multidimensionais em sub-grupos de elementos similares (Congresso ABAR 2003 segmentao de empresas do setor eltrico trabalho de Virginia Parente et al.) Data mining (R.J.Sassi, L.A.Silva e C.Boscarioli) Pr processamento de dados multidimensionais para posterior classificao, de padres dentro de sub universos mais especficos (C.Boscarioli e L.A.Silva) Recuperao de imagens basedo em contedo (L.A.Silva)
47
Algumas aplicaes de mapas auto organizveis de Kohonen (SOM)

Descoberta de conhecimento em base de dados de marketing (R.J.Sassi e L.A.Silva)
48
LSI Laboratrio de Sistemas Integrveis ICONE Grupo de Inteligncia Computacional, Modelagem e Neurocomputao
Anlise de Agrupamentos por Meio de Mapas Auto-organizveis

Clodis Boscarioli
49
Data Mining and Clustering of Multidimensional data

Clodis Boscarioli. PhD. Student. Research area: The application of clustering techniques to Data Mining. More specifically working in the development and evaluation of Self-Organizing Maps algorithms for this task. Interests: Database systems, data mining and non-supervisioned neural networks.
50
Mais aplicaes de SOM feitas pelos pesquisadores do grupo ICONE-EPUSP podem ser conhecidas atravs do site www.lsi.usp.br/icone e tambm atravs das publicaes l relacionadas
51
Ferramentas desenvolvidas por Vesanto (Finlndia)
52
Example of clustering /visualization of clustering in a Kohonen SOM
53
My coordinates
Emilio Del-Moral-Hernandez Polytechnic School - University of So Paulo (EPUSP) Department of Electronic Systems Engineering
emilio_del_moral@ieee.org www.lsi.usp.br/icone
54

SOM Maps for Clustering and Dimensionality Reduction

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

SOM Maps for Clustering and Dimensionality Reduction

Hochgeladen von

Copyright:

Verfügbare Formate

Mapas Auto Organizveis SOMs Mapas de Kohonen

PSI 2886 Princpios de Neurocomputao Edio de 2008

PSI 5886 Prof. Emilio Self Organizing Maps de Kohonen

Diversity of Neural Architectures

Is Error Back Propagation a synonym of learning in artificial neural networks?

Kohonen Architecture (SOM) for dataminig

Samples are grouped around prototypes in a 2-d grid

Rede de Kohonen (SOM)

Arquiteturas de Kohonen (SOM) para clustering

Dados so agrupados em torno de prottipos organizados em espao bidimensional

Conceitos principais em SOMs de (Teuvo) Kohonen

Arquiteturas de Kohonen (SOM) para clustering

Arquitetura da rede SOM

padro de entrada (dimenso N)

Arrajo 2-D da Arquitetura SOM

Rede de Kohonen (SOM)

Redes SOM de Kohonen e o Aprendizado No-Supervisionado

Adaptation of the 2D-weigths of proyotypes in the Kohonen grid

Exemplo de adaptao em prottipos 2-D com inicializao no randmica / linear

Da reduo de populao a conjunto de prottipos tarefa de identificao de grupos relevantes

Clustering com SOM Exemplo

Dados so agrupados em torno de prottipos organizados em espao bidimensional.

Agrupamento .... SOM no faz tudo ...

Histograma / Prottipos mais votados indicam partes do mapa mais significativas

Note que o histograma seria visvel na grade de prottipos

Dados so agrupados em torno de prottipos organizados em espao bidimensional.

Linear Vector Quantization

Arquiteturas de Kohonen (SOM) para clustering

Applications of the Self Organizing Maps (SOM) of Kohonen

Algumas aplicaes de mapas auto organizveis de Kohonen (SOM)

Algumas aplicaes de mapas auto organizveis de Kohonen (SOM)

Anlise de Agrupamentos por Meio de Mapas Auto-organizveis

Data Mining and Clustering of Multidimensional data

Ferramentas desenvolvidas por Vesanto (Finlndia)

Example of clustering /visualization of clustering in a Kohonen SOM

Das könnte Ihnen auch gefallen