Aplicacao do Modelo de Hopeld para

Clusterizacao de Pixels e Roteamento em Grafos

Thiago Christiano Silva
Departamento de Computa c ao, Instituto de Ciencias Matem aticas e de Computa c ao,
Universidade de S ao Paulo, S ao Carlos, SP, Brasil, 13560-970.
Email: thiagoch@icmc.usp.br
1 Introducao
Neste documento, sera aplicado o modelo de Hopeld para as areas de cluste-
rizacao de pixels em imagens nveis de cinza e no problema de roteamento de
grafos em redes de telecomunicacao. A principal preocupacao, no que tange ao
entendimento dessas aplica coes, esta na confeccao da fun cao de energia, pois a
rede neural de Hopeld se fundamenta exatamente em um sistema dinamico no
tempo, cuja descri cao de estabilidade e feita por uma funcao de energia per-
tencente `a classe das funcoes de Lyapunov. Nao existe um algoritmo para criar
essas funcoes de energia, sendo, portanto, uma tarefa complicada o seu desenvol-
vimento. Normalmente, essas fun coes de energia sao divididas em dois termos:
o referente a minimiza cao da funcao-objetivo de fato e o termo concernente `as
restricoes impostas ao problema em questao. Serao desenvolvidas em detalhes
essas fun coes nas secoes que seguem esse documento.
O restante da monograa esta dividida da seguinte forma: a Se cao 3 detalha
o uso do modelo de Hopeld para a area de telecomunicacoes, enquanto que na
Secao 4, o o problema de clusteriza cao de pixels e retratado. Finalmente, a Secao
5 apresenta algumas conclusoes baseadas nos problemas aqui desenvolvidos.
2 O Modelo Discreto de Hopeld Visto como uma
Content-Addressable Memory (CAM)
As redes de Hopeld tem atrado muita aten cao na literatura como CAM. Neste
tipo de aplicacao, sabe-se a priori os atratores da rede, no sentido de que eles
correspondem aos padroes a serem armazenados. Entretanto, os pesos sinapticos
da rede que produzem os atratores sao desconhecidos, e o problema e como
determina-los.
A fun cao primordial de uma CAM e recuperar um padrao armazenado na me-
moria, em resposta `a apresentacao de uma versao incompleta ou ruidosa daquele
padrao. Uma propriedade importante de uma CAM e a habilidade de recuperar
um padrao armazenado, dado um subconjunto razoavel do conte udo de informa-
cao daquele padrao. Mais ainda, uma CAM permite corre cao de erro, no sentido
de que ela pode ignorar informa coes inconsistentes nas sugestoes apresentadas `a
ela.
2 Thiago Christiano Silva
A essencia de uma CAM e mapear uma memoria fundamental

em um
atrator x

de um sistema dinamico, conforme ilustrado na Figura 1. Matemati-

camente, pode-se expressar este mapeamento na forma

.
Figura 1: Ilustracao da codicacao-decodicacao desempenhada por uma rede de
Hopeld. Ilustra cao extrada integralmente de Haykin [2008].
A seta da esquerda para a direita da Figura 1 descreve a opera cao de codi-
cacao, enquanto que a seta da direita para a esquerda descreve uma opera cao
de decodica cao. Os pontos xos atratores do espa co de estado da rede sao as
memorias fundamentais ou estados prototipos da rede.
Suponha agora que seja apresentada `a rede um padrao contendo informa cao
parcial mas suciente sobre uma das memorias fundamentais. Pode-se, entao,
representar aquele particular padrao como ponto de partida no espaco de estados.
Em princpio, desde que o ponto de partida seja proximo ao atrator, o qual
representa a memoria a ser recuperada (isto e, desde que x(0) esteja dentro da
bacia de atra cao de um dos atratores), o sistema deve evoluir com o tempo
e, nalmente, convergir para o proprio atrator que representa a memoria. Neste
instante de tempo, a memoria inteira e recuperada pela rede. Consequentemente,
a rede de Hopeld tem uma propriedade emergente, a qual a auxilia a recuperar
informacao e a lidar com erros.
Com o modelo de Hopeld utilizando o neuronio formal de McCulloch e
Pitts como unidade basica de processamento, cada neuronio tem dois estados
determinados pelo nvel do campo local induzido que atua sobre ele. O estado
ligado do neuronio i e denotado pela sada x
i
= +1, e o estado desligado e
representado por x
i
= 1. Para uma rede constituda de N neuronios, o estado
da rede e entao denido pelo vetor x = [x
0
, x
1
, ..., x
N1
]
T
.
Hopeld em Clusterizac ao e Roteamento 3
Com x
i
= 1, o estado do neuronio i representa um bit de informacao, e
ovetor de estados x R
N
, representa uma palavra binaria de N bits de infor-
ma cao.
Ha duas fases para a operacao da rede discreta de Hopeld como uma CAM,
as quais sao denominadas:
Armazenagem (Storage Phase).
Recupera cao (Retrieval Phase).
Ambas as fases serao estudadas nas proximas secoes.
2.1 Fase 1: Armazenamento
Suponha que deseja-se armazenar um conjunto de vetore N-dimensionais (pa-
lavras binarias), denotado por {
,i
| = 0, 1, ..., M 1}. Chama-se estes M
vetores de memorias fundamentais, representando os padroes a serem memori-
zados pela rede. Seja
,i
o i-esimo elemento da memoria fundamental

. De
acordo com a regra do produto externo de armazenamento, ou seja, a generali-
za cao do postulado de aprendizado de Hebb, o peso sinaptico do neuronio i para
o neuronio j e denido por:
w
ji
=
1
N
M1

=0

,j

,i
(1)
A motiva cao para usar
1
N
como constante de proporcionalidade e simplicar
a descri cao matematica da recuperacao da informa cao.
3 Aplicacao da Rede de Hopeld para o Campo de
Telecomunicacoes
Nesta se cao sera visto em detalhes a modicacao realizada na funcao de energia
de Hopeld para comportar o problema de encontrar caminhos de roteamento
em redes de comunicacoes. Especicamente, a Secao 3.1 apresenta uma intro-
du cao sucinta, a Se cao 3.2 traz a deni cao do problema, a Secao 3.3 elucida a
funcao de energia de Hopeld modicada criada especialmente para o problema
em questao, a Secao 3.4 ilustra em detalhes uma tecnica para reduzir a rede
e, consequentemente, tornar a utilizacao do algoritmo plausvel para redes de
grande escala, enquanto que a Se cao 3.5 discorre sobre o algoritmo de encontrar
caminhos entre m ultiplos destinos, a partir de uma fonte.
3.1 Breve Evolucao Historica
Nos ultimos anos, muitas tecnologias de comutacao de redes foram desenvolvidas
e amplamente aplicadas para o mundo das redes de comunica coes. Entre seus
diversos componentes-chave, o roteamento possui um impacto signicante no
4 Thiago Christiano Silva
desempenho da rede. Qualquer algoritmo de roteamento razoavel deve tentar
encontrar o caminho otimo para a transmissao dos dados, com o intuito de
satisfazer `as demandas dos usuarios, os quais almejam, em proporcoes crescentes,
servi cos rapidos e com baixas perdas de transmissao. O uso de redes neurais para
encontrar o menor caminho - ou caminho geodesico - entre um vertice inicial,
aqui denominado fonte, ate um vertice nal, intitulado destino, foi primeiramente
proposto por Rauch e Winarske [1988]. A abordagem de Rauch e Winarske
apresenta uma restri cao quanto ao mnimo n umero de vertices que compoem
o caminho de roteamento, i.e., este n umero deve ser estimado antemao. Zhang
e Thomopoulos [1989] propuseram outra abordagem a qual permitia a visita a
todos os vertices da rede. Mehmet Ali e Kamoun [1993] introduziram um modelo
adaptativo para a estrutura da rede, por meio dos dados topologicos extrados
do conjunto de dados de entrada. Em [Mehmet Ali e Kamoun, 1993], o modelo
de roteamento nao e escalavel para grandes redes, mesmo que se fundamente na
estrutura fornecida pelas caractersticas topologicas dos dados. No trabalho que
este documento se ira aprofundar, o qual pode ser consultado em [Park e Choi,
2002], uma abordagem distinta das anteriores sera tomada, a qual lida com o
problema de roteamento com m ultiplos destinos e ainda pode ser utilizada em
redes com um grande n umeros de vertices. A abordagem utiliza um metodo de
redu cao do espaco de vertices, por meio de um parametro de screening, que
nada mais e que um threshold o qual e aplicado em cada aresta da rede. Desta
forma, sera visto que a rede e consideravelmente reduzida com essa tecnica. Em
seguida, o algoritmo de busca de profundidade e utilizado para encontrar o menor
caminho na rede resultante. Para a rede reduzida a partir do procedimento de
screening, uma versao modicada da rede neural de Hopeld para o problema
de roteamento otimo e mostrada.
3.2 Denicao do Problema
As proximas se coes foram baseadas, em sua grande parte, em [Park e Choi, 2002].
Um grafo geometrico e utilizado para modelar a topologia dos dados da rede de
comunica cao. Neste caso, sera utilizado um grafo nao direcionado G =< V, E >,
em que o conjunto de vertices e denotado por V e o conjunto de arestas, por
E. Para o problema a ser modelado, os roteadores da rede de comuta cao sao
representados pelos vertices, cuja quantidade total e dada por N = |V |, em que
o operador |.| denota a cardinalidade do conjunto em analise. Arestas existem
entre dois roteadores quaisquer se existe uma conexao fsica entre ambos. Com
as consideracoes acima, o problema de roteamento com m ultiplos destinos pode
ser denido como:
1.

E fornecido um grafo G =< V, E > ao problema.
2. Uma matriz de custo, denominada L = [L
xi
], e fornecida junto ao grafo. A
entrada L
xi
denota o custo entre os vertices x e i, sendo que sicamente, pode
ser interpretado de varias formas, entre eles: delay, capacidade, velocidade
de propaga cao no material, risco de perda do sinal (bits), largura de banda,
congestionamento de trafego, etc.
Hopeld em Clusterizac ao e Roteamento 5
3. Um vertice-fonte s e um ou mais vertices-destino d
x
sao designados pelo
usuario, sendo que s, d
x
V , com x = 1, ..., N.
Correspondente a cada liga cao (x, i), existe um n umero nao negativo L
xi
,
denominado de custo, que engloba todas as caractersticas do canal, como aquelas
supracitadas, em um n umero real. Vale lembrar que um baixo valor de L
xi
mostra
que aquela aresta e propensa a ser utilizada, enquanto que um alto valor de
L
xi
indica que a aresta em questao nao e uma boa escolha. Se nao existe uma
aresta entre os vertices x e i, entao a L
xi
e designado um valor alto, idealmente,
L
xi
= . Perceba que, como o grafo em questao e nao direcionado, segue que a
matriz a matriz de custo e de adjacencia sao simetricas, i.e., L
xi
= L
ix
.
Se for denido um caminho nao direcionado P
s,d
x
para o problema de rotea-
mento com m ultiplos destinos, uma sequencia ordenada de vertices conectando
a fonte s ao destino d
x
pode ser representada por:
P
s,d
x
= (s, a, b, ..., d
1
, ..., d
2
, ..., i, d
x
) (2)
em que d
x
denota o destino x iniciando de s, com um pre-arranjo de m ultiplos
destinos, conforme a Eq. 2 indica. O problema pode ser dividido da seguinte
forma: dado esse pre-arranjo, entao minimize L
s,d
x
= L
s,a
+L
a,b
+... +L
i,d
x
, de
tal forma que cada termo seja independente dos demais.
Para formular o problema acima em um modelo de otimiza cao discreta, e
criada uma matriz de dimensao NN, sendo que todos os elementos da diagonal
principal sejam zeros. Cada elemento da matriz e representado por um neuronio
denotado por dois ndices (x, i). Denindo o valor V
xi
como:
V
xi
=
_
1 se a aresta do vertice x para o vertice i existe na solu cao nal,
0 caso contrario.
(3)
Alem disso, denindo
xi
como:

xi
=
_
1 se a aresta do vertice x para o vertice i nao existe,
0 caso contrario.
(4)
Utilizando as denicoes supracitadas, a fun cao-objetivo, a qual representa o
problema de roteamento de m ultiplos destinos, pode ser modelada da seguinte
forma:
6 Thiago Christiano Silva
Minimize
N1

x=0
N1

x=0
L
xi
V
xi
(5)
Sujeito a
_
_
_
_
_
N1

i = 0,
i = x
V
xi

N1

j = 0,
j = x
V
jx
_
_
_
_
_
(6)
=
_
_
_
1 se x = s,
1 se x = d
xm
, x = {1, ..., N} e m = {1, ..., D},
0 caso contrario.
(7)
Isto e, a Eq. 7 constata que o total a soma das visitas a vertices-fonte deve
equivaler a <sadas - entradas> = +1, ou seja sair do vertice-fonte uma vez
mais do que entrou. Ja para o caso dos vertices-destino, essa soma deve equivaler
<sada - entradas> = 1, indicando que o caminho otimo deve entrar uma vez
mais do que saiu. O terceiro caso denota a situa cao que se deseja para os vertices
intermediarios: o n umero de vezes que o algoritmo entra no vertice deve equivaler
`a mesma quantidade que o algoritmo sai desse mesmo vertice.
3.3 A Rede Neural de Hopeld para o Roteamento
O uso de redes neurais para resolver problemas de otimizacao com restri coes
foi primeiramente estudado por Hopeld e Tank (conforme foi visto em aula)
[Hopeld e Tank, 1985; Tank e Hopeld, 1986]. Eles propuseram um modelo de
redes neurais que deriva bons resultados para problemas de otimizacao discreta
combinatorial e, alem disso, demonstraram o poder computacional da rede pro-
posta aplicando o modelo deles para o famoso problema do caixeiro viajante.
A convergencia de sistemas dinamicos nao lineares para conexoes simetricas foi
provado com o auxlio da introducao de uma fun cao de energia Lyapunov. Desde
entao, as redes neurais foram utilizadas para resolver varios problemas de oti-
mizacao, conhecidos por NP-completos. No trabalho proposto por [Park e Choi,
2002], o qual aqui sera estudado em detalhes, o modelo neural de Hopeld e
utilizado para encontrar uma ordem de roteamento entre o vertice-fonte e os
vertices-destino.
Para adaptar tal fun cao de energia para o problema aqui estudado, uma
funcao de energia alternativa para redes neurais de Hopeld sera introduzido,
com o proposito de encontrar a ordem de roteamento otima para o problema
de destinos m ultiplos em redes de comunicacao. Para efeitos de completeza, a
equacao abaixo demonstra a funcao de energia proposta por Hopeld e Tank
para o caso do caixeiro viajante:
Hopeld em Clusterizac ao e Roteamento 7
E =
A
2
N1

x=0
N1

i=0
N1

j = 0,
j = i
v
xi
v
xj
(8)
+
B
2
N1

i=0
N1

x=0
N1

y = 0,
j = x
v
xi
v
yi
+
C
2
N1

x=0
_
N1

i=0
v
xi
1
_
2
+
D
2
N1

x=0
N1

y = 0,
y = x
N1

i=0
d
xy
v
xi
(v
y,i+1
+v
y,i1
)
Conforme explicado em [Hopeld e Tank, 1985; Tank e Hopeld, 1986], o
primeiro termo da equa cao acima e responsavel por for car que para cada vertice
visitado (no caso, uma cidade), o n umero de vezes que o algoritmo sai dele
seja unitario; o mesmo raciocnio vale para o segundo em termo, o qual indica
que o n umero total de vezes que um determinado de vertice pode ser visitado
deve, tambem, ser unitario. A terceira restricao indica que toda cidade deve ser
visitada uma unica vez e o quarto e a funcao de minimiza cao propriamente dita,
a qual versa sobre encontrar o menor caminho que passe por todas as cidades.
No trabalho aqui estudado, sera usado um modelo de redes neurais para
determinar a ordem de visita dos vertices, os quais se situam entre o par de
vertices fonte e destino. Entretanto, na formulacao da Eq. 8, ja foi mostrado
que conforme o tamanho da rede aumenta, o metodo pode nao produzir solucoes
validas. Para o caso de n cidades, a razao r(n) do n umero de solucoes validas
para o n umero de possveis estados-solu cao que sao candidatos para a solu cao
de mnima distancia e conhecido como sendo [Wilson e Pawley, 1988]:
r(n) =
(n 1)!
2(2
n
2
)
(9)
De fato, conforme n , verica-se que r(n) 0, ou seja, o n umero de so-
lu coes validas ca infactvel. Em virtude do problema de escala acima retratado,
e extremamente difcil usar redes neurais de Hopeld para problemas praticos de
roteamento em comunicacao. Uma forma de evitar que a rede neural de Hopeld
atinja um mnimo local e utilizar uma adapta cao do algoritmo recursivo baseado
no modelo de Hopeld e Tank [Vakhutinsky e Golden, 1995], o qual foi proposto
no contexto de encontrar a melhor ordem de roteamento entre os vertices. Clara-
mente, percebe-se que essas varias abordagens que foram elaboradas objetivando
a resolucao do problema do caixeiro viajante para redes de larga escala [Noel e
Szu, 1997; Vakhutinsky e Golden, 1995] nos fornecem alguns bons indcios no
sentido de como atacar problemas de larga escalas em redes de comunicacao,
8 Thiago Christiano Silva
i.e., em primeira instancia, deve-se decompor o problema de larga escala em va-
rios problemas menores, passveis de processamento. Um vez estabelecida esta
etapa, procede-se para a resolucao isolada desses varios problemas. Finalmente,
passasse para a ultima fase que e a integracao de todos esses resultados obtidos
com o problema de larga escala real. Na abordagem que sera estudada, um pro-
cesso de reducao do espaco de estados, denominado de processo de screening,
e introduzido com o mesmo proposito acima relatado: decompor o problema de
larga escala em varios problema de facil resolucao.
3.4 Procedimento para Reducao do Espaco de Vertices (Screening)
A maioria dos algoritmos de roteamento convencionais xam o n umeros de ver-
tices na rede neural que descreve o problema. Lee e Chang foram os primeiros a
introduzir um algoritmo de roteamento que e capaz de decompor um problema
de larga escala em varios problemas menores, por meio de fatores de dependencia
[Lee e Chang, 1993]. Entretanto, os fatores de dependencia devem ser renados
e adaptados e variam muito de problema para problema. Uma vez que e difcil,
portanto, encontrar este ajuste exato dos fatores de dependencia para diferentes
redes, um processo geral, denominado de procedimento de screening foi proposto
por [Park e Choi, 2002], com o intuito de reduzir a escala do problema, sem que
seja prejudicada a otimalidade da solu cao, e e seguir descrito em detalhes.
Sejam o custo da aresta denotado por L
xi
e o n umero de vertices, por n.
Cumpre ressaltar que, no trabalho proposto por [Park e Choi, 2002], o contexto
em que o custo se origina n ao e a distancia geometrica, mas sim a carga fsica de
dados. Tambem e assumido que todas as capacidades das arestas sejam identicas.
Antes de realizar o processo de screening, devem-se encontrar a aresta de mnimo
custo L
min
, a aresta de maximo custo L
max
e a diferenca relativa a essas duas
arestas, L
max
L
min
. Comecando do valor L
min
como valor de threshold, uma
carga de screening, L
scr
, e aplicada a todos as arestas de custo na rede, de tal
forma que devem ser eliminadas todas arestas cujos custos excedam o threshold
atual. Esse valor de threshold e incrementado ate que um caminho valido do
vertice-fonte ao vertice-destino exista, nao importando a otimalidade da rota. O
valor de threshold L
scr
na n-esima tentativa e denido por:
L
scr
(n) = L
min
+L (n 1) (10)
L =
1
n
(L
max
L
min
) (11)
Com o objetivo de encontrar qualquer caminho valido entre o processo de
screening (2 n < N 1), um metodo de busca em grafos denominado busca
em largura sera utilizado (DFS) [Weiss, 1993]. Por exemplo, para um problema
para 9 vertices, tal como e ilustrado na Fig. 2a, tem-se que vertice-fonte e o 1 e
destino, 9. Apos a aplicacao do procedimento de screening uma vez, o resultado
na Fig. 2b. Com a meta de encontrar qualquer caminho valido na rede resultante,
o algoritmo DFS e aplicado na Fig. 2b. Uma vez que nao ha um caminho valido
Hopeld em Clusterizac ao e Roteamento 9
entre a fonte e o destino, o algoritmo falha. Desta forma, outro screening, desta
vez com um threshold L
scr
maior, e aplicado. A rede resultante, apos o segundo
screening, e mostrada na Fig. 2c. Uma vez que o algoritmo DFS encontra um
caminho valido entre a fonte e o destino, entao o algoritmo para e o resultado da
busca e dado na Fig. 2d. Note que a aplicacao do DFS resulta na elimina cao do
vertice 5 e a aresta entre 3 e 8, as quais estao isoladas do caminho encontrado.
Figura 2: Esquematico do processo de Screening. Figura integralmente extrada
de [Park e Choi, 2002].
Com o auxlio desse procedimento de screening, a rede neural resultado pode
ser organizada em uma matriz de dimensao (n m) (n m), 0 m < n,
enquanto que sem reducao, precisar-se-ia de uma matriz cujas dimensoes atingem
(n n).
3.5 Algoritmo de Redes Neurais para Roteamento com M ultiplos
Destinos
Com o auxlio do metodo de redu cao de redes mostrado na secao anterior, sera
introduzido um algoritmo de roteamento baseado em redes neurais de Hopeld,
com o intuito de resolver o problema de roteamento com m ultiplos destinos.
Para tanto, sera denida uma fun cao de energia, cujo processo de minimizacao
orienta a rede neural para o seu estado de menor energia possvel. Esse estado
estavel deve corresponder ao roteamento de custo otimo entre um vertice-fonte
e seus vertices-destinos. Uma fun cao de energia proposta em [Park e Choi, 2002]
e dada por:
10 Thiago Christiano Silva
E =
A
2
N1

x=0
N1

i = 0,
i = x,
(x, i) = (d, s)
L
xi
V
xi
(12)
+
B
2
N1

x=0
N1

i = 0,
i = x,
(x, i) = (d, s)

xi
V
xi
+
C
2
N1

x=0
_

_
N1

i = 0,
i = x
V
xi

N1

i = 0,
i = x
V
ix

x
_

_
2
+
D
2
N1

i=0
N1

x = 0,
x = i
V
2
xi
onde
x
e denido por:

x
=
_
_
_
1 x = s,
1 x = d
m
, para todo x = {1, ..., N} e m = {1, ..., D},
0 caso contrario.
(13)
e
xi
denota a informacao de conexao entre os vertices, a qual e dada por:

xi
=
_
1 se uma conexao entre o vertice x e i existe,
0 caso contrario.
(14)
Na Eq. 12, o termo A e responsavel por minimizar o custo total do rotea-
mento, o qual leva em conta o caminho que foi percorrido e o custo para cada
aresta utilizada. O termo B previne que arestas nao existentes sejam inclusas
no caminho escolhido para roteamento. O termo C e zero se as restricoes sao
satisfeitas (as quais podem ser resumidas em tres casos distintos: 1) os vertices
intermediarios devem ter a quantidade de arestas que entram nele equivalente `a
quantidade de arestas que emergem dele; 2) deve haver apenas uma aresta emer-
gente do vertice-fonte; 3) deve haver apenas uma aresta que entre no vertice-
fonte). Finalmente, o termo D for ca que o estado da rede neural convirja para
uma rota valida. Note que o termo C e usado para obrigar que se um vertice
entra em outro, seu vertice sera excitado pelo caminho-solu cao. Os termos B e D
tambem reforcam a necessidade de que o estado da rede neural deva convergir.
A funcao de ativacao utilizada pela rede neural proposta em [Park e Choi,
2002] e dada pela seguinte fun cao sigmoide:
V
xi
= g(U
xi
) =
1
1 +e
U
xi
(15)
Hopeld em Clusterizac ao e Roteamento 11
Diferenciando a Eq. 12, pode-se descobrir como a energia muda conforme
passa o tempo. Como sabe-se, no estado ideal, ela deve ser minimizada. Portanto,
a mo cao da Eq. 12 e descrita por:
dU
xi
dt
=
U
xi

E
V
xi
(16)
=
U
xi

A
2
L
xi
(1
xd

is
)
B
2

xi
(1
xd

is
) (17)
C
N1

y=0,y=x
(V
xy
V
yx

x
)
+ C
N1

y=0,y=i
(V
iy
V
yi

i
)
D
2
(1 2V
xi
)
onde
ab
representa o delta de Kronecker.
Como pode ser visto pela funcao de energia, uma vantagem desse modelo e
que ele mapeia os custos das arestas nos biases dos neuronios, ao inves de ma-
pear nas interconexoes entre os neuronios, representados pelos pesos sinapticos.
Adicionalmente, depois de encontrar as arestas validas usando o procedimento
de screening descrito, o modelo de energia proposto e mais efetivo para resolver
o problema de roteamento com m ultiplos destinos do que modelos convencionais,
uma vez que o modelo visto e adaptativo, no sentido de a rede se adaptar `a rede
de comunica coes, ele pode encontrar mais facilmente a rota otima do problema
de roteamento [Park e Choi, 2002].
3.6 Experimentos Computacionais
A m de ilustrar o desempenho do algoritmo em [Park e Choi, 2002], um pro-
blema articial exemplar e mostrado na Fig. 3. O vertice-fonte e o denotado
por S = 1 e os vertices-destinos, por D
1
= 6, D
2
= 10 e D
3
= 15. A Fig. 4a
mostra o resultado depois de aplicar o processo de reducao screening para o par
de vertices (Fonte = 1, Destino = 6) e a Fig. 4b ilustra o resultado aplicando
a rede neural de Hopeld modicada discutida anteriormente. Com o intuito de
obter agora o caminho entre o segundo vertice-destino, toma-se o par (Fonte =
6, Destino 10), cujo produto do processo de screening e dado na Fig. 4c. A partir
da Fig. 4c, o caminho D
1
D
2
e D
2
D
3
sao obtidos a partir da aplicacao do
algoritmo de redes neurais, cujo resultado pode ser visualizado na Fig. 4d e Fig.
4e, respectivamente. O caminho de roteamento nal e dado na Fig. 4f por meio
da conexao dos resultados da Fig. 4b, 4d e 4e.
4 A Rede Neural de Hopeld para Clusterizacao de
Pixels em Imagens com Nveis de Cinza
Grande parte dessa secao foi extrada de [Kazemi et al., 2008]. Aqui sera visto
uma segunda aplicacao das redes de Hopeld: segmenta cao de imagens. Especi-
12 Thiago Christiano Silva
Figura 3: Rede de comunica cao a ser utilizada como exemplo. Figura integral-
mente extrada de [Park e Choi, 2002].
camente, na Secao 4.1 uma breve introducao sobre os algoritmos de clusteriza cao
e dada, a Se cao 4.2 detalha a rede de Hopeld modicada em detalhes e, nal-
mente, a Se cao 4.3 traz algumas simula coes.
4.1 Algoritmos de Clusterizacao
A analise de agrupamento e baseada no particionamento de uma colecao de itens
de dados em um n umero de subgrupos, em que objetos dentro de um cluster (um
subgrupo) detem certa similaridade ou aproximidade. Estes metodos podem ser
considerados hard-labeling ou soft-labeling (fuzzy), em que, no primeiro caso, a
resposta de um item de dado quanto `a pertinencia a um certo grupo e binaria,
ou seja, pertence ou nao integralmente a certo grupo. Ja no segundo caso, essa
resposta e probabilstica, abrangendo, portanto, o intervalo [0, 1], permitindo que
um item de dado pertenca a varios grupos. Um alto valor de um item de dado
para certo cluster signica grande similaridade entre ambos.
Os metodos fuzzy podem ser retratados como uma generalizacao do hard-
labeling. Matematicamente, considere que a matriz U = [
ik
] represente as par-
ticoes fuzzy, cujas restricoes sao enunciadas a seguir:

ij
[0, 1], 1 i N, 1 k c, (18)
c

k=1

ik
= 1 (19)
0 <
N

i=1

ik
< N, 1 k c (20)
O algoritmo que sera utilizado sera o Fuzzy C-means, o qual e baseado na
minimizacao das distancias dos itens de dados ao centroide de cada cluster.
Matematicamente,
Hopeld em Clusterizac ao e Roteamento 13
Figura 4: Resultado da simulacao aplicado `a rede da Fig. 3. Figura integralmente
extrada de [Park e Choi, 2002].
J(X, U, V ) =
c

i=1
N

k=1
(
ik
)
m
||x
k
v
i
||
2
A
(21)
onde V = [v
1
, v
2
, ..., v
c
], v
i
R denota o vetor-prototipo dos clusters.
4.2 Modelo de Redes Neurais de Hopeld Fuzzy
O metodo de segmentacao de imagens a ser estudado e baseado na rede neural
de Hopeld Fuzzy, com a aplicacao do algoritmo fuzzy c-means. Escolhe-se tal
14 Thiago Christiano Silva
algoritmo para eliminar a necessidade de encontrar fatores de ajuste para funcao
de energia. A rede e totalmente conectada, com apenas uma camada, como e
convencional o modelo de Hopeld. O valor lquido que sai do corpo celular de
um neuronio (i, k) e dado por:
Net
i,k
=
N

q=1
c

j=1
W
i,k;j,q
V
j,q
+I
i,k
(22)
onde N denota o n umero de itens de dados, c e o n umero de clusters, V
j,q
caracteriza o estado binario do neuronio (j, q), W
i,k;j,q
e o peso da interconexao
entre os neuronios (i, k) e (j, q), I
i,k
e o vetor de bias aplicado ao neuronio (i, k).
A rede neural de Hopeld consiste em Nc neuronios que podem ser concebidos
como uma matriz 2D para o problema de segmentacao de imagens. A funcao de
energia de Lyapunov para 2D e dada por:
E =
1
2
N

k=1
N

q=1
c

i=1
c

j=1
V
i,k
W
i,k;j,q
V
j,q

k=1
c

i=1
I
i,k
V
i,k
(23)
A rede neural atinge um estado estavel, denominado atrator, quando a fun-
cao de energia de Lyapunov e minimizada. O problema de otimizacao pode ser
mapeado em uma rede neural de Hopeld totalmente conectada com o algoritmo
fuzzy c-means. O valor lquido do neuronio (i, k) pode ser modicado para:
Net
i,k
=
_
x
k

q=1
W
i,k;i,q

m
i,q
_
2
+I
i,k
(24)
e a fun cao de Lyapunov pode ser modicada para:
E =
1
2
N

k=1
c

i=1

m
i,k
_
x
k

q=1
W
i,k;i,q

m
i,q
_
2

k=1
c

i=1
I
i,k

m
i,k
(25)
em que m e parametro de fuzzication, x
k
e o valor do pixel da imagem e

i,k
e valor de sada do neuronio (i, k). Um neuronio (i, k) com o maximo nvel
de dominancia indica que ele pertence certamente ao cluster i. Cada coluna da
rede neural de Hopeld representa o centroide dos clusters e cada linha, um pixel
em uma classe. Com o m de gerar uma classicacao adequada com restricoes,
dene-se a seguinte funcao de energia de Lyapunov:
E =
A
2
N

k=1
c

i=1

m
i,k
_
x
k

q=1
1

N
h=1

m
i,h
x
q

m
i,q
_
2
+
B
2
__
N

k=1
c

i=1

i,k
_
N
_
2
(26)
O primeiro termo na Eq. 26 representa a energia das classes, o qual e dado
pela distancia euclidiana das amostras ao centro do cluster, para todos os c
Hopeld em Clusterizac ao e Roteamento 15
clusters. O segundo termo garante que a soma do nvel de dominancia dos itens
de dados equivalha a N.
A qualidade de classicacao e muito sensvel a fatores de ajuste. Encontrar
valores otimos para esses fatores pode ser computacionalmente inviavel. Para
amenizar este problema, o metodo Rede Neural de Hopeld com Clusteriza cao
por Fuzzy C-Means e estudado adiante. Uma vez que cada pixel pode ser ocupado
por apenas uma classe, a soma de cada linha da matriz deve valer 1. Isto e,
c

k=1

i,k
= 1 (27)
N

k=1
c

i=1

i,k
= N (28)
Portanto, a fun cao de energia pode ser minimizada para:
E =
1
2
N

k=1
c

i=1

m
i,k
_
x
k

q=1
1

N
h=1

m
i,h
x
q

m
i,q
_
2
(29)
A opera cao de normalizacao garante que cada pixel seja absorvido por va-
rias classes com um certo grau de probabilidade. A minimiza cao da fun cao de
energia E e consideravelmente simplicada, porque apenas contem um termo, e,
portanto, o requisito de encontrar fatores de ajuste A e B e eliminado.
Comparando a Eq. 29 com a fun cao de energia modicada na Eq. 25, as
interconexoes dos pesos sinapticos e os biases podem ser facilmente obtidos por:
W
i,k;i,q
=
x
q

N
h=1

m
i,h
(30)
I
i,k
= 0 (31)
Substituindo as express oes nas Eqs. 30 e 31 na Eq. 24, a entrada lquida no
neuronio (i, k) pode ser expressa por:
Net
i,k
=
_
x
k

q=1
1

N
h=1

m
i,h
x
q

m
i,q
_
2
= [x
k
v
i
]
2
= D
2
i,k
(32)
A funcao que mede o nvel de dominancia do cluster i ao pixel k e dada por:

i,k
=
_
_
_
Net
i,k

c
j=1
Net
j,k
_ 2
m1
_
_
1
(33)
A funcao do nvel de dominancia e minimizar a funcao-objetivo a cada itera-
cao. Logo, a nova funcao objetivo e dada por:
J =
1
N
N

k=1
c

i=1

m
i,k
D
2
i,k
(34)
16 Thiago Christiano Silva
4.3 Experimentos Computacionais
A m de mensurar a qualidade do algoritmo estudado na secao anterior, algumas
simulacoes foram extradas de [Kazemi et al., 2008]. As imagens aqui avaliadas
possuem dimensao de 256 256 pixels e sao nveis de cinza (256 tonalidades).
A Fig. 5 mostra o resultado aplicado a uma imagem real. Ja a Fig. 6 mostra a
famosa imagem de Leena. Ambos os resultados parecem satisfatorios.
Figura 5: Imagem de um homem fotografando a paisagem. (a) imagem original;
(b) imagem segmentada com c = 3; (c) imagem segmentada com c = 5; (d)
imagem segmentada com c = 7. Figura integralmente extrada de [Kazemi et al.,
2008].
5 Conclusoes
Este trabalho retratou a utilizacao de uma rede de Hopeld para o campo de
telecomunicacoes e para clusteriza cao de pixels. Foi visto que o ponto-chave no
modelo de Hopeld e a constru cao de uma funcao de energia que descreva o com-
portamento do sistema. Em termos praticos, o sistema deve dissipar esta energia
ao longo do tempo, ate que atinja um estado estavel, caracterizado por um m-
nimo local ou global de energia. Esses estados sao de especial importancia para a
resolucao dos problemas via rede neural de Hopeld, pois representam a solucao
que se procura. Neste trabalho, foram detalhadas a confec cao dessas funcoes,
bem como suas propriedades. Resultados empricos tambem foram mostrados,
constantando a acuracia do modelo descrito.
Hopeld em Clusterizac ao e Roteamento 17
Figura 6: Leena. (a) imagem original; (b) imagem segmentada com c = 3; (c)
imagem segmentada com c = 5; (d) imagem segmentada com c = 7. Figura
integralmente extrada de [Kazemi et al., 2008].
O uso de redes neurais vem obtendo crescente interesse pelos pesquisadores
da area. Isto decorre em razao das vantagens inerentes `a utiliza cao de redes
neurais contra os metodos computacionais convencionais, entre elas: a estrutura
da rede neural traz naturalmente o conceito de paralelismo, pode ser utilizada
para resolver, com boa aproximacao, problemas NP-completos, entre outras.
Enm, este trabalho tenta mostrar a importancia do modelo de Hopeld na
ciencia, mostrando que sua aplica cao abrange in umeras fronteiras.
Referencias Bibliogracas
Haykin, S. Neural Networks and Learning Machines. Prentice Hall, 3 edition,
2008. ISBN 0131471392.
Hopeld, J. J. e Tank, D. W. Neural computation of decisions in optimiza-
tion problems. Biological Cybernetics, 52(3):141152, 1985. doi: 10.1007/
BF00339943.
Kazemi, F., Akbarzadeh-T, M.-R., Rahati, S., e Rajabi, H. Fast image seg-
mentation using c-means based fuzzy hopeld neural network. Electrical and
Computer Engineering 2008, 2008.
Lee, S.-L. e Chang, S. Neural networks for routing of communication networks
with unreliable components. IEEE Transactions on Neural Networks, 4(5):
12781283, 1993.
Mehmet Ali, M. e Kamoun, F. Neural networks for shortest path computation
and routing in computer networks. In IEEE Transactions on Neural Networks,
volume 4, pages 941953, 1993.
Noel, S. e Szu, H. Multiple-resolution divide and conquer neural networks for
large scale tsp-like energy minimization problems. ICNN, 2:12781283, 1997.
Park, D.-C. e Choi, S.-E. A neural network based multi-destination routing algo-
rithm for communication network. In IEEE World Congress on Computational
Intelligence, volume 2, pages 16731678, 2002.
Rauch, H. e Winarske, T. Neural networks for routing communication trac.
IEEE Contr. Syst. Mag., 69:2630, 1988.
Tank, D. W. e Hopeld, J. J. Simple neural optimization networks: An a/d
converter, signal decision circuit, and a linear programming circuit. IEEE Tr.
Circuits Systems, CAS-33(5):531541, 1986.
Vakhutinsky, A. e Golden, B. A hierarchical strategy for solving traveling sales-
man problems using elastic nets. Journal of Heuristics, 1:6776, 1995.
Weiss, M. Data Structures and Algorithm Analysis in C. The Benja-
min/Cummings Pub. Co. Inc., 1993.
Wilson, G. V. e Pawley, G. S. On the stability of the travelling salesman problem
algorithm of hopeld and tank. Biological Cybernetics, 58:6370, 1988.
Zhang, L. e Thomopoulos, S. Neural network implementation of the shortest
path algorithm for trac routing in communication networks. In Proceedings
of the International Joint Conference on Neural Networks, pages II591, 1989.