Tcnicas Baseadas em Similaridade

Anderson Murilo P. S.1, Thiago de L. Martins2,

1

Departamento de Computao Universidade de Pernambuco (UPE) Rua Benfica,45550.750-470 Recife PE Brasil

{amps,tlm2}@ecomp.poli.br

Abstract. Recently there has been considerable interest in the classification techniques without the use of feature extraction. In this article we discuss the use and application of techniques based on similarity. Will be shown some techniques based on this model and its comparison.. Resumo. Recentemente tem havido um interesse considervel nas tcnicas de classificao sem a utilizao de extrao de caractersticas. Neste artigo discutimos a utilizao e aplicao de tcnicas baseadas em similaridade. Sero mostradas algumas tcnicas baseadas neste modelo e seu comparativo.

Introduo
Recentemente tem havido um interesse considervel nas tcnicas de classificao sem a utilizao de extrao de caractersticas, tanto para desenvolvimento, quanto para estudo de novas abordagens de distancias e similaridades entre objetos[4]. Tradicionalmente, abordagens de classificao e reconhecimento so referenciadas s tcnicas de extrao de caractersticas (abordagens de reduo dimensional), onde objetos so descritos por um conjunto reduzido de caractersticas melhor representativo[1]. Tais tcnicas apresentam limitaes importantes quanto definio de recursos, pois so fortemente dependentes da escolha de um mtodo que satisfaa o problema em questo, sendo o sucesso determinado pela seleo cuidadosa das caractersticas a serem extradas [2], ou seja, espera-se que o conjunto escolhido represente a parte essencial da informao que defina o objeto. Segundo Nilsson[5], no existe uma teoria geral que permita escolher quais caractersticas so importantes para a resoluo de um determinado problema, sendo a elaborao de um extrator de caractersticas, de certa forma emprica . Extraes de caractersticas tambm podem apresentar um consumo computacional dispendioso, dependendo da escolha da soluo a ser implementada[1]. Classificadores que no utilizam a extrao de caractersticas estimam o resultado de uma amostra baseado na sua disposio em relao a outros objetos sem ter a necessidade de uma fase de representao explicita [3], pois levam em considerao o interior do objeto, analisando propriedades similares entre os objetos. Logo, justo afirmar que o classificador trata com dados brutos, ou seja, uma representao bruta da imagem como vetor de caractersticas. Por trabalhar com semelhanas e nosemelhanas entre imagens os algoritmos produzidos tendem a ser menos dispendiosos,

e a agrupar os elementos em classes comuns, resultando na classificao ou probabilidade de um dado objeto pertencer a um grupo. Em uma rea onde tem predominado a classificao baseado na extrao de caractersticas muito importante que sejam mostradas outras tcnicas que possibilitem a classificao, recuperao e agrupamento de imagens utilizando outras abordagens. No segundo capitulo abordaremos o conceito de classificadores que no utilizam extrao de caractersticas. No terceiro capitulo ns abordaremos as medidas de similaridade entre objetos, bem como as aplicaes que sero utilizadas como comparativo de desempenho. No quarto e quinto captulos sero mostrados os experimentos realizados sobre as tcnicas mencionadas no terceiro capitulo. Seguido disso ns abordaremos as concluses e trabalhos futuros.

2. Similaridade entre objetos

Tradicionalmente, padres de classificao representam um objeto segundo caractersticas extradas empiricamente. Estes objetos so classificados e representados segundo as caractersticas extradas que so intrnsecas. Entretanto, em vrias aplicaes, no fcil realizar uma representao em vetor de caractersticas, pois no se sabe ao certo quais caractersticas so importantes para a representao do objeto[4]. 2.1. Extrao de caractersticas Na extrao de caractersticas, quando o objeto tem uma grande representao dimensional e so notadamente redundantes, para que se possa trabalhar com eles de forma simples preciso reduzir a dimensionalidade dos dados a fim de extrair um conjunto reduzido de caractersticas melhor representativo. Este conjunto de caractersticas, tambm chamado de vetor de caractersticas, responsvel por definir toda imagem em um contexto selecionado. Se estas caractersticas extradas forem cuidadosamente escolhidas, se espera que esse conjunto represente a parte relevante da informao para se executar a tarefa desejada ao invs de usar dados de entrada integra. Para melhor aderncia de extrao de caractersticas vamos apresentar um pequeno exemplo . Na (figura 1) mostrado Como feito a extrao de caractersticas de uma verificao de assinatura. De acordo com Ozgunduz[6], as caractersticas globais da imagem so: rea da assinatura: o nmero de pixels da assinatura fornece a densidade da mesma. A razo entre altura e largura da assinatura: nas assinaturas de uma mesma pessoa essa razo aproximadamente constante. O maior valor do histograma horizontal e vertical. A coordenada do centro da assinatura. Mximos locais verticais e horizontais da assinatura.

Pontos de fronteira das letras.

Figura 1. Como executada uma extrao de caractersticas de uma assinatura capturada.

As direes dos traos de uma assinatura podem ser obtidas atravs de caractersticas de mscara. Para realizar esta medida, escolhe-se certo nmero de mscaras para identificar um determinado padro. Em seguida, deve-se contar o nmero de vezes que esse padro se repete na assinatura. As caractersticas de grade so usadas para encontrar densidades de partes da assinatura. No mtodo proposto por Ozgunduz[6], a assinatura dividida em 60 segmentos, onde calculada a densidade de pixels contidos na rea. Podemos visualizar atravs deste exemplo como a extrao de caractersticas desempenha papel fundamental da classificao de objetos, pois alm de fazer uma reduo dimensional nos dados, faz com que sua representao se adque aos objetivos especficos da aplicao. A extrao de caractersticas apresenta limitaes importantes quanto definio de recursos, pois so fortemente dependentes da escolha de um mtodo que satisfaa o problema em questo, sendo o sucesso determinado pela seleo cuidadosa das caractersticas a serem extradas [2]. Dentro deste contexto, uma tima extrao de caractersticas advm do conhecimento prvio sobre mtodos de extrao e seus resultados, e de vrios testes para determinar qual metodologia consegue melhor

representar a informao necessria [1], isso leva a um consumo dispendioso, pois dependendo da ferramenta escolhida, pode-se levar muito tempo at conseguir test-la com qualidade para determinar sua utilidade. Segundo Nilsson[5], no existe teoria geral que permita escolher quais caractersticas so importantes para um determinado problema, pois a elaborao de um extrator emprica e utiliza vrias informaes ad hoc. Apenas algumas orientaes podem ser conseguidas a partir de processos biolgicos, contudo, segundo a cognio humana a idia de pr-processamento antes mesmo de tentar classific-las parece no levar em conta prottipos biolgicos existentes. 2.2. Similaridade Atravs de tcnicas de classificao baseadas em similaridade entre objetos, tentamos demonstrar que podem existir tcnicas que apresentam timos resultado, sem haver a necessidade de um pr-processamento da imagem. Para isso voltaremos s abordagens mais ingnuas: distncias ou semelhanas entre as representaes fator de comparao entre objetos[3]. No tentaremos encontrar as melhores caractersticas entre os objetos, pois trabalharemos diretamente com a imagem, usando uma medida de similaridade Sx(Xi,Xj) entre os objetos Xi e Xj. Esta medida deve ser tal que enfatize a diferena entre as classes. Assim como as definies das caractersticas so baseadas no conhecimento prvio da aplicao, as imagens sero previamente classificadas como parte de uma classe determinda. Sendo assim, podemos mostrar arquitetura de classificadores baseados em similaridade segunda a (figura 2).

Figura 2. Arquitetura de organizao dos classificadores baseados em similaridade.

Este classificador trata com dados brutos, ou seja, uma representao bruta da imagem como vetor de caractersticas. Por trabalhar com semelhanas e no-semelhanas entre imagens os algoritmos produzidos tendem a ser menos dispendiosos, e a agrupar os elementos em classes comuns, resultando na

classificao ou probabilidade de um dado objeto pertencer a um grupo. Numa consulta, a imagem verificada em relao distncia dela aos demais elementos cadastrados na base. Para ilustrao a (figura 3) demonstra a frmula de verificao.

Figura 3. Frmula de consulta de imagem.

Nesta frmula os objetos Xj L membros de um conjunto de treinamentos tem rtulos i, no qual X representa o objeto a ser classificado. A maneira tradicional de conseguir uma classificao utilizando esta frmula seguir a regra dos vizinhos mais prximos, onde o objeto X rotulado segundo a maior freqncia de vizinhos mais prximos a ele encontrados. Segundo a cognio humana, a similaridade desempenha fator importante na aprendizagem humana, bem como, a generalizao de objetos. Seu uso tem sido bem sucedido para explicar o juzo humano na avaliao de vrias tarefas[3]. Existem vrias medidas de distncias que podem ser utilizadas para a representao de similaridade entre objetos, dentre elas, podemos citar a distncia euclidiana, distncia de jaccard, distncia de coseno e o ER[3][4]. Para efeito de utilizao de tcnicas de redes neurais, utilizaremos nas aplicaes a distncia euclidiana entre os objetos.

3. Tcnicas estendidas para similaridade

A similaridade leva em conta a distncia entre objetos, desta forma, utilizamos algumas tcnicas tradicionais para representao do uso de similaridade. Ns utilizaremos trs tcnicas j conhecidas: K-nn, wK-nn, redes neurais Multicamadas Perceptron(MLP). Apresentaremos abaixo a descrio de cada tcnica.

3.1. K-nearest neighbor (K-nn) O K-NN um mtodo para classificar objetos com base em exemplos mas prximos de formao no espao de caractersticas, ou seja, um espao abstrato onde cada amostra padro representada como um ponto no espao n-dimensional. Essa dimenso determinada pelo nmero de caractersticas utilizadas para descrever os padres. Amostras semelhantes so agrupadas, o que permite o uso de estimativas para encontrar padres. O KNN tem essa denominao de mtodo de estimao de densidade por causa do fato dele estimar a densidade local de padres de treinamento na vizinhana de um padro conhecido durante a classificao. Ou seja, o algoritmo K-nearest neighbor determina um volume que contm os K vizinhos mais prximos centrados em um padro X, que o padro que se deseja classificar. Ento, o K-nearest neighbor um dos mais simples algoritmos de aprendizado: um objeto classificado pelo voto da maioria de seus vizinhos, com o objeto que est sendo atribudo classe mais comum entre os seus k vizinhos mais prximos, onde k um nmero positivo inteiro.

Para fazer uma estimativa de classificao de um novo padro X, por exemplo, o algoritmo K-nn calcula os K vizinhos mais prximos a X e de acordo com os kvizinhos, o algoritmo classifica X como sendo da classe que aparece com maior frequncia. A (figura 4) ilustra o funcionamento do K-nn.

Figura 4. Arquitetura de organizao dos classificadores baseados em similaridade.

3.2. Weighted K-nn(wK-nn) O K-nn ponderado (wK-nn), segue a mesma estruturao do K-nn, contudo, para cada k-vizinho adicionado um peso segundo a sua colocao. Sendo a medida de distncia escolhida, e X1, X2,...,Xk sendo os k-vizinhos mais prximos de X arranjados em ordem de (Xi,X). Se X1 o primeiro vizinho mais prximo de X, o peso Wi para i-simo vizinho Xi definido como na (figura 5):

Figura 4. Arquitetura de organizao dos classificadores baseados em similaridade.

A instncia de X a associado classe para o qual os pesos de representao so mximos, para o os k-vizinhos mais prximos. 3.3. MLP auto-associativas A rede neural artificial representado por um conjunto de neurnios ligados por conexes sinpticas divididos em neurnios de entrada, neurnios da camada escondida ou hidden (ocultos) e neurnios de sada. A forma de arranjar perceptrons em camadas denominada Multilayer Perceptron(MLP). O Multilayer Perceptron foi concebido

para resolver problemas mais complexos, os quais no poderiam ser resolvidos pelo modelo de neurnio bsico, que tem por limitao s resolver problemas linearmente separveis. Na (figura 5) possvel visualizar a arquitetura bsica de uma MLP. Um nico perceptron ou uma combinao das sadas de alguns perceptrons poderia realizar uma operao XOR, porm, seria incapaz de aprend-la. Para isto so necessrias mais conexes, os quais s existem em uma rede de perceptrons dispostos em camadas. Os neurnios internos so de suma importncia na rede neural pois provou-se que sem estes torna-se impossvel a resoluo de problemas linearmente no separveis. Em outras palavras pode-se dizer que uma rede composta por vrias unidades de processamento, cujo funcionamento bastante simples. Essas unidades, geralmente so conectadas por canais de comunicao que esto associados a determinado peso. As unidades fazem operaes apenas sobre seus dados locais, que so entradas recebidas pelas suas conexes. O comportamento inteligente de uma Rede Neural Artificial vem das interaes entre as unidades de processamento da rede. A maioria dos modelos de redes neurais possui alguma regra de treinamento, onde os pesos de suas conexes so ajustados de acordo com os padres apresentados. Em outras palavras, elas aprendem atravs de exemplos. Arquiteturas neurais so tipicamente organizadas em camadas, com unidades que podem estar conectadas s unidades da camada posterior. A rede neural passa por um processo de treinamento a partir dos casos reais conhecidos, adquirindo, a partir da, a sistemtica necessria para executar adequadamente o processo desejado dos dados fornecidos. Sendo assim, a rede neural capaz de extrair regras bsicas a partir de dados reais, diferindo da computao programada, onde necessrio um conjunto de regras rgidas pr-fixadas e algoritmos.

Figura 5. Representao de uma MLP. A rede MLP auto-associativas tem por objetivo a identificao de padres similares. Seu uso vem de reconhecimento de faces, onde a entrada e sada da

rede a prpria face, sendo possvel aps vrios ciclos de treinamento o reconhecimento de qualquer variao desta face. Neste trabalho, ns tentaremos identificar padres de similaridade atravs de redes auto-associativas. A idia que como a rede treinada para um conjunto da variao do padro, seja possvel identificar com um erro mnimo um padro pertencente a esta classe.

4. Experimentao
Neste capitulo iremos apresentar como foi realizada a experimentao das tcnicas abordadas acima. Em pesquisa procuramos alguns bancos de imagens no qual as caractersticas dos objetos no fossem to claras a ponto de uma fcil classificao. Dentre os vrios bancos procurados encontramos referncias ao banco Brodatz, banco de testes de textura de imagens, muito usado por tcnicas de extrao de textura. Por apresentar caractersticas no facilmente identificveis, o Brodatz acabou sendo escolhido como bando de treino, verificao e teste. 4.1. Seleo dos dados O banco Brodatz representado 60 imagens de diferentes texturas. Para que pudssemos realizar testes de similaridade dividimos as imagens em 16 imagens iguais, representando assim, 960 imagens totais para realizao de testes. Tentamos o redimensionamento menor das imagens, porm no atingimos bons desempenhos nas fases de classificao, sendo a diviso em 16 a melhor escolha para comparao. 4.2. Treinamento O treinamento foi realizado para cada metodologia aplicada. O treinamento para o K-nn e para o wK-nn seguiu os mesmos critrios, pois sendo tcnicas bem parecidas, apresentam a mesma forma de treinamento. Foram adicionadas 480 imagens a base de dados das tcnicas, sendo representada 8 imagens por classe. O treinamento da MLP apresentou formulao diferente. Como cada MLP representava uma classe, elas foram treinadas para trs imagens escolhidas aleatoriamente durante 400 ciclos de vida, como representamos imagens brutas, cada MLP recebeu como entrada 16384 pixels, e como sada os mesmos 16384 pixels. 4.3. Realizao da experimentao Como as redes neurais apresentam formas de treinamentos que diferem das tcnicas de vizinhos mais prximos, tentamos igualar esta questo da seguinte forma: Testamos a MPL para 480 imagens, onde cada qual tinham seus rtulos j representados junto aos objetos. Desta forma poderamos estabelecer um critrio de classificao baseado na colocao dos objetos. Para as tcnicas baseadas nos vizinhos mais prximos, como K-nn e wK-nn, fizemos a verificao de colocao das 480 imagens em relao as trs imagens escolhidas para treino das MLPs.

Sendo colocado desta forma, existe uma equivalncia entre (Treino X Teste), no qual possibilita a verificao das tcnicas segundo critrios escolhidos.

Cada tcnica foi verificada para 7 classes diferentes. Logo, seu desempenho ser medido, na forma como estas classes sero classificadas. Para o comparativo extramos o comportamento mdio das tcnicas para as 7 classes.

4.4. Comparao de resultados Para comparativo de resultados ser utilizado a curva de Recall. Pois apresenta um grfico onde possvel avaliar o desempenho de agrupamento. O calculo da curva de Recall muito simples, como mostrado na (figura 6), a frmula se baseia no nmero de elementos relevantes recuperados sobre o nmero total de elementos relevantes. Para isso, pesquisado a cada numero determinado de elementos, quantos pertencem ao conjunto dos relevantes Ex. 8,16,24,32.

Figura 6. Fmulao de grfico de Recall

A idia bsica da curva de recall medir a velocidade de convergncia para o valor 1, ou seja, o algoritmo que apresentar melhor velocidade de convergncia ser melhor qualificado seguindo as regras do Recall. Se o algoritmo apresentar o desempenho esperado, a curva converge logo na primeira verificao, caso no, possvel estabelecer um comparativo atravs de como foi o seu desempenho atravs do recall. A (figura 7) demonstra como ser apresentado o grfico de recall, neste caso, este grfico est oferecendo um comparativo entre 3 imagens, neste grfico a imagem 1 que melhor classificada.

Figura 7. Grfico de Recall para 3 imagens

4.5. Resultados Esperados Como resultados esperados, pensamos que pela MLP ser adaptativa, alcanaria melhor resultado que os mtodos de vizinhos mais prximos. Tambm tentamos verificar o

comparativo de resultados entre as tcnicas de vizinhos mais prximos, optando pela Knn, por apresentar algoritmo mais intuitivo, e por ser de conhecimento dos participantes o seu timo desempenho.

5. Resultados
Abaixo so mostrados os resultados obtidos para utilizao das tcnicas citadas acima. 5.1. Resultados do K-nn A (figura 8) representa o desempenho do K-nn para 7 classes escolhidas.

Figura 8. Grfico de Recall para K-nn

Podemos observar um comportamento convergente do K-nn, onde os elementos apresentam comportamentos comuns de classificao com pequenas variaes. 5.2. Resultados wK-nn A (figura 9) demonstra os resultados para o wK-nn. Foi inesperado, que o wK-nn mostrasse comportamentos comuns definio dos vizinhos. Atravs da sua experimentao foi possvel vislumbrar algumas caractersticas que o colocar em vantagem em relao ao K-nn tradicional.

Figura 9. Grfico de Recall para wK-nn

Tambm podemos observar um comportamento homogneo do wK-nn. 5.3. Resultados da MLP Na (figura 10) mostrado o grfico de comportamento da MLP para a curva de recall.

Figura 10. Grfico de Recall para MLP

Como podemos ver a MLP no apresentou comportamentos de classificao similares. Algumas classes ela classificou bem e outras no.

5.4. Resultados dos Comparativos Nos grficos ilustrados acima, pode-se observar que para cada grfico foi denotado um comportamento mdio. Ns iremos utilizar este comportamento como fator comparativo entre as tcnicas. Abaixo, na (figura 11a) mostrado um comparativo entre o MLP e o K-nn. Podemos observar, com um grau de diferenciao elevado que o comportamento

do K-nn converge melhor para o resultado, enquanto que o MLP s converge muito mais a frente. No comparativo da (figura 11b) ns visualizamos o comparativo entre o MLP e o wK-nn, logo, podemos que o wK-nn tambm mostrou uma convergncia ao resultado timo melhor que a MLP. Na (figura 11c), temos o comparativo entre as tcnicas de vizinhos mais prximos, o K-nn e o wK-nn. Neste comparativo o wK-nn, por apresentar uma forma de agrupamento diferenciado, mostrou uma melhor convergncia que o K-nn, porem, no to significativa quanto aos resultados em relao as MLPs.

Figura 11a. K-nn X MLP

Figure 11b. wK-nn X MLP

Figura 11c. K-nn X wK-nn

6. Concluso
Como foi mostrado, existem tcnicas, no tradicionais, que conseguem um bom desempenho na classificao, recuperao e agrupamento de imagens, exibindo a sua vantagem em relao s tcnicas de extrao de caractersticas. essencial evidenciar a importncia e vantagem da utilizao destas tcnicas, utilizando como motivador os experimentos realizados sobre elas. Como podemos ver a utilizao de redes neurais ainda no alcanou os resultados esperados, porem, a sua utilizao nos deu uma visualizao dos apontamentos futuros da pesquisa.

7. Trabalhos Futuros
Tentaremos aplicar uma abordagem de redes neurais construtivas para tentar suprir algumas falhas no treinamento e verificao de objetos. Poderemos estabelecer um comparativo entre as tcnicas de similaridade e tcnicas de extrao de caractersticas, para obter uma visualizao da utilizao da abordagem de classificao por similaridade.

8. Referencias
[1] Gonzalez, Rafael C. .Representao e descrio. In: Gonzalez, Rafael C. e Richard C. Woods (Org.). Processamento Digital de Imagens. So Paulo: Pearson Prentice Hall, 2010. p. 523-567. [2] R.P.W. Duin, D. de Ridder, and D.M.J. Tax, Featureless Classification, in: P. Pudil, J. Novovicova, J. Grim (eds.), Proc. 1st International Workshop Statistical Techniques in Pattern Recognition, Inst. of Inf. Teoria e Automao, Academy of Sciences of the Czech Republic, Praga, 1997,p. 37-42.

[3] Chen, Yihua. Garcia, Eric K. . Rahimi, Ali. Cazzanti, Luca . Similaritybased Classification: Concepts and Algorithms. The Journal of Machine Learning Research, p. 747-776,10 Mar. 2009. [4] Lei, Hansheng. Sequential Pattern Classification Without Explicit Feature Extration. 2005. 132 f. Tese (Doutorado) Departament of Computer science, University at Buffalo, The State University of New York, New York. 2005. [5] N. J. Nilsson, Adaptive pattern regognition: a survey, in: N. J.

Nilsson, Bionics Symposium, Dayton, Ohio, 1966.

[6] Ozgunduz, E.; Senturk , T.; Karsligil, M. E. Off-line signature verification and recognition by support vector machine. Em Eusipco- 2005, 113-116. Antalya, Turquia. Setembro, 2005.