Algoritmos Rpidos no domnio do tempo para ICA Convolutivo

Resumo - Esta carta apresenta novos mtodos de separao cega para misturas convolutivas de Mdia Mvel (MA)
de processos independentes. Elas consistem em extenses do domnio do tempo dos algoritmos FastICA
desenvolvidos por Hyvarinen e Oja para as misturas instantneas. Elas executam uma esferizao convolutiva a fim de
usar parmetros livres de algoritmos livres de ponto fixo associados critrios na-gaussianicos de curtose ou
negentropia para estimar os processos de inovao de fonte. Provamos a relevncia dessa abordagem, mapeando as
misturas em mapeamentos lineares instantneos. Os resultados do teste so apresentados para sinais artificiais
coloridos e sinais de fala.
Termos de indexao - Misturas Convolutivas, algoritmos de ponto fixo, anlises de componentes independentes
(ICA), sinais no-gaussianos

Separao Cega de Fontes (BSS) consiste em estimar uma seleo de sinais N de fontes no-observveis
de P misturas observveis dessas fontes onde os parmetros de misturas so desconhecidos. Denotemos
por o vetor de fontes e por o vetor das
observaes. Ns consideramos misturas convolutivas definidas por uma seleo de filtros desconhecidos
com respostas ao impulso hij(n) onde i =1,..,P e j = 1,...,N. A relao entre as fontes e as observaes
pode ser expressa no domnio do tempo como:


A relao geral ento lida no domnio Z:



Onde X(z) e S(z) so, respectivamente, a transformada Z de X(n) e S(n), e P x N matriz H(z) consiste da
funo transferncia dos filtros de mistura.
Nesse artigo, cada fonte Sj(n) assumida sendo expressa no domnio Z como:




Onde F(z) corresponde a um filtro, e Uj(z) a transformada z de um processo uj(n), na qual o processo
de inovao de sj(n). Denotando ns ento podemos expressar a
mistura (2) como:


Onde
Ns podemos fazer as seguintes suposies acerca do modelo de mistura.

O processo real-estimado, mdia zero, independente e identicamente
distribudo (i.i.d.) e espacialmente independente, isto , suas componentes uj(n) so
estaticamente independentes uma de cada outra mas no necessariamente tem a mesma
distribuio. Ns tambm assumimos que, na maioria, uma dessas componentes gaussiana.
O filtro de matrizes F(z), H(z), e G(z) so causais, tem resposta ao impulso finita (FIR), e no
singular. Note que sistemas com resposta ao impulso infinita (IIR) podem tambm ser
aproximados pelo modelo FIR equivalente (de ordem alta).
O objetivo da convoluo BSS tipicamente estimar a contribuio de todas as fontes em cada
observao, isto , Hij(z) . Sj(z). Nos mtodos baseados em deflao tais como [1], isso alcanado
usando o seguinte procedimento.
1. Extrair o processo de inovao Uj(n) de uma fonte Sj(n) das observaes.
2. Identificar P filtros coloridos e aplicando eles a Uj(n) a fim de recuperar as contribuies de
Sj(n) em cada observao, isto , Hij(z) . Sj(z).
3. Subtraia essas contribuies de todas as observaes.
4. Selecione volte para o passo 1) a fim de subtrair da outra fonte.

Ns aqui consideramos o mtodo BSS no domnio do tempo, na qual se usa a no-gaussianidade como
critrio para realizar o primeiro passo dos procedimentos acima e nos quais so, alm disso, baseados na
anlise de componentes independentes (ICA) [2]. Na prxima seo ns analisamos os princpios e
limitaes dos mtodos existentes, e propomos uma aproximao para estender eles assim como para
obter o mtodo de rpida convergncia curttica atualmente faltante e, mtodos negentrpicos para
misturas convolutivas. O desempenho experimental dos mtodos propostos apresentado na seo III, e
concluses so feitas dessa investigao na seo IV.

II. Anlise e Extenso dos Mtodos BSS baseado na No-Gaussianidade

A. Aproximaes relatadas anteriormente
Delfosse e Loubaton [3] propuseram o primeiro mtodo curtotico BSS baseado na deflao para
misturas lineares instantneas, onde os filtros Hij(z) so repostos por coeficientes escalares. Esse
mtodo primeiro consiste em calcular de uma verso esfrica v(n) de um vetor observao x(n),
isto , a seleo de combinaes lineares dessas observaes compostas de sinais que so
mutualmente descorrelacionados no tempo n e que tm varincias unitrias. O primeiro sinal
de sada ento calculado como uma combinao linear das observaes esfricas,
com um vetor de coeficiente normalizado w selecionado assim como para maximizar o
quadrado (ou o valor absoluto) da curtose no-normalizada de y(n) definida por
para um sinal de mdia zero. Delfosse e Loubaton provaram
em [3] que a mxima local desse critrio corresponde a pontos de separao. Eles usaram um
mtodo como gradiente para maximizar esse critrio. Isso requer uma seleo de um ganho
adequado de adaptao e rendimentos de convergncia lenta. Hyvarinen e Oja resolveram esse
problema introduzindo um algoritmo de ponto fixo para otimizar o critrio acima [2].
Uma diferente aproximao foi proposta por Tugnait para misturas convolutivas [1]. Isso opera
diretamente nas observaes, isto , sem esferiliza-las primeiros, mas ento usar o valor absoluto
da kurtose normalizada do sinal de sada y(n), isto ,
como o critrio de separao. Tugnait provou que os pontos de separao correspondem ao
mximo local desse critrio quando se recombina as observaes com filtros infinitos de dupla
extrao. Ele props utilizar esse critrio usando uma aproximao baseada em gradiente, nas
quais temos novamente rendimentos de convergncia lenta. Os testes realizados pela nossa
equipe [4] mostraram que, mesmo quando usamos esquema de optimizao Newtoniana, a
convergncia permanece lenta, especialmente para filtros de mistura de alta-ordem.
Esse artigo, portanto, objetiva o preenchimento de lacunas resultantes das aproximaes acima,
isto , ao introduzir mtodos curtoticos e negentrpicos de rpida convergncia para misturas
convolutivas. Para finalizar, ns investigamos primeiro como estender para misturas
convolutivas a aproximao baseada na esferizao e optimizao de ponto fixo de curtoses no
normalizadas que tem sido proposto para misturas instantneas.

B. Novos Mtodos para extrao de um Processo de Inovao
Todos os mtodos acima requerem uma normalizao, como a curtose no normalizada de y(n)
tende ao infinito, quando a potncia de y(n) tende ao infinito. Na aproximao de Tugnait, o
critrio por si s normalizado como o mtodo que consiste na estimativa dos processos de
inovao uj(n) at um fator de atraso e escala por maximizar o valor absoluto de uma curtose
normalizada de uma combinao convolutiva de observaes definidas como:


Onde so P filtros FIR no-causais na prtica.
Ao invs disso, as duas aproximaes lineares instantneas mencionadas na subseo anterior
usa curtose no normalizada e so baseadas na normalizao da potncia de y(n). Isso resulta da
etapa de esferizao dessas aproximaes, na qual rende assim que a
seleo w com ||w||
2
= 1 garante que .Ns aqui estendemos esse mtodo para
mistura convolutivas. Ao final, o primeiro passo da nossa aproximao realiza a esferizaao
convolutiva das observaes, definida como segue. Em qualquer tempo n, ns consideramos o
vetor coluna



Que contm M = (2R + 1) entradas. Ns derivamos as M-entradas do vetor coluna
definida como



Onde B uma matriz MxM escolhida tal que:



Com respeito a x~(n), a operao (7) pode portanto ser considerada como esferizaao
convencional, o que consiste da principal anlise de componentes e normalizao. Agora, com
respeito observao original xi(n), isso pode ser interpretado diferentemente. Certamente (6) e
(7) mostram que os sinais xi(n) so misturas convolutivas de xi(n). Equao (8) ento quer dizer
que o sinal xi(n) so criados para ter varincias unitrias e para ter descorrelao mtua, o que
pode ser visto como um branqueamento espao temporal e normalizao das observaes xi(n).
Vamos denotar por y(n) o sinal extrado:



Onde w uma M-entrada vetor coluna estendido de coeficientes de extrao wm que, juntos
com (7), rende uma combinao convolutiva y(n) das observaes. A potncia de y(n) l
. Por restrio xi(n) assim como conhecer (8), ns temos
Portanto:



Nosso mtodo ento consiste em maximizar o valor absoluto da curtose no normalizada de y(n)
definida por (9) sob o restrio O apndice mostra que esse critrio
nos extrai uma estimativa el(n) de um processo de inovao de fonte atrasada e escalada
sob algumas condies.
Alm disso, algoritmos poderosos para realizar uma otimizao forada do valor absoluto das
curtoses de y(n) podem ser ento diretamente derivadas daquelas reportadas anteriormente para
misturas lineares instantneas, porque o apndice mostra que misturas convolutivas x~(n)
estudadas nesse artigo podem ser reformuladas como misturas instantneas em determinadas
condies. Especialmente, ns propomos como uma extenso de [2] o seguinte algoritmo ICA
curttico convolutivo de ponto-fixo rpido baseado no nosso vetor w modificado.
Inicialize w com um valor wo usando as aproximaes apropriadas abaixo.
Repita os seguintes passos 1) e 2) at convergncia



O valor wo de w mencionado inicialmente acima, pode ser selecionado aleatoriamente. Uma aproximao
melhorada pode ser obtida tomando vantagem da relao que existe entre nosso vetor w e os coeficientes
dos filtros FIR da aproximao de Tugnait definida em (5). Certamente consideraremos as colunas de
nossa matriz de esferizao B e o ndice delas como:



Baseado em (6) e (7). Usando (7), o sinal (9) extrado no nosso mtodo l:

Identificando essa expresso com o sinal de sada (5) na aproximao de Tugnait, temos:



E portanto:


Onde o vetor fila K consiste da resposta ao impulso dos coeficientes dos filtros k1(n) a kp(n). Essa
relao nos deixa inicializar nosso vetor w como no mtodo de Tugnait, isto , com filtros unitrios
assim que y(n) a soma de todas as observaes xp(n). Que corresponde a K=Ko
definido como


Equao (15) ento rende Essa inicializao de w proveu um melhor resultado
experimental que uma aleatoriedade e usado na seo III.
Para misturas instantneas, ao invs de usar a curtose, outra funo contraste baseada na negentropia foi
proposta por Hyvarinen para estimar a no-gaussianidade [5]. Isso tem mostrado render melhor robustez e
mais baixa varincia que a curtose aproximada. Em particular, isso mais robusto para valores extremos
que critrio curttico, na qual envolve momento de quarta ordem, cuja estimativa mais sensvel a
discrepncias (outliers). Alm disso, um rpido e confivel algoritmo de ponto fixo foi tambm
desenvolvido por Hyvarinen para esse tipo de funo. Ns estendemos esse algoritmo negentrpico para
mistura convolutivas da mesma forma como a aproximao curttica acima, usando a seguinte frmula de
adaptao ao invs de (11) em cada iterao:



Onde g e g so a primeira e segunda derivada da funo contraste G que usada para estimativa da
negentropia.
O algoritmo curttico proposto pode ser otimizado em termos de processamento de tempo para computar
a expectativa em (11). Certamente, (11) requer a realizao de um produto vetor matriz
para cada ndice de amostra n a fim de computar a soma dos termos resultantes para
estimativa da esperana. Por computar o vetor uma vez para iterao considerada do
algoritmo e por repor x por na atualizao (11), ns obtemos:

Por isso ns computados somente dois produtos vetor matriz, para estimar a esperana, isto , um em
e um em (18). O mesmo princpio aplicado para o algoritmo negentrpico (17).



C. Mtodos BSS Globais Propostos
A etapa de extrao acima prove uma estimativa el(n) de um processo de inovao de fonte at um
fator de escala e atraso, na qual ns depois colorimos para obter cada contribuio de fonte lth....na
observao kth...xk(n). Isso pode ser feito por calcular o filtro colorido no-causal
que faz os sinais serem mais perto de xk(n) no sentido
da raiz quadrada mdia [4]. Isso aqui alcanado por filtros Wieners no-causais [6], cujo
coeficientes de resposta ao impulso formam vetor ckl definido por:

Onde Rel a matriz de autocorrelao do sinal el(n) e o vetor de correlao cruzada dos
sinais el(n) e xk(n). Note que a matriz de autocorrelao tem uma estrutura Toepliz altamente regular
e existem diversos mtodos eficientes [6] para resolver a equao da matriz linear (19).
Depois de subtrair as contribuies de todas as observaes, ns obtemos outra
configurao de mistura com N-1 fontes. O primeiro passo deve ento ser iterativo como explicado
na seo I para extrair o processo de inovao da outra fonte.

III. RESULTADOS EXPERIMENTAIS

Nessa seo, ns ilustramos o desempenho de nossos mtodos em vrios exemplos. Esses algoritmos
so primeiro testados para P=2 misturas convolutivas de N=2 sinais artificiais coloridos contendo
100.000 amostras. Os processos de inovao uj(n) tm distribuies uniformes. Para esse tipo de
sinal, a curtose acabou sendo o melhor critrio de otimizao, como comparado com a negentropia, e
usado abaixo. Fig 1(a) mostra o resultado de sada das taxas sinal-interferncia (SIRs), dependendo
da ordem do modelo Q que ns definimos como a soma das ordens das misturas e filtros de colorao
de inovao Hij(z) e Fj(z). Para cada fonte extrada, essa SIR a mdia sobre as duas contribuies
da estimativa de fonte. Para cada valor de Q, 100 simulaes Monte Carlo foram feitas variando a
mistura e os coeficientes dos filtros de colorao de inovao com uma distribuio uniforme, e os
resultados mdios e desvios padres das SIRs foram computados. A ordem de R em (6) foi
selecionada para R=Q, uma vez que os testes provaram que isso gera um bom trade-off (perde e
ganha) entre o desempenho (SIR) e custo computacional.


Na segunda srie dos experimentos, ns testamos nosso algoritmo no caso indeterminado N=3 e P=2,
quando os dois sinais observados contm fonte de rudo branca gaussiana em adio as duas fontes
acima de interesse. Ns fixamos a ordem do modelo em Q=20. Por variar a potncia da fonte de rudo e
assim a taxa sinal-rudo (SNR) nas observaes, ns investigamos a robustez da estimativa da matriz
mistura para rudo. Ao final, ns computamos as SIRs das duas fontes estimadas de interesse nas quais
ns cancelamos as contribuies das fontes de rudo. Fig 1(b) mostra que o nosso mtodo bastante
robusto como SIRs permanecer superior a 10 dB para SNRs at 8 dB.
Para N=P=2, ns tambm comparamos o tempo de processamento de nosso mtodo com a verso
modificada do algoritmo de Tugnait introduzido em [4], na qual j alcana-se velocidade mais alta que a
aproximao de Tugnait por usar um algoritmo de Newton modificado. Ns variamos a ordem do modelo
Q entre 0 a 30 para fontes contendo T=10.000 amostras ( T>10000 ou Q> 30 leva a inaceitvel alta de
processamento de tempo para 100 execues de aproximao de Tugnait-Newton). O resultado na Fig.
(1c) representa o tempo da etapa de extrao de inovao, na qual est longe do maior tempo consumido.
Isso mostra que nosso mtodo 100 vezes mais rpido que Tugnait-Newton. Em acrscimo, isso rende
ligeiramente SIRs mais altas, isto , cerca de 0.5dB.
A prxima srie de experimentos foi carregada com duas fontes de fala amostradas em 20kHz durante
5s. Como na primeira seleo dos experimentos, ns variamos a ordem dos filtros de mistura Hij(z), e ns
novamente realizamos 100 experimentos para cada ordem de filtro. Dessa vez, ns resolvemos realizar a
etapa de extrao de inovao em 20.000 janela de amostras onde os sinais so quase estacionrios e para
estimar as SIRs nos sinais gerais. Para esses sinais de udio, o critrio de otimizao negentropico
revela render um melhor desempenho, provavelmente por causa da suas distribuies de
cauda [5]. Os resultados na Fig. 1(d) mostram que as mdias SIRs esto entre 11 e 7 dB, na qual 4dB
mais baixa que os 100.000 amostras de sinais estacionrios acima. Isso resulta de 20.000 janelas de
amostras, na qual rende ligeiramente desempenho mais baixo para sinais artificiais, e do processo de
modelo de mdia mvel (MA), na qual somente relevante fontes de voz. De qualquer forma, isso rende
significante melhora de qualidade percentual.
Ns tambm testamos nosso algoritmo negentropico com filtros misturados de 64-th ordem real medidos
nos ouvidos de uma cabea de manequim [7] e com R=64, R=300. Ns selecionamos respostas ao
impulso associadas com fontes positivas definidas por 80 e 120 graus de angulao na relao para a
cabea do manequim. Usando novamente os dois sinais de fala acima, a mdia de sada SIRs foram 9.1dB
para a primeira fonte e 6.9dB para a segunda fonte. Esse filtros reais, portanto rendem quase o mesmo
desempenho que os 64-th de ordem artificial considerados na Fig. 1(d).


APENDICE RELEVANCIA DO CRITRIO CONSIDERADO

As P observaes consideradas xi(n) so expressas com respeito a N processos de inovao uj(n) de
acordo com (4). Eles so, alm disso, processos causais desses filtros de misturas de Q-th ordem. Agora
considere o vetor x~(n) definido em (6) e composto por observaes atrasadas. A anlise provida em (8)
implica que se


Onde L=(2R+1) o nmero de defasagens, ento x(n) pode tambm ser interpretado como uma seleo
de misturas lineares instantneas de fontes correspondentes, na qual so verses atrasadas e fator de
escala dos processos de inovao uj(n), com ao menos muitas observaes como fontes. Alm disso, se
(20) conhecido, a investigao para misturas instantneas providas em (3) prova rigorosamente que, por
maximizao do valor absoluto da curtose no-normalizada do sinal yn(n) definido em (9) sob
constrangimento (10), ns extramos um processo de inovao atrasado e com fator de escala
cuja estimativa prtica denotada el(n) a seguir.
Se (20) no conhecido, o problema BSS reformulado instantneo no determinado, isto , isso envolve
menos observaes que fontes (note que especialmente o caso quando P=N). Algumas aproximaes
so ento necessrias. Entretanto, quando a taxa associada a (20) tende a 1 ( que o caso
quando P=N e L largo), um processo de inovao atrasado e com fator de escala pode ainda ser
precisamente estimado como combinao linear de observaes disponveis cujas curtose no
normalizada absoluta mxima sob constrangimento em (10).