1

Appunti sul problema della rivelazione in rumore Gaussiano bianco

Donatella Darsena

I. M ODULAZIONE ON - OFF

Consideriamo il caso in cui l’encoder associ a ciascun bit in uscita dalla sorgente di informazione un messaggio

secondo la seguente regola:

0 → m0

1 → m1

I messaggi di informazione appartengono, quindi, ad un insieme M di cardinalità M = 2. Indichiamo con p ,

P({m1 }) = P({ξ = 1}) e q , P({m0 }) = P({ξ = 0}) = 1 − p le probabilità di emissione dei messaggi m1 e m0

rispettivamente, dove ξ è la variabile aleatoria che modella l’uscita della sorgente di informazione. Supponiamo,

inoltre, che il modulatore associ al messaggio m0 il segnale s(t; 0) , s0 (t) = 0 per t ∈ [0, T ] ed al messaggio m1

il segnale s(t; 1) , s1 (t) = s(t) per t ∈ [0, T ], dove T è la durata dell’intervallo di segnalazione. Siano s0 (t) e

s1 (t) due segnali di energia finita in [0, T ] (cioè due segnali appartenenti allo spazio L2 ([0, T ])).

Il nostro problema può essere formulato nel seguente modo. Supponiamo che al ricevitore arrivi una versione

rumorosa del segnale trasmesso:

r(t) = s(t; ξ) + n(t) , (I.1)

dove il rumore n(t) è modellato come un processo aleatorio reale Gaussiano bianco, con funzione di autocorrelazione
N0
Rnn (τ ) = 2 δ(τ ) e media nulla, mentre s(t; ξ) rappresenta il segnale trasmesso s0 (t) oppure s1 (t) a seconda della

realizzazione della variabile aleatoria ξ .

Supponiamo di osservare il segnale r(t) nell’intervallo [0, T ]. Avremo che, nelle ipotesi H0 , {ho trasmesso

il simbolo ‘0’} e H1 , {ho trasmesso il simbolo‘1’}, il segnale ricevuto si scrive come:

H0 : r(t) = n(t) ,

H1 : r(t) = s(t) + n(t) , per t ∈ [0, T ] . (I.2)

Osservazione: è chiaro che nelle due ipotesi il segnale trasmesso s(t) è deterministico, mentre il rumore è

aleatorio.

Il mio problema è stabilire quale delle due forme d’onda è stata trasmessa a partire dalla osservazione in [0, T ]

del segnale ricevuto. In altri termini, a partire dall’osservazione di una versione rumorosa del segnale trasmesso,
 2

voglio stabilire quale forma d’onda è stata effettivamente trasmessa. Questo problema va sotto il nome di problema

della rivelazione (o detection). Come criterio di decisione scelgo il criterio a minima probabilità di errore, cioè

tale che P({m̂k 6= mk }) , P(²) sia minima, dove m̂k rappresenta il messaggio per il quale ho deciso.

Come primo passo semplifico il problema associando ai due processi aleatori r(t)|H0 (Gaussiano, a media nulla
N0 N0
ed autocorrelazione 2 δ(τ )) e r(t)|H1 (Gaussiano, a media s(t) ed autocovarianza 2 δ(τ )) una rappresentazione

vettoriale. Cioè proietto ciascuno dei due processi su una opportuna base di funzioni ed associo a ciascuno di

essi il vettore delle proiezioni, che rappresenta un vettore di variabili aleatorie: in questo modo mi sbarazzo della

dipendenza dall’istante temporale t. Indichiamo con {ψi (t)}+∞

i=1 l’insieme delle funzioni ortonormali sulle quali

effettuo la proiezione dei miei processi r(t)|H0 e r(t)|H1 :

+∞
X
r(t)|H0 = ri |H0 ψi (t) ,
i=1
+∞
X
r(t)|H1 = ri |H1 ψi (t) ,
i=1

dove:
RT
• 0 ψi (t) ψj (t)dt = δij (⇔ le funzioni ψi (t) e ψj (t) sono ortonormali) ,
RT
• ri |Hk , 0 r(t)|Hk ψi (t)dt, per k = 0, 1, è la proiezione del processo r(t)|Hk sulla funzione di base ψi (t).

Chiaramente le ri |Hk rappresentano delle variabili aleatorie.

Come scelgo le funzioni di base? Scelgo le ψi (t) in modo tale che le proiezioni su queste funzioni di base risultino

variabili aleatorie incorrelate. Poi vedremo perché questa proprietà è attraente. Vediamo come si affronta allora il

problema della determinazione della base di funzioni ortonormali. Sia x(t) un generico processo aleatorio definito

per t ∈ [0, T ]. Indichiamo con

Z T
xi = x(t) ψi (t)dt (I.3)
0

la proiezione su ψi (t). Noi vogliamo che le proiezioni siano variabili aleatorie incorrelate, cioè che sia verificata

la seguente condizione

E[(xi − mi ) (xj − mj )] = λi δij , (I.4)

dove:
RT
• mi , E[xi ] = 0 E[x(t)] ψi (t)dt ;
RT
• mj , E[xj ] = 0 E[x(t)] ψj (t)dt .
 3

Andiamo ad esplicitare la (I.4):

½µZ T ¶ µZ T ¶¾
E[(xi − mi ) (xj − mj )] = E x(t) ψi (t)dt − mi x(t) ψj (t)dt − mj
0 0
½Z T Z T ¾
=E (x(t) − E[x(t)]) ψi (t)dt · (x(t) − E[x(t)]) ψj (t)dt
0 0
ZZ T
= E {(x(t) − E[x(t)])(x(u) − E[x(u)])} ψi (t) ψj (u)dtdu
0 | {z }
,cxx (t,u)
Z T Z T
= ψi (t) cxx (t, u) ψj (u)dudt = λi δij , ∀i, j , (I.5)
0 0

dove cxx (t, u) rappresenta la funzione di autocovarianza del processo x(t). Condizione necessaria e sufficiente per

il verificarsi della (I.5) è la seguente:

Z T
cxx (t, u) ψj (u)du = λj ψj (t) , per t ∈ [0, T ] . (I.6)
0

Quindi, affinché le proiezioni xi siano variabili aleatorie incorrelate, è necessario che le funzioni di base ψj (t)

verifichino l’equazione integrale (I.6). L’espansione di un processo aleatorio su un insieme di funzioni di base

soddisfacenti la (I.6) prende il nome di espansione di Karhunen - Loève.

A questo punto andiamo a proiettare i due processi r(t)|H0 e r(t)|H1 sulle funzioni di base {ψi (t)}+∞
i=1 scelte in

modo da soddisfare l’equazione integrale di Karhunen-Loève (K-L). Sostituendo l’espressione dell’autocovarianza

di r(t)|H0 e r(t)|H1 nella (I.6), risulta per entrambi

Z
N0 T N0
δ(t − u) ψj (u)du = ψj (t) = λj ψj (t) , (I.7)
2 0 2

cioè ci accorgiamo che l’equazione di K-L è verificata per ogni ψj (t) con λj = N0 /2. Quindi, nel caso di processi

bianchi, qualunque insieme di funzioni ortonormali verifica l’equazione di K-L, dando luogo a proiezioni incorrelate.

Inoltre, poiché i processi r(t)|H0 e r(t)|H1 sono Gaussiani, allora le proiezioni sono variabili aleatorie oltre che

incorrelate anche statisticamente indipendenti.

N0
Riassumendo: un processo Gaussiano bianco ha funzione di autocorrelazione del tipo r(t, u) = 2 δ(t − u); per

questo tipo di processo, considerato nell’intervallo [0, T ], qualunque insieme di funzioni ortonormali ψi (t) verifica

l’equazione integrale di K-L; le proiezioni risultano variabili aleatorie Gaussiane statisticamente indipendenti.

Calcoliamo media e varianza di ciascuna proiezione:

Z T
E[ri |H0 ] = E[n(t)] ψi (t)dt = 0 (I.8)
0
Z T Z T
E[ri |H1 ] = (s(t) + E[n(t)]) ψi (t)dt = s(t) ψi (t)dt , si (I.9)
0 0
ZZ T
N0
Var[ri |H0 ] = Var[ri |H1 ] = E[n(t) n(u)] ψi (t) ψi (u)dtdu = . (I.10)
0 2
 4

In definitiva:
µ ¶
N0
ri |H0 v N 0, (I.11)
2
µ ¶
N0
ri |H1 v N si , , ∀i . (I.12)
2
A questo punto il nostro test di ipotesi può essere riformulato nel seguente modo:

H0 : rN = nN

H1 : rN = sN + nN ,

dove rN , (r1 , r2 , . . . , rN ) ∈ RN , nN , (n1 , n2 , . . . , nN ) ∈ RN , sN , (s1 , s2 , . . . , SN ) ∈ RN e ri ,<

r(t), ψi (t) >, ni ,< n(t), ψi (t) >, si ,< s(t), ψi (t) >. Osserviamo che, per semplicità, abbiamo associato

ai processi tempo-continui dei vettori N -dimensionali, con N finito che poi faremo tendere all’infinito. Poiché

possiamo scegliere arbitrariamente l’insieme di funzioni ortonormali {ψi (t)}+∞

i=1 , allora scegliamo tale insieme in
qR √
s(t) T 2
modo che la prima funzione di base sia ψ1 (t) = ks(t)k , dove ks(t)k = 0 s (t)dt , Es . In questo modo,
√
sN = ( Es , 0, . . . , 0). Siamo dunque passati da funzioni del tempo a vettori N -dimensionali e quindi a punti di

spazi N -dimensionali. La domanda è: a partire dagli osservabili rN , per quale delle due ipotesi decido? Partizioniamo

lo spazio di osservazione RN in due sottospazi, cioé RN = Z0 ∪ Z1 , con Z0 ∩ Z1 = ∅, e diciamo che decido

per l’ipotesi H0 se il mio osservabile cade nella regione Z0 , altrimenti decido per H1 . Come scelgo le regioni di

decisione Z0 e Z1 ? In modo da minimizzare la probabilità di errore:

P(²) = P(m̂k 6= mk ) = P(m̂0 |m1 )P(m1 ) + P(m̂1 |m0 )P(m0 ) = P(rN ∈ Z0 |m1 )P(m1 )
Z Z
+ P(rN ∈ Z1 |m0 )P(m0 ) = p frN |H1 (rN )drN + q frN |H0 (rN )drN
Z0 Z1
Z
£ ¤
(Z0 = RN − Z1 ) = p − p frN |H1 (r N ) − q frN |H0 (rN ) drN (I.13)
Z1

Ma minimizzare la (I.13) rispetto alle regioni di decisione equivale ad assegnare a Z1 tutti quei punti per i quali

p frN |H1 (r N )−q frN |H0 (rN ) > 0 e, in maniera duale, a Z0 tutti quei punti per i quali p frN |H1 (r N )−q frN |H0 (rN ) <

0. In definitiva:
frN |H1 (r N ) H1 q
≷ . (I.14)
frN |H0 (r N ) H0 p
A questo punto dovrei fare il limite per N che tende all’infinito. Ma:
frN |H1 (r N ) fr |H (r1 ) · fnN −1 (nN −1 ) fr |H (r1 )
= 1 1 = 1 1 , (I.15)
frN |H0 (r N ) fr1 |H0 (r1 ) · fnN −1 (nN −1 ) fr1 |H0 (r1 )
dove abbiamo sfruttato l’indipendenza statistica dei campioni. Questo risultato va sotto il nome di Teorema della

irrilevanza. La quantità r1 prende il nome di statistica sufficiente per decidere tra l’ipotesi H0 e quella H1 , perché

essa estrae dal segnale osservato tutta l’informazione necessaria a prendere la decisione.
 5

Se definiamo il seguente rapporto di verosimiglianza

fr1 |H1 (r)
Λ(r) , , (I.16)
fr1 |H0 (r)

allora la regola di decisione diventa:

H1 q
Λ(r) ≷ . (I.17)
H0 p

Questo criterio di decisione va sotto il nome di criterio Maximum a Posteriori Probability (MAP).

Ricordando che r1 |H0 ∼ N (0, N0 /2) e r1 |H1 ∼ N (s1 , N0 /2), il rapporto di verosimiglianza si scrive come
½ ¾ ½ p ¾
1 2 1
Λ(r) = exp − (s1 − 2rs1 ) = exp − (Es − 2r Es ) , (I.18)
N0 N0
qR √
T 2
dove s1 =< s(t), ψ1 (t) >= ks(t)k = 0 s (t)dt = Es . Definito il seguente rapporto di log-verosimiglianza
Z T Z T
2 p 1 2 1
λ(r) , ln(Λ(r)) = Es r − Es = r(t)s(t)dt − s2 (t)dt , (I.19)
N0 N0 N0 0 N0 0

la regola di decisione si esprime come

H1 q
λ(r) ≷ ln . (I.20)
H0 p

Se p = q = 1/2, allora il test di decisione (I.20) diventa

H1
λ(r) ≷ 0 , (I.21)
H0

cioè la decisione non dipende dalla densità spettrale del rumore. La regola di decisione (I.21) va sotto il nome

di criterio a massima verosimiglianza (ML, Maximum Likelihood). Con riferimento al test (I.20), si vede che la

statistica sufficiente r può essere ottenuta, a parte un fattore costante, come l’uscita nell’istante t = T di un filtro

lineare e tempo invariante, con risposta impulsiva h(t) , s(T − t), cioè
Z T Z T
1 1
r= r(t)ψ1 (t)dt = √ r(t)s(t)dt = √ r(t) ∗ h(t)|t=T , (I.22)
0 E s 0 Es

dove h(t) prende il nome di filtro adattato al segnale s(t). Quindi si può dire che un filtro adattato la cui uscita è

campionata in t = T estrae dal segnale osservato r(t) la statistica sufficiente per il nostro problema di decisione.

II. M ODULAZIONE M - ARIA

Consideriamo adesso il caso più generale di segnalazione M -aria. Supponiamo che l’encoder raccolga i bit in

uscita dalla sorgente di informazione in gruppi di B bit e che ad ognuno di questi blocchi associ uno tra gli

M , 2B possibili messaggi {mk }M

k=1 . Il modulatore associa a ciascun messaggio mk una forma d’onda sk (t)

per t ∈ [0, T ]. Sia pk , P({mk }), per k = 1, . . . , M , la probabilità di occorrenza del k -esimo messaggio. Il

problema più generale della detection si formula nel seguente modo: a partire dalla osservazione di r(t) occorre
 6

stabilire quale tra gli M segnali sk (t) sia stato effettivamente trasmesso. Sulla falsariga di quanto fatto nel caso di

segnalazione on-off, andiamo ad associare ai segnali r(t)|Hk , con k = 1, . . . , M , la loro rappresentazione vettoriale,

dove l’ipotesi Hk , {ho trasmesso il messaggio mk }. Poiché il rumore è bianco, qualunque insieme di funzioni

ortonormali verifica l’equazione di K-L. Pertanto scelgo la base {ψi (t)}+∞

i=1 in modo che le sue prime L ≤ M

componenti costituiscano una base per lo spazio dei segnali {si (t)}M
i=1 . Come posso ottenere una base ortonormale

per lo spazio dei segnali? Utilizzando la procedura di ortonormalizzazione di Gram-Schmidt.

Pertanto, per k = 1, . . . , M , si avrà

(k)
Hk : r N = s N + n N (II.1)

dove 

 s(k) + ni , i = 1, . . . , L;
i
ri = (II.2)

 ni , i = L + 1, . . . , N .
RT RT (k) RT
ri , 0 r(t)ψi (t)dt, ni , 0 n(t)ψi (t)dt, si , 0sk (t)ψi (t)dt e N ≥ L. Il decisore ottimo sceglierà l’ipotesi
S
M
Hk se r N appartiene a Zk , dove {Zk }M
k=1 costituisce una partizione dello spazio di osservazione, cioè RN = Zk
k=1
e Zk ∩ Zj = Ø per k 6= j . Minimizzando la probabilità di errore rispetto alle regioni di decisione Zk , si ottiene il

seguente criterio MAP nel caso di segnalazione M -aria:

¡ ¢
r N ∈ Zk ⇐⇒ pk frN |Hk (r N ) = max pi frN |Hi (r N ) , (II.3)
i=1,...,M
i6=k

e, quindi, decido per l’ipotesi Hk . Invocando il teorema della irrilevanza, il criterio MAP si modifica nel seguente:
¡ ¢
r L ∈ Zk ⇐⇒ pk frL |Hk (r L ) = max pi frL |Hi (r L ) . (II.4)
i=1,...,M
i6=k

cioè le osservazioni r1 , r2 , . . . , rL rappresentano le mie statistiche sufficienti, nel senso che le proiezioni del segnale

r(t) sullo spazio ortogonale a quello di segnale non aggiungono informazione al processo di decisione. Se pk =

1/M , ∀k = 1, . . . , M , allora la (II.4) diventa

r L ∈ Zk ⇐⇒ frL |Hk (r L ) = max frL |Hi (r L ) , (II.5)

i=1,...,M
i6=k

che corrisponde al criterio a massima verosimiglianza. Sebbene il criterio ML minimizzi la probabilità di errore

solo nel caso in cui le ipotesi Hk siano equiprobabili, tuttavia esso rappresenta il criterio di decisione più usato

nella pratica. Definendo la seguente ipotesi ausiliaria

H0 : r L = nL , (II.6)
 7

la (II.5) può essere scritta come

r L ∈ Zk ⇐⇒ Λk (r L ) = max Λi (r L ) , (II.7)
i=1,...,M
i6=k

dove è stato introdotto il seguente rapporto di verosimiglianza

frL |Hk (r L )
Λk (r L ) , . (II.8)
frL |H0 (r L )

A questo punto, calcoliamo esplicitamente i rapporti di verosimiglianza. Per semplicità di notazione eliminiamo

il pedice L da r L . Osservando che r|Hk , per k = 1, . . . , M è un vettore Gaussiano con media s(k) (per k = 0,

invece, ha media nulla), a componenti statisticamente indipendenti, ciascuna delle quali avente varianza N0 /2, si

ha che n o
exp − N10 (r − s(k) )T (r − s(k) ) ½ ¾
2 T (k) 1 (k) T (k)
Λk (r) = n o = exp r s − (s ) s ; (II.9)
exp − N10 r T r N0 N0

equivalentemente, il rapporto di verosimiglianza logaritmica è pari a

2 T (k) 1 (k) T (k)

λk (r) = r s − (s ) s . (II.10)
N0 N0

Si verifica facilmente che

Z T Z T
2 1
λk (r) = r(t) sk (t)dt − s2k (t)dt . (II.11)
N0 0 N0 0