1

A propos de la notion de Dviance

Cette courte note a pour objectif essentiel de prciser la notion de dviance
qui nest pas facile situer et assimiler. Aprs avoir rappel les concepts
de structure statistique (1) et de modle maximal (2) et prciser la famille
des modles linaires gnraliss classiques (3) on revient sur le Maximum de
Vraisemblance (4) puis le rapport de vraisemblance (5) qui permet de
fabriquer la dviance. La dviance est dfinie et on insiste sur son utilisation
dans le cadre de modles embots (6). Le rsultat asymptotique (7) sur le
2
, souvent mal compris, est nonc. On applique ensuite au modle linaire
(8) puis au modle linaire gnralis (9).

1. Structure statistique

On appelle communment structure statistique le triplet ( , A,P) dans
lequel :
est lensemble des rsultats possibles ;
A est une tribu, cest--dire un ensemble de parties de - dintrt
pour le problme qui nous occupe - qui est ferm pour lintersection et
la runion dnombrable ; de plus et appartiennent A ;
P est une famille de lois de probabilit dcrite laide dun indice
appel paramtre .
{ } P , P

=
spcifie un modle (probabiliste) particulier. On peut dire ainsi que
contient tous les modles envisags dans la modlisation de lexprience.

2. Modle maximal

Quand nous nous permettons de choisir dans tout entier (sans contrainte)
nous travaillons sur le modle dit maximal.
Considrons quelques modles maximaux classiques :

Exemple 1
( )
2
, Y N
( )
2
2
,
et 0
R R

+
= =
+

Rappelons que la densit de Y est gale :
( )
( )
2
2
2
2
1
; , exp
2
y
f y

| |

= |
|
\

2
Cest le choix le plus large de modle maximal. Dans dautres
circonstances on pourra supposer par exemple que
2
0 = et/ou que
appartient un intervalle donn et cetera.

Exemple 2
( ) ( )
( )
2
2
; , ( ) 0 et .
,
Y X E Y X E Var Y I
X


= + = = =
=

( ) E Y appartient a priori au sous espace vectoriel de
n
R engendr par les
colonnes de X .

Exemple 3
( ) ( )
2
, 1,...,
i i
Y N i I =
Les variables alatoires (v. a.) sont indpendantes de mme variance mais
desprances diffrentes.

Exemple 4
( ) ( )
2
, 1,...,
i
Y N i I =
Les v. a. sont indpendantes.

Dans lexemple 1 une seule ralisation de Y est prvue ; elle permet destimer
mais ne permet pas dapprcier
2
. Dans lexemple 2 quand ( )
n
E Y R
(tout entier) la variance
2
nous chappe. De mme dans lexemple 3 une
ralisation par modalit i ne permet pas destimer
2
.
Par contre le modle maximal de lexemple 4 nest pas satur (au sens o il
permet une estimation des paramtres partir des donnes. Il peut tre
considr comme maximal ou comme un sous modle de lexemple 3 (les
i

sont alors supposs tous gaux). Il en va de mme si lon modifie quelque peu
les premiers exemples :
- en assurant des rptitions dans lexemple 1,
- en demandant ( ) E Y dappartenir un sous espace strict de
n
R dans
lexemple 2,
- en ralisant des rptitions intra modalit dans lexemple 3.

Le modle maximal est satur (full model) quand lexprience statistique qui
lui est associe ne permet pas destimer tout le paramtre . On peut ainsi dire
que, dans les modles les plus classiques, un modle maximal satur oblige la
variabilit de Y sinscrire dans la partie dterministe (lesprance) ne
laissant pas la possibilit dapprcier la partie stochastique .

3. Modle linaire gnralis

On parle de modle linaire gnralis quand la densit de Y est de la forme :
( ) [ ] ( ) { }
; , exp . ( ) / ( ) , f y y b a c y = +

3
Si est connu ( ) ; , f y est une densit de la famille exponentielle.
( )
( ) ( )
'( )
''( ).
E Y b
Var Y b a


= =
=

On dit alors naturellement que le modle de lexprience envisage est
maximal satur quand le nombre de paramtres est gal au nombre
dobservations :
i
Y a pour densit ( ) ( ) ( ) { }
exp . / ,
i i
y b a c y + (



4. Maximum de Vraisemblance

On recherche, sil existe, le maximum

( ) y de la vraisemblance (la densit

vue comme une fonction de ). La densit est attache au modle de rfrence
(modle maximal, modle maximal satur, sous modle, ).

Revenons sur nos exemples.
Dans lexemple 1
- Une exprience :

y = mais
2
??
- 1 n > expriences :

y = et

( )
2
2
i
i
y y
n

Dans lexemple 2
- ( )
n
E Y R . On peut crire

Y X = et

1
X y

= (mais cela na aucun
intrt)
- ( ) E Y appartient au sous espace vectoriel engendr par les colonnes de
X strictement inclus dans
n
R . Alors :

( )

( )

( )
1
2
' '
' /
X X X Y
Y X Y X n

=
=

Dans lexemple 3
- une exprience par modalit :

i i
Y = mais
2
??
- Sil y a des rptitions notons
il
y la rptition l dans la modalit i
( 1,...,
i
l n = et 1
i
n > pour au moins un indice i ). Alors :

.
(moyenne arithmtique des v. a. de la modalit i)
i i
Y =

( )
2
.
2
il i
il
Y Y
n I

(Attention ici et est le nombre de modalits
i
i
n n I =

).
Dans lexemple 4

( )
2
2
, /
i
i
Y Y Y n = =

Dans le modle linaire gnralis le logarithme de la vraisemblance, not l
dans la suite, est gal :
4
( ) ( ) ( )
( ) ( )
. / ,
' / 0
l y b a c y
l
y b a

= + (

= = (

Y est lestimateur du maximum de vraisemblance de ( ) ' b ;
1
' ( ) b Y

est
lestimateur du maximum de vraisemblance de (pour peu quil appartienne
).

Plaons nous, pour illustrer, dans le contexte des donnes binaires (Binary
Data) et de la distribution binomiale :
( ) ( )
( )
B( , )
. . 1
1
; .ln .ln ln
1 1
n y
y
Y n
n
P Y y
y
n
l y y n
y

| |
= =
|
\
| |
= +
|

\

Utilisons le formalisme du modle linaire gnralis :
exp 1
ln et 1
1 1 exp 1 exp



= = =
+ +

( )
1
.ln
1
b n

( )
( )
1
, ln
a
n
c y
y

=
| |
=
|
\

Nous pouvons crire dans ce cas :
( )
( )
[ ]
( )
2
' 0
exp
'
1 exp
.(1 exp )
1
exp
. 1
1 exp
dl
y b
d
db db d
b n n
d d d
db n
n
d
d
d

= =
= = = =
+
= = +

= =
+

Et le maximum de vraisemblance de et de en rsulte :

exp
/ ln
1 1 exp
y
y n y y
y

= = = =
+


5. Rapport de Vraisemblance

Soit
rf
le modle de rfrence (ce peut tre le modle maximal) et
0
un
sous modle de
rf
(
0 rf
).
5
On notera

rf
(resp.

0
) lestimateur du Maximum de Vraisemblance (M.V.).
Considrons le rapport de vraisemblance :

( )

( )
( )
( )
0
0
max ;
;
max ;
;
rf
rf
f y
f y
f y
f y

= =

[ ] 0,1
Quand est proche de 1 le sous modle
0
est vraisemblable ; il est plus
simple que
rf
; nous laccepterons comme modle de travail (pour la
description, pour rsumer linformation, pour la prdiction,).
Quand est proche de 0 le sous modle
0
est invraisemblable ; il est rejet ;
Do la ncessit de dfinir

tel que :
0
0
Si 1 on dcide
sinon on dcide
rf

<

Pratiquement on travaille sur la statistique 2.ln D = , transformation
monotone dcroissante de prenant ses valeurs sur [ ) 0, + .

( )

( ) 0
2.ln 2 ; ;
rf
D l y l y
(
= =


La famille de rgles de dcision scrit alors de faon strictement quivalente :
0
0
Si 2ln 2ln on dcide
sinon on dcide
rf
D

= <

6. Dviance

En 1972 Nelder et Wedderburn (J.R.S.S. (A)) ont appel Dviance la
statistique 2.ln D = quand le modle de rfrence est maximal satur ; alors
La log vraisemblance

( )
;
rf
l y ne dpend plus que des seules observations (ne
dpend plus du paramtre) ; on la note ( ; ) l y y .
Avant dtendre ce concept de dviance dans la suite du paragraphe nous
retournons sur les exemples prsents en dbut de cette note.

- Ex. 1
( )
( )
2
2
2
1
; exp
2
y
f y

=
`

)

( ) ( )
( )
( ) ( )
2
2
2
2
1
; ln 2
2
1
; ln 2
2
y
l y
l y y

=
=

( ) ( )
( )
2
2
2. ; ;
y
D l y l y y

= = (


6

- Ex. 2
Le logarithme de la vraisemblance sur le modle linaire scrit :
( ) ( ) ( )
( ) ( )
( ) ( )
2
2
2
1
ln 2 .
2 2
.
2. ; ;
T
T
n
Y X Y X
Y X Y X
D l y X l y y

= = (



- Ex. 3
Le logarithme de la vraisemblance du modle
( )
2
, ( 1,..., )
i i
Y N i I =
est gal :
( ) ( )
2
2
2
1
ln 2
2 2
i i
i
I
y

et la dviance est gale :

( )
2
2
/
i i
i
D y =

Considrons donc maintenant les trois modles
0 1
, ,
rf
o le modle
complet ou maximal (il nest pas en gnral satur !) avec
0 1 rf

Notons :
( ) ( )
( ) ( )
( ) ( )
1 1
01 0 1
0 0
2. ; ;
2. ; ;
2. ; ;
rf rf
rf rf
D l y l y
D l y l y
D l y l y



(
=

= (

(
=

Il est manifeste que :
0 01 1 rf rf
D D D = +


Cette galit est bien sr conserve quand on remplace
0 0
,
1 1
,
rf rf
par les estimateurs du MV sous ces diffrents modles :

0 1
, ,
rf
.
Notons :

( )

( )

( )

( )

( )

( )
1 1
01 0 1
0 0
2. ; ;
2. ; ;
2. ; ;
rf rf
rf rf
D l y l y
D l y l y
D l y l y



(
=

(
=

(
=


Les quantits

et D D seront encore appels dviances. Le procd est

gnral ; il dpasse le cadre des modles linaires gnraliss et permet
dorganiser une dcision multiple et, dans notre contexte, le chois dun modle
entre plusieurs modles embots.
On procde souvent de faon descendante comme suit :

7

1
1
01 1
0
Si est considr trop grand on dcide
sinon on se place dans le modle (nouveau modle de rfrence)
si alors D est considr trop grand on dcide
sinon on retient le modle .
rf rf
D

Cest la raison pour laquelle les diffrentes dviances sont prsentes dans un
tableau danalyse de la variance. A cela sajoute un rsultat asymptotique
important que nous allons noncer. Cest pourquoi les diffrentes dviances se
trouvent pares de degrs de libert.

7. rsultat asymptotique important

Supposons que
0
(on parle souvent dhypothse nulle) puisse tre
spcifie sous la forme :
( ) ( ) ( )
1 2
... 0 avec
m
u u u m p = = = = <
Les mfonctions
j
u obissent des conditions de rgularit souvent
satisfaites dans les modles courants.
0
est connu strictement dans le
modle de rfrence
rf
de dimension p .
Alors Y tant un n-chantillon de v. a. indpendantes, sous lhypothse
0
,
[ ]
2
lim 2ln
n m
n
P c P c

( > = >


( ) ( )
0
2. ; ;
rf
D l y l y
(
=

et la statistique

( )

( ) 0
2. ; ;
rf
D l y l y
(
=

est
distribue, sous lhypothse nulle
0
, comme un
2
m degrs de
libert.
On notera que ce rsultat asymptotique nest pas li une hypothse de
normalit distance finie.

8. Dviance et modle linaire

Considrons la statistique du rapport de vraisemblance de lhypothse nulle
ref
(contre le modle satur) et la dviance (au sens de Nelder) associe
rf
D .

( )
( )

( )

( )
2
.
2. ; ;
T
rf rf
Y X Y X
D l y l y y

(
= =


Considrons de mme la statistique du rapport de vraisemblance de lhypothse
linaire
0
(contre le modle satur) et la dviance associe
0
D .

( )
( )

( )

( ) 0 0
0 0 2
.
2. ; ;
T
Y X Y X
D l y l y y

(
= =


La diffrence
0 0 rf rf
D D D = est gale :

( )

( )

( )

( )

( )

( ) 0 0 0 0
2 2
. . ' '
T T
Y X Y X Y X Y X X X


=
8

( )
( )
{ }

( )
( )
{ }

( )

( ) { }
0 0
0
2ln 2 ; ; 2 ; ;
2 ; ;
rf rf
rf
D l y l y y l y l y y
l y l y


= = +
=

0rf
D est distribu comme un
2
p q degrs de libert sous lhypothse
nulle
0
(avec
( )
dim
rf
p = et ( )
0
dim q = ) (et ceci distance finie car
le modle est linaire et gaussien).
En pratique
2
doit tre estim. Il en rsulte une des nombreuses prsentations
possibles de la statistique F de Fisher :
( )
0
/
( , ),
/( )
rf
rf
D D p q
F F p q n p
D n p
(

=

sous lhypothse nulle

0
.

9. Dviance et modle linaire gnralis

La mme dmarche peut tre faite dans le cadre des modles linaires
gnraliss que ce soit pour la dviance (au sens de Nelder) ou pour les
dviances associes des modles embots.
Rappelons la densit et la log vraisemblance
( ) [ ] ( ) { }
; , exp . ( ) / ( ) , f y y b a c y = +

( ) [ ]
, ; . ( ) / ( ) ( , ) l y y b a c y = +


On pourra par exemple noter :

( ) y = le maximum de vraisemblance pour le modle satur ;

( ) y = le maximum de la vraisemblance pour un modle de rfrence.
Considrons n v. a. indpendantes et calculons la dviance :

( )

( )

( )
( ) ( )

( )
( ) ( )

( )

( )

( ) ( )
( )
1 1
2.ln 2 ln ; , ln ; ,
2 / , / ,
2. /
n n
i i i i
i i
i i i i i i i i
i i i i i i
i i i i i
i
D f y f y
y b a c y y b a c y
y b b a



= =

= =
`
)
| | ( (
= + +
` |
( (
\ )
(
=
(

Nous nous bornerons pour terminer lexemple du modle Poissonnien :
( ) ( )
( ) ( )
; exp
!
ln ; ; .ln ln !
y
f y
y
f y l y y y

=
= =

Posons :
9
( )
( ) ( ) ( ) ( )
ln
1
exp ; ' exp , paramtre de la loi de Poisson
a
b b

=
=
= = =

Le modle satur pour un ensemble de n variables alatoires indpendantes
est : ( )

P et , 1,...,
i i i i
Y y i n = = .

( )
1 1 1
; ln ln !
n n n
i i i i i
i i i
l y y y y y
= = =
=


Choisissons comme modle de rfrence ( ) P
i
Y . Alors :

( )
1 1 1
; ln ln !
n n n
i i i i
i i i
l y y y y y
= = =
=


Et la dviance est gale dans ce cas :
( )
2. . ln ln 2. .ln
i
i i i
i i
y
D y y y y
y
(
= =
(




10. Remarque et bibliographie

Les quelques exemples sont univaris ; mais lextension des modles
multivaris ne prsente pas de difficult thorique.

- Pour la thorie des tests :
J. Ulmo et J. Bernier
Elments de dcision statistique
P.U.F. 1973

- Pour la notion de dviance et les modles linaires gnraliss :

R. Tomassone, M. Danzart, J.-J. Daudin et J.-P. Masson
Discrimination et classement
Masson 1988

P. McCullagh et J.A. Nelder
Generalized linear models
Chapman and Hall 1983