You are on page 1of 26

Rseaux de Neurones, Rseaux Bayesiens et Applications

Probabilits Conditionnelles
Philippe.Leray@insa-rouen.fr

Notions de Probabilit Conditionnelle


Pourquoi ? Les Rseaux de Neurones et les Rseaux Bayesiens utilisent tous les deux la notion de probabilit conditionnelle :
X = [hauteur, largeur, poids] d'un objet C = {voiture, camion, vlo} On mesure X=[15 5 500], quelle est la probabilit que C soit une voiture sachant X ?

A : "La bourse de New-York est en hausse" B : "Il pleut Rouen" Quelle est la probabilit que la bourse de New-York soit en hausse quand il pleut Rouen ?

Ph. Leray

Dfinition
Soient 2 vnements A et M, on suppose que M s'est produit {M s'est produit} = information a priori ( P(M) 0 )

S'il existe un lien entre A et M, cette information va modifier la probabilit de A Probabilit de A conditionnellement M Probabilit de A sachant M

P( A & M ) P(A M ) = P( M )
P(A|M) est une probabilit
Ph. Leray

Interprtation "frquentiste"
On rpte N fois une exprience E sur laquelle on a dfini 2 vnements A et M
n(A) n(M) n(A&M) = nb de ralisations de A = nb de ralisations de M = nb de ralisations simultanes de A et M

( A) = n( A) P N

(M ) = n(M ) P N

( A & M ) = n( A & M ) P N
P = lim P
N +

( A M ) = n( A & M ) P n (M )

Rappel :

thorique / empirique

Ph. Leray

Indpendance de 2 vnements
A et B sont 2 vnements indpendants ssi P(A&B) = P(A) x P(B)

en utilisant la dfinition de la probabilit conditionnelle : P(A|B) = P(A) P(B|A) = P(B) la connaissance de B n'apporte rien sur celle de A et rciproquement

Ph. Leray

Exemple
La lgislation de la marijuana aux USA
Pour 7.8 % 18.2 % ^ P(Pour)=26 % ^ ^ ^ P(Pour|Est) = P(Pour&Est) / P(Est) = 7.8 / 30 = 26 % Pour et Est sont 2 vnements indpendants ^ En pratique : que dire si P(Pour|Est)= 27% 35% 50% Il faudra fixer une frontire de dcision
Ph. Leray

Est des USA Autres rgions

Contre 22.2 % 51.8 %

^ P(Est)=30 % ^ P(Autres)=70%

Probabilits Totales
Soient N vnements M1, MN
complets mutuellement exclusifs

Thorme des Probabilits Totales

P ( A) = P ( A M i )P(M i )
N i =1

Ph. Leray

Exemple
Soit un lot de 4500 pices
3700 bonnes 800 fausses

rparties dans 4 boites


B1 : 2000 pices (1600 bonnes, 400 fausses) B2 : 500 pices ( 300 bonnes, 200 fausses) B3 : 1000 pices ( 900 bonnes, 100 fausses) B4 : 1000 pices ( 900 bonnes, 100 fausses)

F = {tirer une pice fausse} P(F) ?

Ph. Leray

Exemple
Il faut dj choisir la boite dans laquelle on va prendre une pice
4 boites, choix quiprobable : P(Bi) = 1/4

Pour chaque boite, on peut dterminer la probabilit d'avoir une pice fausse
P(F|B1) = 400/2000 = 0.2 P(F|B3) = 100/1000 = 0.1 P(F|B2) = 200/500 = 0.4 P(F|B4) = 100/1000 = 0.1

P (F ) = P (F Bi )P(Bi ) =
4 i =1

1 (0.2 + 0.4 + 0.1 + 0.1) = 0.2 4

Ph. Leray

Exercice : le jeu des $$$


Jeu TV :
les dangers du conditionnel ! 3 portes, des $$$ derrire une des 3 portes A, B et C Le prsentateur SAIT o sont les $$$ Vous tes le candidat 1re question du prsentateur : quelle porte choisissez-vous (sans l'ouvrir) ? Le prsentateur ouvre une des 2 portes restantes (et qui ne cache pas les $$$, il ne veut pas perdre) 2me question du prsentateur : choisissez-vous toujours la mme porte ?

Ph. Leray

Exercice : le jeu des $$$


1re question du prsentateur :
quelle porte choisissez-vous (sans l'ouvrir) ? Aucun a priori : P(A=$$$) = P(B=$$$) = P(C=$$$) = 1/3 on peut choisir au hasard A

Le prsentateur ouvre une des 2 portes restantes (et qui ne cache pas les $$$) de manire quiprobable

Ph. Leray

Exercice : le jeu des $$$


rsolution A=$$$ prsentateur ouvre B ouvre C B=$$$
0

C=$$$

1/6

1/3

1/2

1/6 1/3

1/3 1/3

0 1/3

1/2

Si le prsentateur ouvre B, la porte la plus probable est C Si le prsentateur ouvre C, la porte la plus probable est B dans les 2 cas, notre premier choix (A) n'est plus le plus probable !
Ph. Leray

Probabilits des Causes


Question : Un vnement A peut rsulter de plusieurs causes Mi (s'excluant mutuellement), quelle est la probabilit de A connaissant
les probabilits lmentaires P(Mi) probabilits priori les probabilits conditionnelles de A chaque cause Mi.

Rponse = Thorme des probabilits totales Mais comment rpondre la question inverse : Un vnement A s'est produit, quelle est la probabilit que ce soit la cause Mi qui l'ait produit ? comment calculer P(Mi|A) ? probabilit posteriori Rponse = Thorme de Bayes ...
Ph. Leray

Thorme de Bayes
Soient plusieurs vnements Mi (s'excluant mutuellement),
P(Mi) P(A|Mi) P(Mi|A) probabilit priori de Mi probabilit de A conditionnellement Mi probabilit posteriori de Mi (condit. A)

P (M i & A) P (A M i )P (M i ) P (M i A) = = P( A ) P( A )
P(A) s'obtient par le Thorme des probabilits totales

P (M i A) =
Ph. Leray

P(A M )P(M )
k k k

P ( A M i )P(M i )

Thorme de Bayes

Exemple

Statistiques - Wonnacott - p.104

Comment acheter une voiture d'occasion ?


je suis intress par le modle X les revues spcialises indiquent que 30% de ces voitures ont une transmission dfectueuse je trouve ce modle chez un garagiste

ide = obtenir des informations complmentaires en demandant un ami mcanicien d'essayer la voiture et d'effectuer un diagnostic.
le diagnostic du mcanicien est gnralement bon : il reconnat 90% des voitures X dfectueuses il reconnat 80% des voitures X non dfctueuses

Ph. Leray

Exemple
Formulation mathmatique
tat rel de la voiture : tat diagnostiqu par le mcanicien : DEF / OK def / ok

P(DEF) = 30 % P(def|DEF) = 90 % P(ok|OK) = 80 %

probabilit priori P(ok|DEF) = 10 % P(def|OK) = 20 %

Quelles sont les probabilits posteriori aprs le test du mcanicien ? P(DEF|def) = ? P(DEF|ok) = ? on espre P(DEF|def) > P(DEF) > P(DEF|ok)
Ph. Leray

Exemple
Rgle de Bayes :

P(DEF def ) =

P(def DEF )P(DEF ) + P(def OK )P(OK )


P (DEF def ) = 90 30 27 = = 66 % 90 30 + 20 70 41

P(def DEF )P(DEF )

P(DEF ok ) =

P(ok DEF )P(DEF ) + P(ok OK )P(OK )


P (DEF ok ) = 10 30 3 = =5% 10 30 + 80 70 59

P(ok DEF )P(DEF )

Ph. Leray

Exemple
Plus compliqu, mais plus raliste 85% < P(def|DEF) < 95 % Quelles sont les probabilits posteriori aprs le test du mcanicien ? P(DEF|def) = ? P(DEF|ok) = ?

Ph. Leray

Et en continu ?
X est une variable alatoire fonction de densit fX(x)

P ( x1 X x2 ) =

x2

x1

f (t ) dt
X

Esprance :

E(X ) =

x f (x ) dx
X

Variance :

VAR( X ) = E ( X E ( X )) =
2

] (x E( X ))
+

f X ( x ) dx

Ecart-type : X = VAR( X )

2 VAR( X ) = X

Ph. Leray

Exemple
La loi normale :
0.4

0.35

f X (x ) =

1 2 2

exp

( x )2
2 2
0.3

0.25

0.2

0.15

0.1

0.05

0 -5

-4

-3

-2

-1

Ph. Leray

Et en multi-dimensionnel ?
X et Y deux variables alatoires fonction de densit fX,Y(x,y) densits marginales :

f X (x ) =

f (x , y ) dy
X ,Y

fY ( y ) =

f (x , y ) dx
X ,Y

densits conditionnelles :

f X ,Y ( x , y ) f X (x Y = y ) = fY ( y )

f X ,Y ( x , y ) fY ( y X = x ) = f X (x )

Ph. Leray

P( A & M ) P(A M ) = P( M )

rappel du cas continu

Exemple "mixte"
X = taux de globule rouge Y = tat du patient De manire gnrale :
fX(X|M) ~ N(30, 2=5) fX(X|M) ~ N(27,2=5) P(M) = 0.2 P(M) = 0.8

variable continue M=malade M

Un patient se prsente avec X=24


P(M|X=24) ?

Ph. Leray

Exemple "mixte"
Rgle de Bayes

P(M X = 24 ) =

f X ( X = 24 M )P(M ) + f X ( X = 24 M )P(M )
0.2 0.8

f X ( X = 24 M )P(M )

N(30,2=5)
0.0049

N(27,2=5)
0.0725

P(M|X=24) = 0.0166

Ph. Leray

Variables alatoires indpendantes


X et Y deux variables alatoires indpendantes ssi

f X (x Y = y ) = f X ( x )

fY ( y X = x ) = fY ( y )

y x

en utilisant la formule donnant les densits conditionnelles :

f X ,Y ( x , y ) = f X (x ) fY ( y )

x , y

rappel du cas continu P(A&B) = P(A) x P(B)


Ph. Leray

Et on augmente le nb de variables
densits conditionnelles

indpendance

f ( x1 , x2 , , xn ) f (x1 , x2 , , xk xk +1 , xk + 2 , , xn ) = f ( xk +1 , xk + 2 , , xn )

X1 ... Xn sont indpendantes ssi

f ( x1 , , xn ) = f ( x1 ) f (xn )

Attention : si n variables sont indpendantes, alors elles sont indpendantes k k (k < n) la rciproque est FAUSSE exemple X1 X2 indpendantes X1 X3 indpendantes X2 X3 indpendantes
Ph. Leray

VRAI

X1 X2 X3 indpendantes

Exemple (en discret)


4 vnements X1, X2, X3, X4 quiprobables A={X1 ou X2} B={X1 ou X3} C={X1 ou X4} P(Xi)=1/4 P(A)=P(X1)+P(X2)=1/2 P(B)=1/2 P(C)=1/2

A, B, C indpendants 2 2 :
A&B = {X1 ou X2} &{X1 ou X3} = X1 (idem avec A&C et B&C) P(A&B) = P(X1) = 1/4 P(A)P(B)=1/2*1/2=1/4

A,B,C indpendantes ?
A&B&C = X1 P(A&B&C)= P(X1) = 1/4 P(A)P(B)P(C)= 1/8

Non !

Ph. Leray