Sie sind auf Seite 1von 36

LUTILISATION PRATIQUE DES TRAITEMENTS STATISTIQUES

SOUS EXCEL
Par Alain Mouchs
Matre de Confrences lInstitut de Psychologie et de Sociologie Appliques,
U.C.O, Angers.

1.Gnralits :

Un travail de recherche permet danalyser et interprter nos donnes, pour vrifier nos
hypothses. Et cette validation des conclusions exprimentales est intimement lie l'emploi
de la statistique. Mais le choix des tests appropris est souvent dlicat.
Le document propos nest pas un abrg de statistiques, mais simplement une aide concrte
vous permettant dacqurir un savoir-faire des principaux tests statistiques.
Toutefois il est utile de vous souvenir de vos cours de statistiques, ou au besoin davoir sous
la main un ouvrage de statistiques pour suivre ces exercices.
On parle souvent en Sciences Humaines, de "variable dpendante" et de "variables
indpendantes"... Rappelons que la variable dfinit les caractristiques de la mesure que l'on
utilise pour prlever l'information.
La variable dpendante = les donnes : se poser une question-problme, et dcrire la conduite
tudie.
La variable indpendante = source de variations, conditions manipules par lobservateur.
Petit rappel (avec un exemple tout fait absurde, je le prcise !):
Supposons que je veux tudier la consommation de chocolat chez les tudiants (= Variable
dpendante), et plus prcisment, je veux savoir si les Littraires mangent plus (ou moins) de
chocolat que les Scientifiques (Variable indpendante).
Premire difficult: la typologie des variables.
Pour valuer un traitement partie des donnes opres, il faut dterminer le type dchelle de
mesure utilis.
Gnralement, il existe trois niveaux de mesure. Ma variable dpendante est-elle: ordinale?
nominale? dintervalle ?
Nominal = classe d'quivalence, ordinal = plus grand que..., et intervalle = grandeur des
intervalles entre les objets d'une chelle ordinale.
Si je dcide de noter simplement lexistence ou labsence de chocolat selon les individus (je
note oui , ou non , sans considrer la quantit) alors la variable dpendante est devenue
nominale .

Par contre, si je dcide de comptabiliser le poids consomm de chocolat (en gramme) par jour,
et par individus, dans ce cas nous avons affaire une variable ordinale (continue). De mme si
lon demande notre consommateur de chocolat destimer de faon numrique sa dpendance
(par ex . en utilisant une chelle de type Likert : 0= pas du tout, 1= un peu, 2 = assez
souvent, etc.), cest encore une chelle ordinale. Toutefois certains auteurs prfrent parler
dchelle dintervalle Et javoue ne pas saisir toutes ces subtilits !
Disons quil existe des chelles dintervalles , cest dire sous forme de valeurs
numriques particulires.
Par exemple on peut estimer le temps mis pour manger toute une tablette de chocolat.
Ou encore on obtient un score aprs preuve qui indique ltat du consommateur, aprs
ingestion de toute la tablette. (calcul par cumul des vnements psychophysiologiques
nause, anxit, etc.-cits dans un questionnaire).
En tout cas selon les diffrentes chelles, on utilisera des tests appropris.
Mais il existe un autre problme. Certains tests peuvent tre paramtriques , et dautres
non-paramtrique .
Que signifie cette diffrence entre tests ?
Si ma variable est ordinale, et si la population des tudiants est importante, on peut supposer
que la distribution suit la loi normale (loi de Gauss).
En effet la consommation de chocolat varie selon les individus : quelques personnes ont une
consommation nulle, ou trs faible et au contraire quelques personnes trop gourmandes
mangent toute une plaquette, et la majorit des individus auront une consommation plus
raisonnable Donc les chantillons suivent une distribution normale, cest dire un
distribution en forme de cloche .
Si ma variable suit la loi de probabilit de Gauss, jai "le droit" d'utiliser les tests
paramtriques. Je pourrai par exemple utiliser un test de moyennes , tel que le t de
Student
Cependant pour compliquer encore, on peut avoir des variables qui ne suivent pas vraiment la
loi normale Dans ce cas, on prfrera les tests non-paramtriques .
En ralit, c'est parfois difficile de choisir les tests employs...
En effet, en particulier dans le cas des petits chantillons, certains histogrammes obtenus sont
plus "ordinales" que "nominales", mais pourtant sont trs loin dune distribution dite
normale .
Dans certains cas, les tests non-paramtriques sont plus adapts. Et de fait, il existe des
mthodes non-paramtriques qui traitent aussi des variables ordinales, et qui sont trs
adaptables des cas particuliers.
Cependant beaucoup de chercheurs en Sciences humaines prfrent utiliser les tests
"paramtriques" Cest une affaire de choix ! (ou de flemme ?).
Je vous signale nanmoins que certains nostalgiques des tests non-paramtriques ont ralis
des logiciels free permettant de calculer ces tests.
Dans tous les cas, le logiciel Excel (ainsi que ce logicien free trouv par Internet) va vous
permettre de raliser trs facilement la plupart des traitements statistiques, paramtriques ou
non-paramtriques.
Mais auparavant, quelques astuces pour traiter facilement vos donnes sous Excel

A. Une premire astuce : le collage spcial (attention cette information concerne


exclusivement la version ancienne dExcel, et non la version Excel2007 !)
Mes donnes que je vais tester sont en ligne , et je veux quils soient en colonne
Que faire ? Rponse : si vous devez changer vos donnes de ligne en colonne -ou
inversement-: copiez vos donnes, et slectionnez un emplacement, puis dans Edition ,
choisir Collage spcial , puis Transpos , et cliquez OK.
B. Une deuxime astuce : le filtrage
Un exemple: vous venez de saisir les rsultats dun questionnaire
SUJET

AGE

TEST 1

TEST 2

enfant

25

10

SEXE
homme

adulte

26

11

femme

adolescent 42

14

homme

adolescent 36

10

homme

adulte

21

homme

adulte

20

femme

enfant

32

12

femme

adulte

31

14

homme

//
268

etc.

...

femme
..

Vous possdez une foule dinformations, mais si vous devez comparer manuellement vos rsultats aux
diffrentes modalits (homme ou femme, grand moyen ou petit, enfant ou adulte etc), votre analyse sera bien
complexe !

Mais Excel possde un outil trs efficace : le filtrage , trs pratique pour traiter vos
donnes.
Procdure : dans Donnes , cherchez filtre . Slectionnez une cellule (par exemple dans
sujet , ou sexe , ou ge etc.), et cliquez sur la commande filtrage automatique .
Ensuite vous pouvez trs facilement sparer vos groupes soit en hommes , soit en
femmes , ou encore vous pouvez analyser uniquement les hommes-adultes , etc.
C. O trouver les analyses statistiques intressantes, sous Excel ?
Cest paradoxal, mais vous ne trouverez pas beaucoup de tests statistiques intressants dans la
fonction statistiques dExcel !
Dans les versions anciennes) dExcel, l faut plutt chercher dans les macros , et plus
prcisment dans Utilitaire danalyse .
Comment peut-on trouver ce prcieux macro ? Dans Outils , cherchez Utilitaire
danalyse , (et si vous ne le trouvez pas, cherchez dans macros complmentaire , et
cochez Utilitaire danalyse )
(remarque : dans la version Excel 2007, il faut cliquer le bouton Microsoft Office, et
activer (en bas) Option Excel , puis Complments , Grer , complment Excel .
Et dans les Macros complmentaires disponibles, il faut activer la case Analysis
ToolPak ) Ensuite vous trouverez lutilitaire danalyse dans Donnes Ouf !
Dans le cas des tests non-paramtriques, nous avons utilis le logiciel "Astro Research" de Mr
H. Delboy, mdecin, statisticien, astrologue, musicologue, etc Ce scientifique passionn
dastrologie, alchimie et dautres bizarreries sotriques a ralis un logiciel remarquable et
gratuit, qui fonctionne sous Excel. (adresse :hdelboy.club.fr/Nonparam.htm)
3

2. Calculs statistiques paramtriques:


Ces quelques pages vous expliquent la marche suivre des calculs les plus utiliss, en
donnant des exemples.

A. Lenregistrement des observations:


1- Calculer la moyenne, lcart-type, analyser la dispersion, etc
(Visitez vos anciens cours de statistiques, SVP)
Procdure : dans Utilitaire danalyse , cliquez Statistiques descriptives , et cochez
Rapport dtaill .
Entrez vos donnes dans plage dentre (en slectionnant avec la souris la zone choisie),
prcisez si les donnes sont en colonnes, ou en lignes, et faites OK.
Vous trouvez aussitt la moyenne, lerreur-type (Erreur-type : sx =

), la mdiane, le

mode (= la valeur de lobservation associe la frquence la plus leve) , lcart-type

( X X )

), la variance de lchantillon (= le carr de lcart-type


n 1
S),, le coefficient daplatissement Kurstosis, le coefficient dassymtrie, etc
(Ecart-type : S =

2- Ralisation dune distribution de frquence : cration dun histogramme de


donnes quantitatives groupes.
Exemple: un enseignant vient de corriger 20 copies dexamen. Les notes vont de 2 18/20, et il souhaite
connatre la distribution.
Notes :
10
9

7,5

17

18

12

13

4,5

11

13

10

11

13

11

Cet enseignant dcide dutiliser des intervalles de notes pour raliser un graphique plus reprsentatif.
Il dtermine 9 classes, correspondant lintervalle de partition :
(1 3), (3-5), (5-8), (18-20)
Tableau de 9 classes :
1

10

12

14

16

18

Procdure : dans Utilitaire danalyse , cliquez Histogramme .


Rentrez les notes dans plage dentre, et les 9 classes dans plage des classes.
Vous pouvez cocher galement reprsentation graphique , puis OK Et vous
aurez aussitt un rsultat indiquant les classes, la frquence des rsultats, (et en prime, un
joli histogramme...) Vous pouvez dailleurs transformer cet histogramme tout loisir dans
l Assistant graphique dExcel.
Remarque : si vous souhaitez crer une distribution de frquence avec des donnes nongroupes , il ne faut plus utiliser loutil histogramme de lUtilitaire danalyse, mais
laide du Tableau crois dynamique qui se trouve dans le menu Donnes .
Dans notre cas, cliquez sur suivant , indiquez vos notes dans plage , et cliquez sur
disposition
Ensuite glissez simplement le champ des notes sur le rectangle ligne , puis glissez nouveau sur
donnes . Ensuite, cliquez Terminer L, vous allez vous sentir un peu bte car vous nobtenez pas
de Frquence , mais une banale Somme ! Cest normal, ne paniquez pas Cliquez deux fois sur
somme , et vous tombez dans un Champ dynamique , plein de merveilles : somme, moyenne, carttype, produit, etc. Ici, choisissez Nb (qui signifie le nombre doccurrence, ce qui correspond tout fait !)

Le tableau crois dynamique est galement trs intressant pour raliser un


questionnaire, des tableaux, des analyses croises, etc. Amusez-vous vous exercer en
glissant les diffrents boutons proposs, et bientt vous allez devenir un accro
dExcel

LES TESTS STATISTIQUES POUR UN, DEUX, OU K CHANTILLONS


La plupart des tests sera un comparaison de moyennes ou de frquences
Mais il faut tout dabord identifier la (ou les) variables. Comment est forme ma variable
dpendante ? Quel type d'chelle faut-il employer? La variable est-elle ordinale , ou alors
nominale ?
Trois possibilits : nous voulons analyser
-un seul chantillon tester,
-deux chantillons,
-ou k chantillons
Par exemple, si je compare simplement les tudiants qui consomment (ou non) du chocolat,
c'est une variable 1 chantillon. Si je veux analyser la comparaison Littraire/Scientifique, et
la consommation du chocolat, alors c' est une variable indpendante 2 chantillons
Et si je veux analyser la comparaison Littraire/Scientifique des accros du chocolat, en
considrant le sexe des individus, alors c'est une variable indpendante 4 chantillons... Je
vous conseille de regarder le tableau rcapitulatif qui se trouve la dernire page de ce
document.

B. Les tests statistiques pour un, ou deux chantillons

Il faut dabord prciser ce quon cherche: soit mon hypothse suppose une indpendance
(cest dire une absence de relation), ou au contraire mon hypothse suppose une liaison
(cest dire une association corrle )?
B.1 : Les tests dindpendance:
1-le test de Student, comparaison dune moyenne :
X
Formule t =
s / n 1
Exemple : daprs un rapport, on trouve que les hommes de plus de 30 ans regardent la tlvision en moyenne
25 h par semaine. Nous voulons comparer cette moyenne une population dtudiants. Onze tudiants ont
comptabilis leur temps pass devant la tlvision, par semaine :

Rsultats
Etudiants 10

15

28

20

19

13

20

14

38

Procdure : dans Utilitaire danalyse , cliquez Test dgalit des esprances :


observations paires . Par un copier-coller (en colonnes, SVP 1), rentrez les chantillons
observs dans plage pour la variable 1 , et dans plage pour la variable 2 rptez
simplement n.fois la moyenne thorique (ici, 25) :
Etudiants 10
thorique 25

8
25

15
25

28
25

20
25

19
25

13
25

20
25

9
25

14
25

38
25

Puis, faites OK : nous obtenons un tableau tout fait clair, avec plusieurs informations:
Test d'galit des esprances: observations paires

Moyenne
Variance
Observations

Variable 1
17,6363636
80,2545455
11

Diffrence hypothtique des moyennes0


Degr de libert
10
Statistique t
-2,72617579
P(T<=t) unilatral
0,01066649
Valeur critique de t (unilatral)
1,81246151
P(T<=t) bilatral
0,02133298
Valeur critique de t (bilatral)
2,22813924

Variable 2
25
0
11
Le t de Student

Valeur de la
probabilit

Notez la moyenne des chantillons (17,63..), leur variance (80,25) les ddl (11), la
probabilit (uni, ou bilatral) etc.
Vous constatez que la moyenne des chantillons-tudiants est plus faible que celle de la
population gnrale. Il y a une diffrence significative (p = .01).
Nous rejetons donc lhypothse nulle : les tudiants regardent moins la tlvision que les
adultes de plus de 30 ans.
1

Pour passer de ligne en colonne sous Excel, copiez vos donnes, et slectionnez un emplacement, puis
dans Edition , choisir Collage spcial , puis Transpos , et cliquez OK.

2- Le rapport de variance : test de F de Fischer-Snedecor. Ce test permet de vrifier


lexistence significative de diffrences entre les moyennes de 2 groupes. Et plus exactement,
il permet de tester lhypothse de lgalit des variances des 2 populations. On va estimer la
dispersion des valeurs entre les deux distributions, en dfinissant les valeurs du rapport des
deux variances.
(Formule: F = S1/S2) Cest dire : rapport des 2 variances observes (en pratique, rapport
de la plus grande valeur la plus petite) . Selon les tables de Snedecor, si F est suprieur
2,27, il y a 5 chances sur 100 pour que la diffrence observe soit significative.
Procdure : dans Utilitaire danalyse , cliquez Test dgalit des variances . Rentrez
les deux chantillons dans plage pour la variable 1 , et plage pour la variable 2 , et
faites OK.
Et bien sr, si vous constatez que la valeur du F est non-significative (cela veut dire que les
deux distributions ne diffrent pas du point de vue de la dispersion de leurs valeurs), alors
dans ce cas, vous pouvez comparer les deux moyennes.
3- le test de Student: test de deux moyennes dchantillons apparis. (ou chantillons
D
dpendants) : Formule du t de Student: t =
Sd / n 1
Avec D = moyenne de la diffrence des 2 moyennes
Sd = cart-type (de la diffrence etc.) N = taille de lchantillon
Exemple : nos 11 tudiants, (apparemment passionns par les expriences !) passent un test danxit, puis sont
invit participer un entranement la relaxation. Ensuite, ils repassent le test danxit On veut
videmment estimer lefficacit dune formation la relaxation.

Rsultats
avant 30
aprs 10

38
21

45
16

28
16

20
11

19
22

23
23

40
26

29
18

34
32

38
28

Procdure : dans Utilitaire danalyse , cliquez Test dgalit des esprances :


observations paires . Par un coller-copier (en colonnes, SVP), rentrez les deux
chantillons dans plage pour la variable 1 , et plage pour la variable 2 , et faites OK
Un tableau saffiche aussitt :
Test d'galit des esprances: observations paires
Variable 1

Variable 2

Moyenne

31,2727273 20,2727273

Variance

72,6181818 47,4181818

Observations

11

Coefficient de corrlation de Pearson

0,29512579

11

Diffrence hypothtique des moyennes 0


Degr de libert

10

Statistique t

3,94784499

P(T<=t) unilatral

0,00136992

Valeur critique de t (unilatral)

1,81246151

P(T<=t) bilatral

0,00273983

Valeur critique de t (bilatral)

2,22813924

Il indique plusieurs informations : moyenne, variance, etc., et mme le coefficient r de


Pearson (qui indique sil y a une corrlation, ou non, entre les deux variables)
Dans notre cas, nous allons nous sintresser la valeur du t de Student, qui est indiqu dans
la ligne Statistique t = 3,94. Le rsultat est hautement significatif (probabilit unilatrale
alpha de .001) (Mais quel dommage, ce ne sont ici que des chiffres totalement invents)
4- le test de Student pour des chantillons indpendants : il faut dans ce cas prendre le
test dgalit des esprances (vous avez le choix entre variances gales , ou
variances diffrentes )
En thorie, le test t sur des chantillons indpendant suppose que les variances sont
inconnues, mais gales. Mais parfois lorsquon suppose que les variances sont ingales par
exemple dans le cas des tailles dchantillons trop rduites-, Excel utilise un autre calcul
appel la procdure de Welch-Aspin (Personnellement, je prfre utiliser dans ce cas un
test non-paramtrique )
En tout cas, dans une situation normale dun test de Student variances gales, la formule
m1 - m2
t
du t de Student, comparaison de deux moyennes est:
s s

N1 N 2
(avec s =variance commune aux deux chantillons).
Un exemple: nous avons choisi au hasard 8 garons et 9 filles qui ont pass un concours de mathmatiques. Les
rsultats sont indiqus dans ce tableau.
HOMMES

FEMMES

56

40

54

30

25

60

65

65

45

24

58

52

45

50

48

36
30

En utilisant ce test dgalit des esprances , vous navez qu placer (dans les
Paramtres dentre les rsultats des garons ( plage pour la variable 1 ), et le rsultat des
filles ( plage pour la variable 2 ) et vous faites OK . On obtient aussitt ce tableau :
Test d'galit des esprances:
variances gales

deux observations de

Variable 1

Variable 2

Moyenne

49,5

43

Variance

145,428571 207,5

Observations

Variance pondre

178,533333

Diffrence hypothtique des moyennes 0


Degr de libert

15

Statistique t

1,00114155

P(T<=t) unilatral

0,16631795

Valeur critique de t (unilatral)

1,75305104

P(T<=t) bilatral

0,33263591

Valeur critique de t (bilatral)

2,13145086

Vous avez ici un rsultat qui nest pas significatif (t = 1,001 infrieur la valeur critique de t,
avec ddl :15, et un probabilit alpha de 0,166). Les garons ne sont pas meilleurs en Maths
que les filles.
5- le test z de deux moyennes (dans le cas des grands chantillons).
Procdure : dans Utilitaire danalyse , cliquez test de la diffrence significative
minimale . Attention : il faut dabord calculer les 2 variances (voir statistiques
descriptives , par exemple) Puis, rentrez les donnes, et faites OK.
B.2 : Les tests de corrlation : ou la force dune liaison entre deux, ou plusieurs sries de
donnes.
1. Le test r de Bravais-Pearson
Formule : r

(x - m )(y - m )
(x - m ) (y - m )
i

(avec xi= valeurs chantillon 1, yi= valeurs chantillon 2, et m= moyenne chantillon)


On peut calculer trs facilement le r de Bravais-Pearson sous Excel:
Procdure 1: dans Utilitaire danalyse , cliquez analyse de corrlation Non
seulement vous aurez un tableau dans lequel se trouve la corrlation, mais vous pouvez
galement calculer plusieurs corrlations en fonction des sries dobservations testes (cf
coefficient de corrlation partielle entre X et Z pour y1z1, y1z2, y3z2, etc )
Procdure 2 : chercher (sur les boutons dExcel) licne fx (= Coller une fonction ), puis
cherchez la fonction statistiques, puis coefficient.corrlation , (ou encore
Pearson , cest le-mme calcul). Collez vos donnes dans matrice 1 , puis
dans matrice 2 , et faites OK : la corrlation est aussitt indique
Procdure 3 : ou ventuellement en cliquant Test dgalit des esprances : observations
paires ! En effet nous avons vu que ce test de deux moyennes va calculer non seulement
les moyennes et variances, mais galement lanalyse de corrlation entre les deux variables.
Attention, lutilisation des corrlations reste dlicate car certaines variables peuvent influencer les autres, et on
peut parfois trouver des rsultats absurdes.
Par exemple, en testant une population de lycens, des tudiants ont obtenu une corrlation surprenante : en
croisant les rsultats du saut en hauteur, et le poids des sujets, ils ont trouv une corrlation significative (r
=.60) : conclusion, plus vous tes gros, plus vous sautez haut !
Bien videmment ces tudiants avaient oubli une variable importante : celle de lge Bien sr, les petits
collgiens de 12 ans sautent gnralement moins haut que les grands lycens de Terminale, et donc la corrlation
apparente entre test et poids disparat si lon considre lge constant !
Dans ce cas, il faut alors raliser une corrlation partielle en liminant leffet de certaines variables.
Revenons notre exemple : nous trouvons r =.60 pour la corrlation A : saut/poids, mais il faut galement
calculer la corrlation B: saut/ge (ici, r = .69), et bien sr la corrlation C : poids/ge ( r = .88).
Test saut

Poids

Age

Test saut
Poids
Age

rA = .60
rB = .69

Le calcul de corrlation partielle est

rC =.88

rA ( rB.rC )

.
(1 r B ).(1 r C )
Ce qui correspond (en traduction Excel) cette formule un peu bizarre :
=(A1-(B1*C1))/((1-B1^2)*(1-C1^2))^0,5
Vous navez qu copier cette formule, et la coller sous Excel.
Il faut au pralable placer les chiffres dans les cases indiqus (A1, B1, C1).
Ainsi dans notre exemple on crit 0,60 dans A1, 0,69 dans B1, et 0,88 dans C1, puis vous collez la formule dans
une case quelconque : le calcul est aussitt ralis. La corrlation partielle donne r = -.02, cest--dire une
corrlation parfaitement nulle !

C. Les tests statistiques pour k chantillons :


La comparaison de plusieurs moyennes : La VD est ordinale, et nous voulons analyser k
chantillons.
C.1 - les tests dindpendance :
Il faut utiliser les analyses de variances (ANOVA), en analysant le croisement dune, deux
variables (ou mme plusieurs variables, avec le risque de devenir fou ! ). Il existe des logiciels
trs adapts (SPSS, Var3, Sphinx ou autres...) Mais attention la "pche la ligne" des
comparaisons multiples ! Les ANOVA multiples sont videmment intressantes, mais en
comparer sans discernement plusieurs chantillons, on peut trouver des rsultats totalement
absurdes!
En tout cas, lutilitaire danalyse dExcel permet aussi de calculer des ANOVA.
Sans tre aussi performant que certains logiciels statistiques, il est suffisant pour la plupart des
cas...
Plus exactement, Excel propose deffectuer :
-

une analyse de variance entre groupes pour 1 facteur


une analyse de variance entre groupes pour un facteur, avec des mesures
rptitives
une analyse de variance entre groupes pour deux facteurs.

1- Analyse de variance un facteur, constitu de k modalits (Plan : Sn<An>)

10

Exemple : un chercheur veut savoir si la musique peut jouer sur lapprentissage Pour cela, notre chercheur
fait apprendre des listes de mots 4 groupes dtudiants qui entendent des styles de musiques nettement
diffrents : de lopra, du flamenco, du piano classique, et du free-jazzOn note le nombre de mots mmoriss
aprs apprentissage
opra
13
15
13
14
15
10
16
14
15
13
14

flamenco
15
12
12
15
14
11
15
15
14
15

piano
12
13
10
12
14
12
16
15
12

jazz
16
12
13
14
10
11
15
12
12
16
17

Procdure : dans Utilitaire danalyse , cliquez analyse de variance : un facteur , et


comparez (en prcisant colonnes, ou lignes) ces rsultats en faisant OK.
Rsultats : on trouve sur Excel ce tableau :
Analyse de variance: un facteur
RAPPORT DTAILL
Groupes

Nombre d'chantillons

Somme

Moyenne

Variance

Colonne 1

11

152

13,8181818

2,56363636

Colonne 2

10

138

13,8

2,4

Colonne 3

116

12,8888889

3,36111111

Colonne 4

11

148

13,4545455

5,27272727

Source des variations

Somme des carrs

Degr de libert

Moyenne des carrs

Probabilit

Entre Groupes

5,39137719

1,79712573

0,52418075

0,66836743

A l'intrieur des groupes

126,852525

37

3,42844663

Total

132,243902

40

ANALYSE DE VARIANCE

Vous constatez que dans notre exprience, la musique ne semble pas affecter lapprentissage,
car les moyennes sont trs proches, et lanalyse de variance (F=0,524) nest pas
significative(p = .669)
Explication et calcul de cette analyse de la variance entre groupes, pour un facteur :
F = MC entre / MC inter : soit le rapport entre la moyenne des carrs entre les
groupes, et la moyenne des carrs lintrieur des groupes
Moyenne des carrs entre groupes = ( somme des carrs / degr de libert) entre les
groupes
Moyenne des carrs lintrieur = (somme des carrs / degr de libert) lintrieur des
groupes
2- Analyse de variance sur des moyennes dchantillons apparis (Plan : Sn*Ap)

11

Exemple : 11 sujets ont des troubles du sommeil importants, et acceptent de tester 3 traitements
pharmacologiques diffrents. Chaque individu va utiliser un mdicament durant une semaine. On comptabilise le
nombre dheures de sommeil, par nuit :
sujets
1
2
3
4
5
6
7
8
9
10
11

Mdicament 1
2
4
2
2
1
3
4
4
10
8
2

Mdicament 2
0
1
1
2
0
2
2
2
3
6
2

Mdicament 3
3
4
3
4
1
5
11
10
9
14
5

Procdure : dans Utilitaire danalyse , cliquez analyse de variance : deux facteurs, sans
rptition dexprience , et comparez
Tableau affich :
Analyse de variance: deux facteurs sans rptition d'exprience
RAPPORT DTAILL Nombre d'chantillons Somme

Moyenne

Variance

Ligne 1

1,5

1,66666667

Ligne 2

11

2,75

2,25

Ligne 3

2,25

0,91666667

Ligne 4

12

1,33333333

Ligne 5

1,75

4,91666667

Ligne 6

16

3,33333333

Ligne 7

24

15,3333333

Ligne 8

24

13,3333333

Ligne 9

31

7,75

10,25

Ligne 10

38

9,5

11,6666667

Ligne 11

20

18

Colonne 1

11

66

11

Colonne 2

11

42

3,81818182

7,76363636

Colonne 3

11

21

1,90909091

2,69090909

Colonne 4

11

69

6,27272727

16,6181818

ANALYSE DE VARIANCE
Source des variations Somme des carrs

Moyenne
Degr de libert carrs

des

Lignes

270

10

27

7,315270949,8046E-06

2,16457963

Colonnes

138,272727

46,0909091

12,48768471,7977E-05

2,92227753

Erreur

110,727273

30

3,69090909

Total

519

43

Probabilit

Valeur critique pour F

Vous constatez quil y a bien une diffrences entre les 3 mdicaments et le F et trs significatif
(12,48) (et mon avis, le mdicament 2 tait probablement un placebo !)

12

Explication et calcul de cette analyse de variance pour deux facteurs, avec des mesures
rptitives :
F= MC traitement / MC erreur
Dans cette situation paire , il y a trois calculs de sommes des carrs : la SC sujets (=
lignes ), la SC traitements (= colonnes ), et la SC interactions (= erreurs
dans linteraction sujets x traitements)
Moyenne des carrs traitement = ( somme des carrs / degr de libert) des traitements
Moyenne des carrs erreur = (somme des carrs / degr de libert) des erreurs
3- Analyse de variance, plan factoriel 2 x 2 ( ou 2 x 3, etc) : (plan : Sn<Ap x Bq>)
Procdure : dans Utilitaire danalyse , cliquez analyse de variance : deux facteurs,
avec rptition dexprience (Attention, cest un peu plus compliqu : suivez bien les
consignes !).
En pratique, vous devez raliser un tableau du type 2 x 2, placez les chantillons dans le
tableau, mettez ce tableau dans plage dentre) et indiquez le nombre dchantillons par case
dans nombre de lignes par chantillons ...
Limite : ce calcul est possible uniquement dans le cadre des plans quilibrs . En pratique,
cela veut dire que les cases doivent avoir le mme nombre dchantillons (= nombre de lignes
par chantillons)
Exemple : 36 futurs policiers, hommes ou femmes, ont tous pass des tests psychologiques avant de commencer
leur stage. Aprs le premire semaine deffort, ils doivent dcider sils arrtent ou continuent leur stage.
Exactement la moiti du groupe (hommes et femmes) dcident darrt. Nous avons donc 4 groupes quilibrs de
9 personnes, et le psychologue veut savoir si la dcision est lie : 1er : au sexe, 2me : lanxit (en utilisant les
rsultats du test danxit).

hommes

femmes

arrt

poursuite

12

19

19

18

25

15

21

18

18

17

22

15

12

14

20

17

18

14

21

21

20

12

14

14

15

16

21

14

21

10

18

15

20

10

18

Rsultat sur le tableau Excel :

13

Analyse de variance: deux facteurs avec rptition d'exprience


RAPPORT DTAILL arrt

poursuite

Total

Nombre d'chantillons 9

18

Somme

167

147

314

Moyenne

18,5555556

16,3333333

17,4444444

Variance

18,5277778

3,5

11,6732026

Nombre d'chantillons 9

18

Somme

168

120

288

Moyenne

18,6666667

13,3333333

16

Variance

15,25

18

hommes

femmes

Total
Nombre d'chantillons 18

18

Somme

335

267

Moyenne

18,6111111

14,8333333

Variance

12,0163399

11,2058824

ANALYSE DE VARIANCE
Somme
Source des variations carrs

des Degr
libert

de Moyenne
carrs

des
F

Probabilit

Valeur critique pour F

chantillon

18,7777778

18,7777778

1,69636136 0,20206088

4,14908641

Colonnes

128,444444

128,444444

11,6035132 0,0017919

4,14908641

Interaction

21,7777778

21,7777778

1,96737767 0,17035434

4,14908641

A l'intrieur du groupe 354,222222

32

11,0694444

Total

35

523,222222

Explication et calcul de cette analyse de variance pour deux facteurs, entre deux groupes :
Trois tests F sont proposes dans ce cas : le F de leffet principal du facteur A (ici, le facteur
sexe ), le F de leffet principal du facteur B (facteur dcision ), et le F de linteraction A
x B.
FA = MC A / MC intrieur
FB = MC B / MC intrieur
FAxB = MC A x B / MC intrieur
Avec Moyenne de carrs intrieur = (somme des carrs / degr de libert) des variations
lintrieur du groupe. Notons que sous Excel, les 3 moyennes de carrs MC A , MC B
et MC A x B sont appels respectivement chantillon , colonnes , et interaction
Dans cet exemple, on constate donc que le facteur dcision est dpendant au niveau
danxit. Par contre les autres facteurs ne sont pas significatifs : il ny a pas de diffrence
entre les deux sexes
C.2 - les tests de corrlation :

14

Un autre type danalyse multivarie : la rgression linaire.


Lanalyse de rgression linaire utilise la mthode des moindres carrs pour tracer une
droite sur lensemble dobservations, et analyse lincidence des variables indpendantes sur la
variable dpendante unique. (Par exemple, vous voulez savoir si le poids des individus varie
en fonction de la taille, et de lge, etc)
Dans le cas dune rgression deux variables, lquation est donne par Y = a + bX
Avec Y = la variable de critre, X = la variable de prdiction , a = la constante de
rgression, et b = la pente.
Si X correspond la moyenne de X, r correspond au coefficient de corrlation, et Sy lcarttype de Y, la constante a = Y bX , et la pente b =
formule pas trop complexe : Y Y r

Sy
, cela donne finalement une
Sx

Sy
.X
Sx

(Mais cela se complique beaucoup dans le cas dune rgression multiple, puisque lquation
de rgression devient Y = b0 + b1X1+ b2 X2++BnXn ! Eh bien, sachez que le brave
Excel peut prendre en compte jusqu 16 variables de prdiction)
Procdure : dans Utilitaire danalyse , cliquez rgression linaire . Indiquez les donnes
pour la variable Y, et pour la (ou les) variable(s) X, et faites OK
Les rsultats affichs sont :
- le coefficient de dtermination multiple (dans le cas deux variables, cela correspond
simplement au coefficient r de corrlation de Pearson)
- le coefficient de dtermination R (indiqu bizarrement en R^2 : voir les symboles de calcul
dExcel* =multiplication, ^=puissance, etc. ) : il donne une ide du % de variabilit de la
variable modliser, et plus le coefficient R est proche de 1, plus il y a une corrlation et
meilleur est le modle (et le coefficient de dtermination R ajust reflte, dune faon plus
fidle, le degr de cette relation linaire la population)
- lanalyse de la variance : elle indique la rgression (= le modle) en indiquant le F de
Fischer, et les rsidus . Par exemple la rgression correspond la variation de taille qui
sexplique par sa relation avec le poids . Et au contraire, les rsidus (ou variation
rsiduelle) reprsente la variation de la taille qui ne peut sexpliquer par le poids .
Attention, cette ANOVA est particulire : elle teste si la moyenne de la variable modliser
(le poids, par ex.) suffit dcrire les rsultats obtenus Bref, les variables explicatives
apportent (ou non) une quantit dinformation significative au modle. Si F est significatif,
cela veut dire que la pente de la droite de rgression diffre de 0, et donc nous admettons
quil existe une relation linaire significative entre le 2 (ou plus) variables.
-lcart-type et le test de Student : pour la (ou les) variables X (le poids, et la taille, par ex.) en
lien avec le modle. Il faut considrer non le t de la constante, mais plutt le t des
variables X (. Sintresser galement aux limites (suprieures et infrieures) pour un seuil de
confiance de 95%

15

D- Les procdures de validation des questionnaires et des chelles :


Les chelles et les questionnaire sont trs utiles lorsque lexamen porte sur un grand nombre
de sujets. Mais il faut dterminer le degr de spcificit des instruments utiliss. En effet une
mesure ne doit pas tre contamine par des composantes derreurs. Une attention
particulire est donc porte la validit des outils construits.
Un test souvent cit, le coefficient alpha de Cronbach, est un indicateur trs utilis de la
fiabilit et de la cohrence interne des chelles, qui est fonde sur la corrlation moyenne
des lments. Il est prsum que les lments sont en corrlation parce quils visent mesurer
un concept commun.
Ce coefficient est dfini comme le pourcentage total de la variance relle parmi la variance
observe dune mesure. Il est calcul selon la formule suivante :

k
i
k
i 1

1
k 1

chelle

Dans cette quation, k est le nombre ditems, i est un item, i est la variance de litem et
chelle est la variance des scores obtenus.
(Notons quon trouve parfois une forme alternative de calcul du coefficient alpha :

kr
1 r ( k 1)

_
o k est le nombre ditems de lchelle et la corrlation inter-items moyenne).
Application du test de Cronbach:
Il est trs facile de calculer ce coefficient sous Excel (et sans devoir acheter des logiciels trs
spcialiss !)
Un exemple : nous avons dcid de construire un questionnaire concernant les facteurs stressants en milieu hospitalier.
Nous voulons vrifier la fiabilit de ce questionnaire form par 4 questions ( items ), en le proposant 11 infirmires.
Les sujets ( rpondants ) indiquent leur choix grce une chelle ( 1 6).

Rsultats :
rpondants
1
2
3
4
5
6
7
8
9
10
11

Variances :

ITEM 1
2
1
2
3
2
2
1
2
3
3
2

0,49

ITEM 2
3
2
2
3
2
3
2
3
4
3
2

0,45

ITEM 3
2
1
1
2
1
2
1
1
2
2
2

0,27

ITEM 4
4
3
3
4
5
5
3
3
6
6
5

1,41

SCORE (total)
11
7
8
12
10
12
7
9
15
14
11

7,07

16

(Vous pouvez sans difficult calculer ces variances pour chaque colonne dans lutilitaire
danalyse (par exemple avec analyse de variance 1 facteur , ou encore
dans statistiques descriptives ...)
Variances
0,49090909
0,45454545
0,27272727
1,41818182
2,63636364
7,07272727

Variance des 4 items

Somme des variances


Variance des
scores obtenus

Rappel de la formule : = ( k/k-1) . (1-(var.k/ var.t))


Ce qui donne, sous Excel : =(4/3) * (1-(2,636 / 7,072))= 0,836
Et dans notre cas, lalpha de Cronbach indique une fiabilit suffisante (suprieur .80)
Le coefficient alpha de Cronbach qui se rapproche de la valeur 1 dnote une cohrence
parfaite entre les lments. Le niveau suggr de fiabilit est typiquement de 0,80 ou
suprieur; toutefois, cela peut varier selon le type de donnes.
Autre procdure : si vous prfrez lautre formule (

kr
), il faut alors utiliser le test de
1 r ( k 1)

corrlation de Pearson dans utilitaire danalyse .


Rsultat
Colonne 1
Colonne 2
Colonne 3
Colonne 4

Colonne 1
1
0,71206533
0,67082039
0,68640647

Colonne 2

Colonne 3

Colonne 4

1
0,61967734 1
0,50952467 0,70164642 1

Vous devez ensuite calculer la somme des corrlations (en valeur absolu, SVP, car des corrlations peuvent tre
ngatives !), puis vous calculez la moyenne.
Dans notre cas, nous trouvons une somme = 3,900. Donc = 3,9/6=0,65.
Calcul : =(0,65*4/(1+(0,65*3)). Donc = 0,881

17

3. Utilisation pratique des tests statistiques non-paramtriques


Comme nous lavons dj signal, les mthodes paramtriques tudies postulent
implicitement la normalit des variables traites. Mais en pratique, et en particulier dans le cas
des petits chantillons, les histogrammes obtenus sont gnralement trs loin dune
distribution dite normale . On peut alors utiliser des tests non-paramtriques .
Comme dans le cas des mthodes paramtriques, les mthodes non-paramtriques sadressent
soit un chantillon, soit deux chantillons (chantillons indpendants, ou chantillons
apparis), soit encore k chantillons. Il faut galement spcifier les caractristiques de la
variable : variable nominale, ou variable ordinale.
Vous connaissez dj lemploi du Khi2 (ou plutt le ), un test qui permet de comparer une
caractristique exprimentale (un effectif brut), un valeur thorique.
Ce test est adapt aux variables nominales , et qui impliquent une relation dquivalence
(satisfait, non-satisfait, etc). Mais il existe aussi dautres mthodes galement puissantes,
qui traitent des variables ordinales , et qui sont trs adaptables des cas particuliers.
Les mthodes non-paramtriques sont des statistiques dordre . Dans le cas des variables
ordinales, elles nutilisent plus les donnes dorigine, mais seulement leur rang aprs un
classement appropri.
Au niveau calcul informatique, nous avons utilis un logiciel free permettant de calculer
ces fameux tests en utilisant Excel. (Fini la corve du calcul des rangs, et des effectifs
thoriques !)
Vous pouvez trouver ce macro dans hdelboy.club.fr/Nonparam.htm
Activez ce macro des test non-paramtriques. (Un message quelque peu angoissant vous
indique les macros peuvent contenir des virus , etc. Pas de panique ! Il faut simplement
accepter, et activer les macros ) En pressant la fois Ctrl et A , vous avez un
choix important de tests.

18

A. Lanalyse de variables nominales:


1- le test du Khi : tude dun ou deux chantillons indpendants
Le est un test parfait pour analyser plusieurs chantillons variables nominales.
(ni n' i )
Formule du Khi : X
(avec ni = effectif thorique)
n' i
Le Khi, avec correction de Yates : X

( ni n' i 0,5 )
n' i

Grce au logiciel free des tests non-paramtriques, lutilisation du devient trs facile
puisque les effectifs thoriques sont aussitt calculs.
Exemple : 127 tudiant(e)s (70 hommes et 57 femmes) ont respir lodeur dun tee-shirt port par un garon pendant une
nuit. Les sujets doivent juger cet odeur, en le qualifiant soit en agrable ou en dsagrable .

Le test dindpendance du est tout fait appropri.


H
Agrable
Dsagrable

23
47

F
36
21

Marche suivre : copiez ces rsultats, puis activez ce macro test non-paramtriques.
En pressant la fois Ctrl et A , vous avez un choix important de tests.
Dans notre cas, cliquez Contingency table ,
La bote de dialogue suivante apparat :

19

Collez votre tableau dans imput data (si vous le souhaitez, vous pouvez mme ajouter
H et F dans label column , et agrable-dsagrable dans label rows )..., puis
cliquez sur OK .
Un petit rappel concernant la formule des n thoriques Ainsi pour le 1re case, la formule de
ni est : ((23+47)x(23+36)), rapport la somme totale=127, donc ni= 32,519, etc.
Le logiciel calcule automatiquement ces effectifs thoriques, et le rsultat du est aussitt
indiqu (avec ou sans correction, selon le cas).
(ni-ni)/ni , soit ici :

H
agrable
2,79
dsagrable 2,42
nji
5,21

F
3,42
2,97
6,39

nij
6,21
5,39
11,6

(23 32,52)/32,52

Contingency table
ddl
1
chi2
11,596
p
0,001

Dans notre cas, la diffrence est trs nette ( = 11,596, p .001) . Donc une majorit
dhommes trouvent cette odeur dsagrable, alors quun certain nombre de femmes la
trouvent plutt agrable.
Je vous rappelle que le est le test des variables nominales. Puissant et trs employ, il
peut tre utilis pour 1, 2, ou plusieurs chantillons indpendants.
2- le Mac Nemar : Dans le cas des chantillons apparis, il faut utiliser le Mac Nemar
qui analyse le changement dans les plans avant-aprs (consultez les ouvrages de
statistiques).
( a d 1)
Formule du de Mac Nemar : =
ad

APRES
+
B

Avec une table carre 2x2, de type :


AVANT

Ce calcul est trs facile. Mais mon avis, il est prfrable de le faire la main car
paradoxalement la manipulation du logiciel est beaucoup plus dlicate !
Exemple : la vision dune mission la tl peut-elle amen un changement dattitude ? Pour le savoir, on demande 125
personnes leur attitude lgard dune mesure prendre. Avant lmission, 40 se prononcent en faveur de la mesure, alors
que 85 sont contre. Aprs lmission, cette fois 70 sont pour la mesure, et 55 contre.

Tableau :

20

aprs
non
avant oui 5
non 50
total 55

oui
35
35
70

total
40
85
125

Calcul : ( sous Excel, videmment !) : = (30-1)^2/(5+35)


Soit : de Mac Nemar = 21,02 (ce qui est significatif .001 : il y a bien une influence sur
lattitude des sujets !)
3- le test Kolmogorov-Smirnov : la diffrence du , le test Kolmogorov-Smirnov est le
test des variables ordinales.
Cest surtout un test dajustement dune distribution. Cette preuve permet de vrifier sil
existe une concordance entre une distribution de notes observes , et une distribution
thorique .
Exemple pour 1 chantillon: on a demand 10 sujets dexprimer leur prfrence lgard de 5 dessins du
mme objet, mais qui sont plus ou moins flous. Peut-on estimer que les sujets manifestent une tendance
significative en faveur dun dessin ?
Rang de dessins =

1
2
3
4
0
1
0
5
Explication du calcul : le test va comparer les deux distributions :
Distribution
1/5
2/5
3/5
4/5
Nombre de sujets

cumule thorique
Distribution
cumule observe

0/10

1/10

1/10

6/10

5
4
5/5
10/10

Si la distribution thorique est appele Fn(x), et si F(x) est la distribution observe, le test
calcule la plus grande des dviations. Si les diffrences sont faibles entre Fn(x) et F(x), on
suppose que les variations sont alatoires et lhypothse nulle est accepte.
Formule: D = maximum Fn(x) F(x)
La distribution D est compare une table (notons que la signification dune valeur de D
dpend de la taille N de lchantillon.)
Marche suivre : vous devez d'abord mettre vos donnes en 2 colonnes. L'une indique le
rang -ou la srie- (que vous placez dans "Labels"), et l'autre colonne indique le nombre de
sujets qui ont rpondu selon le rang (dans "input data").
N'oubliez pas d'indiquer dans notre cas "one sample test". Vous devez galement estimez
votre hypothse formule: bilatral, ou unilatral ? ("1 tailed", "2 tailed"?). Puis faites OK.
Le test de Kolmogorov-Smirnov calcule aussitt la dviation maximale (D), le nombre de
rang, et le nombre de sujets N.
=2/5 (Distribution
Fn (x)
0,2
0,4
0,6
0,8
1

F (x)
0
0,1
0,1
0,6
1

d
0,2
0,3
0,5
0,2
0

cumule thorique)

=1/10 (Distribution
cumule observe)

21

Kolmogorov-Smirnov
one sample
Dk
0,5
n rank
5
N
10
m
2
p
p < 0.01
D critical
0.05
0,41
D critical
0.01
0,49

for

Il indique aussi si le rsultat est significatif deux valeurs critiques (D pour .05, et D pour .
01). Enfin, (et en couleurs, petits veinards !) il calcule automatiquement, sous forme d'un
graphe, la courbe de la distribution de frquences cumules.
Dans notre exprience, on trouve Dk = 0,5 (=5/10), et ce rsultat est significatif (p<.01). Cela
veut dire finalement que les choix des dessins ne sont pas alatoires, nos sujets prfrant
lobjet plutt flou

B.Les tests statistiques non-paramtriques pour deux chantillons:


1- Le test de Wilcoxon : un test pour chantillons apparis
Exemple 1 : variables ordinales, deux chantillons apparis
Imaginons que nous avons ralis un test de rapidit effectu selon deux conditions (matin, et soir), par 11 sujets
identifis.

matin 23
soir
17

36
21

45
16

26
16

30
11

19
22

23
23

40
26

29
18

34
32

38
28

Nous sommes alors dans le cas de deux chantillons apparis, variable ordinale .
Apparemment, pour certains sujets la note du test du matin est suprieure au retest du soir.
Mais cette diffrence est-elle significative ? Dans tous les cas, les tests classiques
paramtriques proposent une comparaison des moyennes, et/ou un rapport de variances.
Quels sont les tests non-paramtriques adapts dans ce cas ?
Le test de Wilcoxon est une adaptation la comparaison de deux moyennes, pour deux
chantillons apparis. Il calcule les diffrences (positives et ngatives), le traduit en rang, puis
compare la distribution de la somme des rangs pour les deux chantillons, et estime la
diffrence observe. (pour plus de prcision -calcul, formules, etc.-, consultez la
bibliographie)
En utilisant le mme logiciel test non-paramtriques, en pressant la fois Ctrl et
A vous trouvez facilement le test Wilcoxon.
Par un coller-copier (en colonnes, SVP 2), placez ces chiffres dans Input range , et
faites OK
2

Pour passer de ligne en colonne sous Excel, copiez vos donnes, et slectionnez un emplacement, puis
dans Edition , choisir Collage spcial , puis Transpos , et cliquez OK.

22

Ce qui donne lcran ce tableau

Wilcoxon rank test

rank diff.

rank +

Np

10

15

Mx

31,18

29

10

My

20,91

10

4,5

P+

53

19

P-

-3

P0

T the.

27,5

14

varT

96,25

11

2,599

p < 0.01

10

4,5

ties

rank -

critical value Pmin 5%8


critical value Pmin 1%3
Sign Test
S+

S-

S min

S max

H1bil.

0,011

H'1 uni

0,999

Son calcul nous montre que la comparaison entre le test, puis retest donne une diffrence
significative. (Nous obtenons P- = 2: or la table des valeurs critique de lpreuve de Wilcoxon
indique 8 pour p = .05, et 3 pour p = .01). Le rsultat est significatif p <.01
A noter : le logiciel ajoute une valeur de statistique plus pratique, en utilisant une
approximation normale: e = 2,599, qui correspond au t de Student.
Par ailleurs, il y a une correction pour le cas des 2 ex-aequo (cf le terme ties ).
Version paramtrique
Si vous voulez absolument utiliser un test paramtrique, il faut choisir le test de Student : test de deux moyennes
dchantillons apparis. Aprs calcul, on trouve t = 3,73 galement sign. .001

2- Le test de Mann-Whitney : un test pour chantillons indpendants


Le test de Mann-Whitney est ladaptation aux techniques du t de Student en estimant une
comparaison entre deux chantillons indpendants.
Exemple 2: variables ordinales, deux chantillons indpendants

(Un exemple montrant la ncessit dutiliser un test non-paramtrique)


Soit une srie de rsultats :
A
23
23
36
B
22
17
21

45
16

26
16

30
11

8
22

42
132

40
26

29
18

34
32

38
28

23

Supposons que ces deux sries, A et B, correspondent aux rsultats de deux groupes de 24 souris : A= 12 souris
stresses et B= 12 non-stresses.

Nous sommes dans une situation de deux chantillons indpendants, variable ordinale .
Les chiffres obtenus correspondent au temps ( en secondes) du parcours dun labyrinthe.
Ces diffrences entre les groupes sont-elles significatives ?
Vous constatez quelques anomalies au niveau rsultats. Ainsi une souris (du groupe A) a
parcouru trs rapidement le labyrinthe (8s), alors quune autre (du groupe B) a beaucoup
flemmard car elle a dpass plus de 2 minutes
En pratique, cette situation comportementale est souvent observe en thologie. Mais bien
videmment, nous sommes loin dune loi normale !
En observant les rsultats, il semble nanmoins que les souris A ont un parcours plus long que
les B. Cependant ces diffrences sont-elles significatives ?
Dans ce cas prcis, un test paramtrique de comparaison de moyennes serait trs
discutable, prcisment cause de ces deux sujets hors normes . Il faut ici utiliser un test
non-paramtrique par rang, qui va videmment neutraliser ces chiffres excessifs sans
modifier la situation exprimentale.
(A noter : les 2 chantillons nont pas besoin dtre identiques). On considre la somme des
rangs observe dans les deux groupes (R1 et R2) et le nombre de sujets (N1 et N2) et grce
un calcul simple (voir les ouvrages statistiques), le nombre U le plus faible est compar
sa valeur critique.
n1(n1 1)
U n1n 2
R1,
2
Formule :U. de Mann et Whitney :
n 2(n 2 1)
ouU ' n1n 2
R2
2
Avec R= le total des rangs des notes obtenues par lchantillon
Marche suivre : En pressant la fois Ctrl et A , vous trouvez facilement le
Mann-Whitney.
Par un coller-copier toujours en colonnes-, placez ces chiffres dans Input range , et
faites OK
Aussitt, le test de Mann-Whitney est calcul : on trouve droite le calcul des rangs, et gauche
le rsultat final.

Mann Whitney test


N
nx
ny
Uxy
Uyx
Uo
s2U
mxy
myx
rank S xy [Wx]
rank S yx [Wy]
M rank xy

24
12
12
110,5
33,5
72
300
31,17
30,08
188,5
111,5
15,71

rank x
10,5
10,5
19
23
12,5
16
1
22
21
15
18
20

rank y
8,5
5
7
3,5
3,5
2
8,5
24
12,5
6
17
14

24

M rank yx
9,29
e
2,223
critical value of U 5%37
critical value of U 1%27
p
0,0262
corrections for ties yes
ties
8
s2U
299,478261
e
2,22473393
p
0,0261

e= approximation normale
du t de Student

On trouve U=33,5, ce qui indique ici une diffrence significative (probabilit de p=.026)
Il faut noter que le logiciel ajoute une valeur de statistique plus pratique, en utilisant une
approximation normale: e = 2,223, qui correspond au t de Student.
Par ailleurs, il y a une correction pour le cas des ex-aequo (cf le terme ties ). Toutefois ces
8 ex-aequo ne changent pas le rsultat final.
-------------------------------------------------------------------------------------------------------------Version paramtrique
On pourrait thoriquement calculer le rapport de variances (F-test), avant une comparaison de deux moyennes.
(Vous pouvez facilement calculer le F. de Snedecor sous Excel : dans Test dgalit des variances ). Toutefois
dans notre cas si le F est significatif, ce rsultat napporte rien ! Il montre simplement une diffrence de
variances par suite de ces deux chiffres hors normes : mais cela nindique pas que les sujets stresss sont
moins rapides. Dans notre cas, seul un test non-paramtrique est adapt. Et si vous voulez absolument utiliser
un test paramtrique, il faudrait alors ignorer , et liminer les deux sujets qui vous posent problme !
-------------------

Notons quil existe dautres tests non-paramtriques pour 2 chantillons indpendants: le test
Wald-Wolfowitz, ou le Moses test of extreme reactions qui donnent des rsultats
comparables au Mann-Whitney. Ces deux tests sont prsents dans ce logiciel. Pour plus de
prcisions (explications, formules) consultez les ouvrages spcialiss.
Je donne un autre exemple:
Des tudiants ont observ dans une cole maternelle les comportements agressifs, en sparant deux groupes : les
garons et les filles. Les scores sont reprsents dans ce tableau :
garons 86
filles
55

69
40

72
22

65
58

113
16

65
7

118
9

45
16

141
26

104
36

41
20

50
15

Rsultats : le test Mann-Whitney indique e = 3,81 (p.0001) ; de mme le test Wald-Wolfowitz


indique z = -3,54 (p.0003). Il y a donc une nette diffrence entre les garons et les filles (
encore une exprience qui va renforcer les strotypes des genres !)

3- Le test de Kolmogorov-Smirnov pour 2 chantillons :


Variables ordinales, deux chantillons indpendants, deux distributions.

Le test de Kolmogorov-Smirnov (pour 2 chantillons) vise dterminer si les 2 chantillons


ont t tirs de la mme population ayant la mme distribution. Comme dans le cas dun
chantillon, on cherche vrifier laccord entre 2 distributions cumules, cest dire la
comparaison entre 2 sries de valeurs cumules.

25

Exprience : Nous voulons vrifier si une information contre le danger de lalcool peut amliorer la vigilance
des jeunes conducteurs. Pour ce faire, nous comparons deux populations de ftards trouvs dans 2 discothques.
Dans la discothque A, les jeunes ont vu une vido montrant un accident de voiture aprs une soire arrose.
Dans la discothque B, les jeunes nont pas eu dinformation. Au petit matin, tous les sujets des deux populations
passent une exprience de temps de raction.

Rsultats : (nombre de sujets, selon les 13 sries de temps de raction)


20
30
40
50
60
70
80
90
100 110

120

130

140

A
B

0
0

0
2

0
1

Temps
(en ms)

2
0

1
0

4
0

0
2

2
3

1
2

1
1

1
0

1
2

0
0

Marche suivre : Par un coller-copier (ici, en colonnes, SVP 3), copiez ces rsultats: vous
rentrez vos donnes A et B en colonnes dans "input data", mais en plus il faut indiquer (dans
"labels") la srie des 13 situations. N'oubliez pas d'indiquer "two sample test" ! Puis faites
OK.
Le test calcule aussitt Kd, et vous aurez en plus des beaux graphiques reprsentant les deux
distributions cumules, ainsi que la dviation observe.
On obtient Kd=7, pour N=13 (ce qui correspond la diffrence la plus grande entre les 2
distribution dviation observe : D max = 0,538 (= 7/13, ce qui correspond 3 me intervalle =
40ms).
La table nous indique que ce chiffre est significatif .05 : on peut donc admettre quil y a bien
une diffrence entre les deux groupes (test bilatral), et mme on peut accepter lhypothse de
supriorit du groupe A (test unilatral) : les sujets ayant visionn la vido ont un meilleur
temps de raction (= vraisemblablement, ils ont moins bu !)
4. Le Test de la mdiane (ou Mood test )
Il s'agit du test du signe, adapt deux chantillons mais ce test de la mdiane peut tre tendu
plusieurs groupes. On calcule la valeur mdiane de la distribution. Cette preuve indique si
deux chantillons indpendants (nayant pas forcment la mme taille) ont t tirs au hasard
du mme ensemble-parent. Les chantillons ont-ils des indices de tendance centrale diffrents
(dans ce cas, on va utiliser un test bilatral), ou veut-on vrifier si la mdiane dun chantillon
est plus lev que celle de lautre ? (dans ce cas, on utilise le test unilatral).
Exemple : deux petits groupes dtudiants (C et D) ont suivi un enseignement de statistique. Les deux groupes ont

pass le mme examen de statistiques, corrig par le mme professeur. Les rsultats sont-ils identiques, ou peut-on
dire quun groupe est meilleur que lautre ?
C
13
12
16
10
10
10
8

D
15
16
15
9
15
14
14

Pour passer de ligne en colonne sous Excel, copiez vos donnes, et slectionnez un emplacement, puis
dans Edition , choisir Collage spcial , puis Transpos , et cliquez OK.

26

9
8
10

14
13
13
6
7

Marche suivre : indiquer dans label les 2 sries (C et D), puis vous rentrez vos donnes
A et B en colonnes dans "input data". Cliquer one tailed , censor x=median , et
compute chi-square . Puis faites OK. Aussitt, la mdiane est indique (ici : 12,5), et le
calcul du Khi est effectu.
C

x < 12.5

11

x > 12.5

11

10

12

22

Contingency table
ddl

chi2
p

6,6
0,005

La diffrence est significative : vu les rsultats de lexamen, les tudiants du groupe D ont des
meilleures notes que celles du groupe C .
Notons que si les groupes taient plus importants, on pourrait videmment utiliser un test des moyennes. Mais si
vous utilisez le t de Student (test paramtrique), la diffrence nest pas significative (malgr des moyennes bien
diffrentes : 10,6 et 12,5 !) Par contre en utilisant le test Mann-Whitney, la diffrence redevient significative
Do limportance dutiliser les tests non-paramtriques pour les petits chantillons !)

C. Les tests non-paramtriques pour k chantillons :


Pour mmoire, vous pouvez sans difficult utiliser le test du dans le cas de k chantillons
indpendants et variable nominale. De mme les chantillons variables ordinales peuvent
tre traits par le test de la Mdiane comme nous venons de le voir, mais son extension k
chantillons conduit une perte dinformation. Il existe nanmoins des tests plus puissants.
Exemple : Nous avons fait pass un test cognitif 3 groupes dtudiants: 5 prfrence visuelle , 5
auditifs , 4 mixtes
V (visuels)
A (auditifs)
M (mixtes

50
26
46

62
32
44

52
34
39

55
20
45

51
22

Comment peut-on analyser ces rsultats ? Seule une analyse de variance est possible.
1-le test Kruskal-Wallis correspond une analyse de variance non-paramtrique.
Tous ces chiffres seront remplacs par son rang, et le test nous indiquera si les diverses
sommes des rangs sont suffisamment diffrentes pour tre significatives.
k
12
R j
H

3(n 1)
Formule :

n(n 1) j 1 nj
avec : k = nombre dchantillons

27

n = leffectif total =

k
j1

nj

Rj = la somme des rangs dans le j me chantillon.


note : si k>3 et /ou si nj >5, le calcul de la quantit H sera compar Khi au seuil choisi.
Marche suivre : Copiez les rsultats proposs, le transformez en 3 colonnes, en indiquant
les 3 tiquettes, V, A, M (ou A, B, C, si vous voulez). Collez ces donnes dans le test
non-paramtriques , pressez la fois Ctrl et A , et vous trouvez facilement le test
de Kruskall-Wallis

Inscrivez dans labels of the data 1es 3 tiquettes, puis saisir les donnes dans input
range , et faites OK.
Rsultat affich : un tableau indique le calcul des rangs, et le test statistique :
V (visuels)

A (auditifs)

M (mixtes

10

14

12

13

11

V (visuels)

A (auditifs)

M (mixtes

54

27

44

rank sum

60

15

30

rank average

12

7,5

ties

11,571

Q corr.

11.571 | 5% > :5.643 | 1% > :7.791

p < 0.01

sample size

14

count
average

Le rsultat est significatif : Q= 11,57 p < 0.01. (on trouve dans la table 5,6 pour p= .05, et 7,8
pour p= .01 (Il y a une diffrence significative entre les visuels , mixtes et auditifs ).
----------------------------------------------------------------------------------------------------------------Version paramtrique
Si vous prfrez faire un ANOVA paramtrique sous Excel, allez dans Outils , cherchez Utilitaire
danalyse , cliquez analyse de variance : un facteur , et comparez (en prcisant colonnes, ou lignes) ces
rsultats.

28

----------------------------------------------------------------------------------------------------------------2- le test Jonckheere-Terpstra


Alors que le test de Kruskal-Wallis permet de mesurer une diffrence entre plusieurs
moyennes, sans prjuger de leur ordre, cette ANOVA non-paramtrique de Jonckheere permet
de mesurer un ordonnancement de diffrentes moyennes, pourvu que ces chantillons soient
indpendants. Les moyennes sont calcules par rang. A partir de k chantillons, on construit
un tableau o les rangs sont envisags deux deux, par un test U (cf. le test de MannWhitney)

puis J sera compar une table (mais ce test nest pas souvent prsent dans les ouvrages !),
ou alors vous pouvez utiliser cette formule dapproximation quelque peu impressionnante :

Heureusement, le logiciel calcule automatiquement cette formule !


Ce test est utiliser pour valuer (par exemple) un effet dose .
Exemple : nous devons tester 4 mdicaments stimulants en utilisant 39 souris de laboratoire. Les scores
obtenus correspondent lactivit exploratoire des rongeurs ayant reu la drogue.
mdi. A

mdi.B

mdi.C

mdi.D

12

23

25

23

14

32

78

25

21

35

56

45

24

32

25

54

21

45

12

63

25

65

120

45

50

52

130

54

90

65

98

120

110

120

120

97

26

56

100

Cette ANOVA est particulire puisquelle range les diffrentes moyennes obtenues. La
procdure est simple : vous inscrivez dans labels of the data 1es 4 tiquettes, puis saisir
les donnes dans input range , et faites OK.

29

Rsultats :

Nombre des sujets

Jonckheere - Terpstra test


N
39
levels
4
ni
9 | 9 | 11 | 10
mi
40.78 | 52.11 | 71.82 | 58.2
J [x | | ]
352.5 | 284.5 | 39.87
J*
1,705
p
0,044
critical exact value for J [5 | 1 | 0.5] %not available

Moyennes des 4
scores
valeur ; moyenne ; carttype

Le test est donc significatif p=.04 : le mdicament C est le plus efficace, puis le D, puis le
B Pourtant si vous dcidez dutiliser le test Kruskal Wallis, ou encore un test paramtrique
(ANOVA 1 facteur), les rsultats seraient non-significatifs (Q = 5,19 n.s, et F = 1,29, n.s).
3- le test de Friedman: un exemple dtude de K chantillons apparis.
Dans le cas des mesures apparies (ou mesures rptes), lappariement peut tre ralis
partir de caractristiques du sujet (ge, sexe, niveau, etc.) ou bien on peut considrer les
mmes sujets dans des conditions diffrentes (rplication dexpriences, etc.)
Les colonnes reprsentent les diverses conditions, et les lignes reprsentent les diffrents
sujets (ou sries apparis de sujets).
Exemple : nous devons analyser 6 sujets, qui vont passer 4 tests diffrents. Nous allons nous intresser au
nombre derreurs effectues pendant le test.

Test A
Sujet 1
Sujet 2
Sujet 3
Sujet 4
Sujet 5
Sujet 6

10
5
10
15
12
14

Test B
10
8
8
4
11
10

Test C
15
8
10
18
11
21

Test D
10
5
10
9
8
4

Dans ce cas, on peut utiliser le test de Friedman qui correspond une version nonparamtrique de lanalyse de variance deux facteurs.

30

Tous ces chiffres par sujets sont transforms en rang, puis on compare la somme des rangs
obtenus pour chaque situation, la somme thorique. La loi de probabilit de Friedman est
proche de celle du Khi2.
12
Formule du test de Friedman : X
( Rj ) 3N (k 1)
Nk ( k 1)
Avec : N= nombre de lignes, k= nombre des colonnes
Rj= somme des rangs de la jme colonne
Et nous indiquent quil faut additionner les carrs des sommes des rang de toutes les
colonnes.
Marche suivre : chercher dans le test non-paramtriques le test de Friedman, puis
entre . (Ce nest pas utile de cocher le Pages test , ni le Kendalls coefficient qui
sont galement proposs).
Dans input label treatment , indiquez lappellation des 6 sujets (colonne). Dans
input label block , indiquez les 4 situations (ligne : tests A, B, C, D). Collez les donnes
dans input range , et faites OK.
Rsultat affich : un tableau indique le calcul des rangs :
Sujet 1

Sujet 2

Sujet 3

Sujet 4

Sujet 5

Sujet 6

total Ri

1,5

16,5

3,5

2,5

12

3,5

2,5

21

1,5

10,5

Et le rsultat du test :
Friedman's Test
N

24

N (=t)

k (=b)

SRj2

967,5

Fr (3, 15)

4,25

0,02329

F= analyse de variance 1
facteur sur donne ralis
sur la base des rangs

critical value 5% 7,6


ties

12

corr. for ties

0,817

T'

8,265

p'

0,04084

Test de Friedman

Dans notre cas il y a une correction pour les ex-aequo (cf le terme ties ). Ici, nous avons 12
ties . Au final, aprs la correction le rsultat reste significatif (T= 8,26, p= .04).
4- Le test de Page (Pages test) :

31

Ce test est utilis dans des circonstances spciales: les tests d'apprciation . Ce test est
congnre du test de Jonkheere - Terpstra, (il mesure un ordonnancement de diffrentes
moyennes), ceci prs qu'on l'emploie dans le cas d'chantillons apparis.
Sa logique est simple : Hypothse nulle : Ho= A=B=C, etc. Alors que H1= A>B>C, etc.
Par exemple, on ajoute un excipient un mdicament en sorte d'amliorer le got, et on
souhaite apprcier l'effet de cette dose sur le jugement. C'est dans ces cas que la statistique de
Page est conseille. Elle est dfinie par L, o :
Explication : L reprsente la somme
des j rangs Rj, de j = 1 k. k est le
nombre de blocs , exactement comme dans le test de Friedman.
Dans le cas o le nombre de blocs k est infrieur 10, on consulte une table spciale. Audel, la formule employer est :

o L* est l'approximation normale de L, ds que k > 10 ; elle suit une loi de Khi 2 1 ddl. n
est le nombre d'observations (attention : il doit y avoir le mme nombre chaque colonne) et
k est le nombre de blocs .
Si nous reprenons lexemple prcdent (test de Friedman), vous cochez le Pages test en
suivant les mmes consignes :
Page's Test
N (= t)
k (= b)
L
m
s
SL
p

6
4
145,5
150
7,071
0,636
NS

Ici, SL = L*
L* = (L m) / s

Le rsultat nest pas significatif (NS). Ainsi si lon trouve une diffrence entre les tests (voir
rsultat de Friedman, qui est significatif), on nobserve cependant pas deffet dordre (ou
deffet-dose).

32

D. Les mesures de corrlation non-paramtriques


1. le Coefficient de contingence
Dans le cas dune variable nominale, on peut facilement calculer le Coefficient de
contingence.
En utilisant le pour k chantillons, ce coefficient correspond C = ( / N + )
(Bien videmment, C nest significatif que si lest, avec = (k-1)(l-1) degrs de libert)
2- Exemple de corrlations non-paramtriques pour 2 chantillons
Les personnalits autoritaires sont-elles lies leur status social ? Pour le savoir, nous avons test 12 sujets qui
ont pass deux questionnaires de psychologie sociale.
82
42

98
46

87
39

40
37

116
65

113
88

111
86

83
56

85
62

126
92

106
54

117
81

Nous pouvons utiliser le test de corrlation de Spearman, bien connu (qui calcule la
corrlation entre deux ensembles de rangs) ou encore le test tau de Kendall (qui base sa
statistique sur le nombre dinversions constates dans les classements).
6 d
Formule : r de Spearman : r 1
N ( N 1)
(avec d = diffrences entre les 2 classements
2S
Formule du tau de Kendall : =
n(n 1)
Avec S = total Rel (= somme des notes +1 ou 1 de toutes les paires)
Et n (n-1) = total Possible.

Le logiciel propose ces deux test de corrlation. Il suffit de placer en colonnes ces donnes
dans Input range et faire OK.
Spearman rank order correlation
N
24
Np
12
Mx
97
My
62,33
Sd
0
Sd2
52
df
10
r'
0,818
t
4,497
p
0,00115
Z
0,00333
ties
no
Kendall's Tau
n
12
S
44
tau
0,6667
Tk for ties
X:0-Y:0
tau corr. for ties
0,6667
p
0,0026

r de
Spearman

de Kendall

33

On trouve une corrlation trs significative ( r= 0,818 pour le test de Spearman, et tau de
Kendall = 0,66 ; p= .001).
(Note : le test de Spearman est accompagn dun graphique sous Excel reprsentant le nuage
des points de la corrlation).
Ajoutons que ces tests de corrlation sont adapts pour valuer la liaison entre deux
classements.
2. corrlations non-paramtriques pour k chantillons
Enfin pour valuer plus de 2 classements, il faut utiliser soit le Coefficient de contingence
(dans le cas dune variable nominale), ou soit le Coefficient de concordance de Kendall W
(test non-paramtrique pour variable ordinale).
(Vous pouvez galement le trouver dans le logiciel en cherchant le test de Friedman, et en
cochant le Kendalls coefficient ).
Exemple : nous avons demand 4 sujets de classer par ordre de prfrence 6 dessins :
Sujets
A
B
C
D

Dessin 1

Dessin 2

Dessin 3

Dessin 4

Dessin 5

Dessin 6

5
2
4
4

4
3
1
3

1
1
6
2

6
5
3
5

3
6
2
1

2
4
5
6

Le raisonnement de Kendall est le suivant : si tous les sujets sont daccord, la somme (Rj) de
chaque colonne sera une progression arithmtique de raison k (k tant le nombre de sujets).
Et en moyenne, lcart sera grand entre chaque total Rj, et la moyenne des Rj.
A linverse si les sujets effectuent les classements alatoirement, alors les sommes Rj seront
voisines de la moyenne des Rj. Kendall a tabli un coefficient de concordance fond sur le
principe des carts entre chaque total Rj et la moyenne des Rj (W), qui varie de 0 +1.
Formule du Coefficient de concordance de Kendall .W
W=

12S
, avec S=
k (n 3 n)

R
j

( Rj )
N

Avec Rj = somme de chaque colonne (somme des rangs)


k = nombre de classement effectus
n= nombre dlments classer
S= somme des carrs des carts entre chaque Rj et le moyenne du Rj

Dans notre cas, il faut suivre le mme protocole que le test de Friedman.
On trouve dans notre cas :
Kendall's coefficient of concordance
k

df

64

0,229

0,229

T for ties

W*

0,229

0,47

critical value of W [5 | 1] %

0,501 | 0,644

W = 0,229. (p = 0,47) : il ny a pas de vritable accord


entre les 4 sujets.

34

OUVRAGES
BEAUFILS B. Statistiques Applique la Psychologie , tome 2, Bral dition, 1996

DRETZKE :Statistiques avec Microsoft Excel, (traduit par I. Goulet), Edition Reynald
Goulet Inc., 2005
GUEGUEN N. Statistiques pour psychologues , Dunod, 2001
HOWELL D.C Mthodes statistiques en Sciences humaines , Boeck Universit, 1998
SIEGEL S. Nonparametric statistics for the behavioral sciences , McGraw-Hill, 1956

Vous pouvez me contacter par E-mail : alain.mouches@uco.fr


Concernant le macro free des tests non-paramtriques sous Excel utilis, ladresse est:
hdelboy.club.fr/Nonparam.htm
Enfin, vous pouvez galement utiliser par Internet des logiciels gratuits de traitements statistiques.
Une adresse : http://www.u707.jussieu.fr/biostatgv/tests.php

Utilisation des principaux tests statistiques, disponibles sous Excel


Nombre
des Type
chantillons variables
analyser

de Type
dchantillons

NOMINALE
Un chantillon

Tests
Tests
non-paramtriques
paramtriques :
Tests de
(macro free , avec calcul (Calcul sous Excel, Corrlation
sous Excel )
dans
Utilitaire
danalyse )
Khi2 ,
Test binomial
T. de Student

35

ORDINALE

Kolmogorov-Smirnov

Echantillons
indpendants

(dansTest dgalit
des
esprances:
observations
paires)
Pour n>30, Test de
la
diffrence
significative
minimale (z-test)
non paramtrique:

Khi2 pour 2 chantillons

NOMINALE
Echantillons
apparis
Deux
chantillons

Echantillons
indpendants
ORDINALE

Test de Spearman,
de Kendall.
Khi2 de McNemar
U de Mann-Whitney,

F. de Snedecor
(dans:
Test
Autres tests : Wald-Wolfowitz, dgalit
des
test de Moses
variances ).
T. de Student (dans
Kolmogorov-Smirnov
Test dgalit des
esprances:
2
Le test de la mdiane (Mood observations
test)
diffrentes

Echantillons
apparis

Test de Wilcoxon

Echantillons
indpendants

Khi2 pour k chantillons

Echantillons
apparis

Test Q de Cochran

paramtrique : r de
Bravais-Pearson
Sous
Excel,
dans
analyse de corrlation

Pour n>30, Test de


la
diffrence
significative
minimale (z-test)
T. de Student
(dansTest dgalit
des
esprances:
observations
paires)
Coefficient de contingence

NOMINALE

(voir Khi 2 pour k ch.)

K chantillons

ORDINALE

Echantillons
indpendants

Test de
Kruskal-Wallis

Corrlation multiple: sous


Excel, dans
ANOVA
(dans : Rgression linaire
analyse
de
variance : un facteur)

Le test de la mdiane
Test de Jonckheere-Terpstra
Echantillons
apparis

Test de Friedman
Test de Page

ANOVA
(dans : Coefficient
analyse
de de concordance
variance :
deux de Kendall W.
facteurs,
sans
rptition
dexprience

36

Das könnte Ihnen auch gefallen