Petit abrg pour mieux comprendre la notion de mthode exprimentale et ses enjeux mthodologiques

Maud Herbert Cahier n340 Dcembre 2004

Maud Herbert
Doctorante Centre de recherche DMSP Universit Paris-Dauphine Place du Marchal de Lattre de Tassigny 75775 Paris Cedex 16 Tel : 01 44 05 44 59 Fax : 01 44 05 44 49 E-mail : maudherbert@hotmail.com

PETIT ABRG POUR MIEUX COMPRENDRE

LA NOTION DE MTHODE EXPRIMENTALE ET SES ENJEUX MTHODOLOGIQUES

Rsum Ce document a pour objectif daider le chercheur qui souhaite utiliser un design exprimental dans ses travaux en lui apportant une synthse des principes fondamentaux qui rgissent la mthode exprimentale (et par extension quasi-exprimentale). Lide est de bien matriser les diffrentes notions de contrle et les menaces aux validits en distinguant celles qui peuvent tre plus ou moins circonscrites par le chercheur de celles sur lesquelles il a peu de prises mais auxquelles il doit nanmoins accorder de lattention. Mots cls : mthode exprimentale et quasi-exprimentale, principe du contrle, menaces la validit.

Abstract This paper aims at providing a brief overview of the experimental methods principles to researchers who face for the first time the use an experimental design. The purpose is also to guide them to a better understanding of the basic notions of control and threats to validities. Thus, they could really distinguish the threats that can be more or less circumscribed by the researcher from those that remain out of control but nevertheless have to be taken into account in the research process. Key words : experimental and quasi-experimental designs, what control means, threats to validities.

INTRODUCTION Au cours dun processus de recherche, aprs le temps de la conceptualisation thorique vient souvent le moment o la rflexion abstraite doit tre confronte la ralit empirique. Le chercheur aborde alors ltape de la mesure o il va recueillir des observations sur le terrain et pouvoir tester les relations thoriques quil a pralablement tablies. Formule sous forme dhypothses de recherche les relations entre variables peuvent tre causales du type Si X alors Y . Une relation causale simple peut tre la suivante : si le tlspectateur est de bonne humeur alors son attitude envers la publicit sera favorable . Mais quelles soient simples ou complexes, il nexiste quune seule mthode rellement approprie pour tester les relations causales : la mthode exprimentale. Ce document rcapitule les fondamentaux de lexprimentation en sciences sociales, il synthtise les rgles dusage de la mthode exprimentale (partie A). Il est important de prciser ds maintenant qu lorigine, exprimentation rime avec laboratoire, le milieu ferm idal garant de la vraie exprimentation. Or, pour des questions de ralisme, de moyens et de faisabilit, les chercheurs en sciences sociales et en sciences de gestion sont souvent obligs de tester les relations causales sur le terrain. Si sortir du milieu protg du laboratoire rend le principe du contrle plus difficile (Bhaskar, 1975), il naffranchit pas le chercheur des rgles fondamentales de la mthode exprimentale. Parmi ces rgles, le principe du contrle et les diffrentes validits doivent tre pleinement intgrs par le chercheur-exprimentateur, ce document sattache dfinir ces notions (partie B) dont la matrise dans le cadre de la mthodologie exprimentale peut aider le chercheur comprendre quil doit faire face des sources derreur sur lesquelles il na que peu de prise et qui menacent pourtant sa recherche (partie C). ALes rgles dor de la mthode exprimentale

Ce document a pour but de prsenter rapidement les grandes rgles qui rgissent la mthode exprimentale. Le propos nest pas de sappesantir sur la mthode mais den rappeler les principes essentiels afin daider le chercheur nophyte comprendre globalement les bases fondamentales, utiles au dveloppement de son futur travail. Pour une prsentation plus dtaille mais tout de mme succincte, le lecteur pourra, ensuite, se reporter au chapitre 3 (p.99 147 crit par Aronson, Wilson & Brewer) de louvrage The Handbook of Social Psychology volume 1 sous la direction de Gilbert, Fiske & Lindzey (1998). 1- Identifier toutes les variables en jeu et formaliser les relations Lexprimentation permet de tester les relations causales. Le principe fondamental est de faire varier des lments dune situation prdtermine et de mesurer les consquences de ces variations. Il sagit de tester des relations du type si X varie alors Y varie . Dans cette relation causale simple, si toutes choses restent gales par ailleurs (notion importante sur laquelle nous reviendrons), X est la variable explicative des effets observs sur Y qui est la variable expliquer. Dans la terminologie courante, une variable explicative est appele variable indpendante ou encore variable treatment (Cook & Campbell, 1979) et la variable expliquer est une variable dpendante ou encore variable outcomes (Cook & Campbell, 1979).

Par dfinition, la variable dpendante est celle qui dpend de la variation dautres variables. Elle est lobjet de recherche du chercheur qui slectionne les variables indpendantes considres comme la cause possible des effets observs sur la variable dpendante. Une exprimentation implique la variation dune ou de plusieurs variables indpendantes. La plupart du temps la variation de la variable indpendante rsulte dune manipulation de cette variable, ce qui est lessence mme de lexprimentation. Cependant certaines variables indpendantes ne sont pas manipulables, il en va ainsi du genre par exemple, dans ce cas, la variable indpendante est dite invoque. La variable indpendante qui est manipule ou invoque comporte donc au minimum deux modalits. Par exemple, la variable humeur peut en possder deux : mauvaise humeur vs. bonne humeur. Il faut noter que le nombre de modalits se dtermine au moment o le chercheur oprationnalise la variable. Par exemple, lhumeur peut prendre plusieurs autres modalits comme humeur maussade, constante ou versatile, tout dpend de la littrature mobilise et des hypothses de la recherche. Une variable indpendante pourrait adopter de trs nombreuses modalits, par exemple sil sagit dune variable de catgorie socioprofessionnelle (oprationnalisation dune variable niveau de vie par exemple), la nomenclature de lINSEE prvoit 42 catgories non agrges (INSEE, 2003). En fait, la dcision revient au chercheur. Dans le cadre de lexprimentation, il lui incombe de dterminer le nombre optimal de modalits car, comme nous le verrons par la suite, leur quantit dtermine le nombre de cellules du plan exprimental. Ces deux types de variables sont les variables fondamentales directement identifiables de lexprimentation mais il existe un autre type de variable prendre en compte car elles peuvent influencer les effets mesurs. Il sagit des variables dites externes ou variables contextuelles. Le chercheur doit en effet discerner les variables qui pourraient exercer une influence sur la relation causale et dont la prsence pourrait conduire une autre interprtation des effets observs sur la variable dpendante. Par exemple, le jugement de lindividu envers la publicit en gnral pourrait tre une variable externe venant influencer ou occulter une relation causale entre variable indpendante (lhumeur) et dpendante (attitude envers la publicit). Ces variables, dites aussi variables parasites, doivent tre contrles, cest dire soit mesures puis comprises dans lanalyse statistique soit maintenues constantes ou homognes de faon annuler leur influence sur la variable dpendante (pendant lexprimentation ou post hoc). La relation de cause effet est moins perturbe dans le cas dun maintien constant (Lynch, 1982). Lvocation des variables de contexte et de leur contrle met en vidence une des caractristiques voire la caractristique la plus intressante de la mthode exprimentale : la possibilit disoler la relation de cause effet dans un milieu ferm , cest dire dannuler les interfrences des variables externes pour ne mesurer que le lien entre variable indpendante et dpendante. Il est vident quen recherche comportementale il existe un grand nombre de variables exognes et quil est difficile voire impossible de toutes les prendre en compte (Cronbach, 1975 ; Calder, Phillips & Tybout, 1981, 1982). Cependant, lidentification pralable des variables externes est importante et doit faire lobjet dune attention particulire de la part du chercheur. Il doit hirarchiser limportance de ces variables parasites pour essayer dliminer au mieux leur influence (Aronson et al., 1998). Cronbach (1975) conseille de mesurer le plus de variables parasites possibles pour ne pas se retrouver dmuni au moment de lanalyse, cest ce quil appelle la prise de mesure hors hypothses . Une fois que lensemble des variables est identifi, il convient de formaliser les relations entre ces variables, souvent sous la forme dun modle qui permet davoir une vue globale des liens entre variables et de spcifier leur nature. En effet, certaines variables peuvent tre mdiatrices, modratrices ou quasi-modratrices. Rappelons quune variable mdiatrice est

une variable par laquelle une variable indpendante va influencer la variable dpendante : X1 influence X2 qui influence Y o X2 est la variable mdiatrice. Par exemple, la variable satisfaction peut tre une variable mdiatrice entre la qualit perue et lintention de r-achat. Une variable modratrice est une variable qui module leffet de la variable indpendante sur la variable dpendante dans un sens positif ou ngatif. Pour conclure quil y a un effet modrateur, un effet dinteraction entre la variable indpendante et la variable modratrice doit exister. En dautres termes, laction de chaque variable indpendante sur la variable dpendante doit tre diffrente selon les modalits de la variable modratrice*. Il peut aussi exister un effet simple de la variable modratrice sur la variable dpendante, dans ce cas, il convient de parler de variable quasi-modratrice. Pour une explication dtaille et illustre des processus modrateurs et mdiateurs, le lecteur peut consulter Chumpitaz Caceres et Vanhamme (2003). Une fois que toutes les variables sont spcifies, que la nature de chacune est dfinie et que les liens qui les unissent sont identifis sous la forme dhypothses rdiges, le chercheur passe une tape cruciale de lexprimentation : le plan exprimental. Le plan exprimental est soumis des obligations rigoureuses quil convient de rappeler car le chercheur ne peut commencer se soucier de la validit des effets mesurs que si ces rgles sont respectes. 2- Monter un plan exprimental en examinant lorthogonalit des variables indpendantes, vrifier si la randomisation est possible. Le plan exprimental, aussi appel plan dexprience, formalise le dispositif de lexprimentation. Il dfinit quelles variables indpendantes sont slectionnes et comment elles sont manipules, combien de variables il faut contrler et comment le faire. Au moment de construire son plan dexprience, le chercheur doit avoir dtermin quelles units exprimentales il veut interroger. Lunit exprimentale est le spcimen qui reprsente le mieux la population laquelle il souhaite pouvoir extrapoler les rsultats de sa recherche. Par exemple, en marketing, une unit exprimentale peut tre un point de vente ou un consommateur lambda. Le plan exprimental permettra de dterminer le nombre dunits exprimentales soumettre lexprimentation. Enfin, le plan exprimental permet surtout de visualiser laffectation des traitements aux units exprimentales, savoir qui va tre expos telle ou telle condition exprimentale (exemple de traitement dans une condition exprimentale : un scnario susceptible de manipuler lhumeur dans un sens positif). Le terme visualiser est choisi dessein car le plan dexprience se matrialise souvent sous la forme dun tableau rcapitulant les diffrentes modalits de la ou des variables indpendantes, chaque case du tableau reprsentant une condition exprimentale dtermine. Le plan dexprience existe ds quune seule variable indpendante est manipule, mais cette situation est rare car souvent deux ou plusieurs variables indpendantes peuvent varier simultanment. Pour tester leurs effets sur la variable dpendante et les effets dinteraction que nous avons voqus prcdemment, il faut utiliser un plan factoriel. Le plan factoriel complet rsulte du croisement entre lensemble des modalits de toutes les variables
*

Si laction de la variable indpendante est inverse selon les modalits de la variable modratrice, linteraction

est dite croise. Si laction de la variable indpendante a plus ou moins deffet selon les modalits de la variable modratrice, linteraction est dite convergente. Enfin si leffet de la variable indpendante peut sannuler pour une des modalits de la variable modratrice, il sagit dun effet de suppression. (suppressor)

indpendantes manipules, ce qui dfinit tous les traitements tests dans lexprimentation. Par exemple, si le modle comprend 3 variables indpendantes V1, V2, V3 et que chacune a deux modalits, le plan factoriel complet dfinira 222 conditions exprimentales soit 8 conditions diffrentes. Il est vident que la quantit de conditions et donc dunits exprimentales est directement proportionnelle au nombre de variables indpendantes manipules et aux modalits associes ces variables, par consquent un plan factoriel complet peut vite savrer lourd mettre en place. Do la possibilit dutiliser des plans factoriels fractionnaires qui diffrent du plan complet en affectant plusieurs traitements une mme unit exprimentale. En plus des variables indpendantes, le plan exprimental peut prendre en compte les variables externes quil faut contrler. Selon le nombre de facteurs contrls (un, deux, trois ou plus de trois) le plan exprimental est respectivement qualifi de plan alatoire en bloc (complet ou incomplet), de plan en carr latin, de plan en carr grco-latin, de plan en carr hyper-grco-latin. Pour une prsentation rapide de ces diffrents plans dans le cadre de la recherche en marketing, le lecteur intress se reportera louvrage Market (Evrard, Pras, Roux et al., 1997, p. 216 223). La condition sine qua non du bon droulement dune exprimentation et de la validit dun plan factoriel quel quil soit, est que lensemble des variables indpendantes soient rellement indpendantes, cest dire quelles naient pas dinfluence les unes sur les autres afin de pouvoir isoler les effets que chacune dentre elles a sur la variable dpendante. Si les variables indpendantes sont corrles, il est impossible denvisager de les manipuler dans un mme plan exprimental (Keppel, 1991). Lorthogonalit des variables est une condition importante que tout chercheur doit vrifier avant de construire un plan factoriel. Mme si cela nest pas toujours possible, laffectation alatoire des units exprimentales est une autre des rgles dor de lexprimentation car elle garantit un meilleur contrle des effets indsirables. Cook & Campbell (1979) utilisent un exemple significatif pour expliquer les bienfaits de laffectation alatoire des units exprimentales : soit une exprimentation agricole o le but est de tester lefficacit de nouvelles techniques. Dans ce cas, les variables indpendantes peuvent tre par exemple le type de graines ou les engrais utiliss. La variable dpendante est la productivit lhectare et les units exprimentales des parcelles de terrain de la mme taille dans une ferme. Comment peut-on tre sr que la hausse de la productivit est bien due lutilisation du nouvel engrais si toutes les parcelles traites avec cet engrais sont situes au sud de lexploitation et donc plus ensoleilles que les units traites avec un ancien engrais ? Un des moyens dviter ce type de question est daffecter les parcelles de faon alatoire au traitement par le nouvel engrais (ce qui est appel randomisation). Les parcelles traites avec le nouvel engrais et celles non-traites seront donc disperses dans lexploitation et, sil y a suffisamment de parcelles, on peut dire quune parcelle moyenne ayant subi le traitement est comparable une parcelle moyenne nayant pas subi le traitement. Par consquent, les rsultats ne seront pas lis la localisation gographique, la nature du sol, au degr densoleillement. Il est vident que chaque parcelle de terrain est diffrente dune autre, comme chaque tre humain interrog est diffrent dun autre, le principe de la randomisation est simplement de lisser ces diffrences dans une moyenne pour permettre la comparaison de deux tats et limputation une cause. Laffectation alatoire est la condition des vraies mthodes exprimentales, elle apporte une rponse prcise la question est-ce que le traitement des effets ou non ? (Cronbach, 1988). Pour une prsentation complte de la thorie de laffectation alatoire et des ses applications, le lecteur peut consulter les pages 247 277 de louvrage Experimental and Quasi-experimental Designs (Shadish, Cook & Campbell, 2002).

Cependant, la randomisation parfaite, en suivant une table des nombres au hasard nest pas toujours possible surtout dans les recherches de terrain en sciences sociales, on parle alors de quasi-exprimentation. Les situations o la randomisation nest pas possible sont frquentes, par exemple lorsque les variables indpendantes sont invoques. Le temps est aussi un enjeu important, la randomisation consomme beaucoup de temps et deffort, si la nature des variables change avec le temps, laffectation alatoire nest mme pas conseille (Cook & Campbell, 1979 ; Shadish, Cook & Campbell, 2002). En fait le choix de la randomisation rsulte dun arbitrage subtil entre laccessibilit du terrain et ses caractristiques, le temps imparti pour mener la recherche, les cots humains et financiers, les questions thiques lies la manipulation et surtout les enjeux lis aux rsultats de lexprimentation. Le lecteur souhaitant approfondir ces points se reportera aux pages 341 386 de louvrage Quasiexperimentation ; design & analysis issues for field settings (Cook & Campbell, 1979). Il faut noter que ces auteurs rappellent que laffectation alatoire nest pas une rgle du tout ou rien. Le chercheur en sciences sociales connat plus ou moins son terrain et sil ne peut randomiser dans les rgles de lart (en suivant une table des nombres au hasard) il peut sarranger pour choisir les units qui reoivent le traitement. Par exemple, randomiser 1000 tudiants est compliqu, affecter alatoirement 50 groupes de 20 tudiants devient plus accessible. Par consquent, mme dans des conditions difficiles, il est possible de sacquitter dun certain degr de contrle qui amliorera toujours la qualit des infrences (Cook & Campbell, 1979). Nous avons dj utilis plusieurs fois le terme contrle , il est indissociable de la mthode exprimentale. Il est impossible pour le chercheur de comprendre le principe des menaces la validit et donc le problme pos par les artfacts de la demande sil na pas compris pleinement le sens du terme contrle et les diffrentes facettes de la validit. BComprendre le principe du contrle et de la validit pour prendre la mesure des menaces qui peuvent peser sur les rsultats dune exprimentation 1. Les modes de contrle Dans le langage exprimental, contrler a un sens gnral qui veut exprimer que le chercheur doit tout faire pour sassurer que les infrences sont valides, cest dire que les liens de cause effet entre variables sont tests sans interfrences. Concrtement, il y a quatre modes de contrle dans le cadre de lexprimentation. Nous avons dj plus ou moins voqu ces sens mais en dresser la liste et les prciser permettra dviter toute confusion. 1. Le contrle par affectation alatoire Il sagit du contrle des variables indpendantes par laffectation alatoire des units exprimentales, qui fut voqu dans le paragraphe prcdent. 2. Le contrle de la situation exprimentale Pour illustrer ce mode de contrle, prenons lexemple simple dune exprimentation en chimie. Dans ce cas, le contrle de la situation exprimentale se fait en strilisant les prouvettes afin quaucun rsidu ne vienne perturber la raction entre deux corps chimiques. Il est vident quen sciences sociales les choses ne sont pas aussi simples, il ny a pas de contrle total de la situation exprimentale puisquun certain nombre de donnes de lexprimentation (et en premier lieu le sujet humain) sont incontrlables . Par contre le design et les procdures exprimentales peuvent tre contrls et le devoir du chercheur est dliminer un maximum de sources externes de

variance pour isoler au mieux la relation de cause effet entre variable indpendante et dpendante. Il apportera une attention particulire loprationnalisation de ses variables, ses procdures exprimentales et aux tests des manipulations en prenant soin de ne pas se contenter uniquement de vrifier le succs de la manipulation mais aussi quelle correspond bien au construit et ninduit pas, de faon malencontreuse, la manipulation de variables parasites (Perdue & Summers, 1986). Ces recommandations peuvent paratre triviales mais en ralit, le chercheur ne peut pas se permettre dinjecter, par un manque dattention, des effets indsirables qui fausseraient limputation des effets une cause. Nous verrons dans cette section quun exprimentateur scrupuleux doit dj faire face suffisamment de biais et derreurs indpendantes de sa volont. 3. Le contrle par le groupe de contrle Le troisime mode de contrle fait rfrence au raisonnement scientifique qui veut que si X alors Y implique que si non X alors non Y (Boring, 1969). Dans ce contexte, le terme contrle est associ au principe du groupe de contrle ou groupe tmoin. Rappelons quun des designs les plus frquents en recherche sociale (notamment quand laffectation alatoire nest pas parfaite) est le design suivant : O1 X O2 Oc1 Oc2 Dans ce cas, il y a deux groupes dont un groupe tmoin (Oc) qui ne subit pas le traitement (symbolis par X), les deux groupes sont mesurs avant et aprs ce traitement. Ce type de contrle se fonde sur le fait que les variables externes vont influencer les deux groupes de la mme faon, par consquent le diffrentiel entre les deux groupes isolera leffet imputable au traitement. 4. Le contrle par prise de conscience Nous avons baptis ainsi le mode de contrle qui consiste reprer et essayer de prendre en compte (de faon active ou passive) les sources d interfrences pouvant troubler la relation de cause effet. Nous avons dj parl de ce type de contrle en voquant les variables parasites dont linfluence doit tre prise en compte dans lanalyse statistique. Cette prise en compte se traduit soit par le maintien constant de la variable externe de faon neutraliser les effets de sa variation, soit par sa simple mesure et son incorporation dans le traitement et lanalyse des donnes. Dans leur ouvrage, Cook & Campbell (1979) soulignent que le chercheur doit contrler en prenant conscience de la menace que certaines caractristiques de la situation exprimentale peuvent faire peser sur la validit des mesures. Afin dillustrer leur propos, ils expliquent que le sens du terme contrle sexprime dans les phrases du type Nous avons essay de contrler la possibilit que les rpondants comprennent lhypothse de recherche en leur donnant une fausse explication de lobjectif de recherche au dbut de lexprimentation (sic p.8). Dans le cadre de notre recherche, cet exemple a une rsonance particulire et pour mieux comprendre pourquoi, il faut le resituer dans le champ de la validit de la recherche. 2. Les facettes de la validit, quel enjeu pour la recherche ?

Le concept de validit introduit par Campbell & Stanley (1963, 1966) puis dvelopp par Cook & Campbell (1979) est sans doute la source la plus intarissable de dbats mthodologiques entre chercheurs en sciences sociales. Parce quil reflte les postures pistmologiques, ce concept donne rgulirement lieu des productions darticles

controverss. En comportement du consommateur, le dbat enflamm Calder/Lynch en tmoigne (Calder et al., 1981, 1982, 1983 ; Lynch, 1982, 1983 ; Berkowitz & Donnerstein, 1982, McGrath & Brinberg, 1983). Cette polmique portait plutt sur la validit externe et il faut rappeler quil existe quatre types de validits dfinies par Cook & Campbell (1979). Les deux premiers types portent sur lensemble des conclusions concernant la relation causale entre les variables manipules et mesures, il sagit de : la validit statistique qui juge de la pertinence des infrences statistiques partir des effets observs. La validit interne qui sinquite de savoir si les effets observs peuvent bien tre attribus une relation causale prcise. (i.e. les effets sont-il bien dus aux variables tudies et non dautres variables). Les deux autres types de validit ne se proccupent plus des relations entre les variables oprationnalises mais plutt de ce quelles reprsentent thoriquement. Nous y retrouvons : La validit de construit qui sexplique comme la gnralisation possible des rsultats empiriques des construits et des relations thoriques dun degr dabstraction suprieur. Ce qui englobe la convergence entre la dfinition conceptuelle, loprationnalisation (ou validit de construit de leffet) et la pertinence nomologique des relations entre concepts (ou validit de construit de la cause). La validit externe qui concerne la gnralisabilit des mesures, cest dire la possibilit de transposer les relations causales des populations, des situations et des moments diffrents. Il est noter que la validit externe est assez complexe, il ne sagit pas simplement de juger du degr de ralisme de lexprimentation ou de reprsentativit de la population tudie, mais aussi de considrer la robustesse des relations causales de la recherche (i.e. leur degr dindpendance aux variables contextuelles) (McGrath & Brinberg, 1983). Pour chaque type de validit, Cook & Campbell (1979) ont tabli une liste des menaces qui peuvent leur porter prjudice. Notre objet nest pas de prsenter ces quatre listes qui sont explicites des pages 39 80 dans louvrage Quasi-experimentation ; design & analysis issues for field settings (Cook & Campbell, 1979) mais bien de comprendre comment ces validits sarticulent entre elles, si certaines sont prioritaires ou plus importantes que dautres et quels sont les enjeux pour la recherche. Il est vident quaucun type de validit ne peut tre nglig. Prise indpendamment lune de lautre, chaque validit, si elle ne peut tre garantie ou conforte, posera des problmes au chercheur, des degrs divers et des moments diffrents dans son processus de recherche. De plus, pour les auteurs de la typologie, les validits fonctionnent comme des vases communicants :le renforcement dun type de validit entrane laffaiblissement dun autre. Par exemple, utiliser un chantillon homogne sur une caractristique constante peut consolider la validit interne mais amoindrir la validit externe. Dans ces conditions, il est illusoire de sattendre ce quune recherche, mme si elle ne concerne quune seule et simple relation causale, soit irrprochable tous points de vue. Par consquent, il revient au chercheur darbitrer et de grer ses priorits. Cook & Campbell (1979) parlent de trade-off et hirarchisent limportance des validits en fonction des objectifs et du type de recherche. Ils distinguent les recherches thoriques des recherches appliques. Dans le premier cas, la validit interne prvaut sur toutes autres validits, il faut que les relations causales soient sres pour pouvoir tre extrapoles aux concepts thoriques. Par ordre dcroissant dimportance les recherches thoriques devraient donc porter attention surtout la validit interne et la validit de construit, viendrait ensuite la validit statistique

puis seulement la validit externe. Au contraire dans les recherches dites appliques, la priorit doit tre accorde aux rsultats, (i.e. le traitement a-t-il bien les effets escompts ?) et leur capacit tre extrapols (i.e. les effets sont-ils reproductibles ?). Dans ce cas, le chercheur accordera en priorit de limportance la validit interne et la validit externe, puis ensuite la validit de construit de leffet puis la validit statistique et enfin la validit de construit de la cause. La distinction entre recherche thorique et applique nest pas trs sduisante car elle sousentend une scission entre deux philosophies de la recherche. Il est sans doute prfrable de ne pas opposer thorie et pratique et de parler de raisons et dobjectifs diffrents servant de fondements la rflexion mthodologique du chercheur engag dans un processus de recherche. En comportement du consommateur et dans la recherche marketing en gnral, la conceptualisation comme les implications pratiques jouent des rles souvent dgale importance et il est donc ncessaire que le chercheur apprenne dfinir ses priorits en termes de validits. La hirarchisation des validits parat ds lors comme invitable et sans doute ncessaire, comme lont compris Calder et al. (1982, 1983) ; Lynch, (1982, 1983); McGrath & Brinberg, (1983). Toutefois, nous pouvons noter que la validit interne revient toujours en premire position dans la hirarchie, quels que soient les enjeux de la recherche. De plus, elle rejoint la validit externe sur une proccupation particulire : le contrle des variables contextuelles. En effet, en des termes simples, la validit interne permet de sassurer que lon a bien mesur la relation causale que lon voulait mesurer et elle seule. Quand la validit externe, elle est forte si les rsultats sont robustes, cest dire rplicables, ce qui nest possible que si les effets observs ne sont pas lis une situation contextuelle (cest dire un dispositif exprimental particulier, un moment dans le temps, un chantillon de sujets spcifique). Ces variables contextuelles, Lynch (1982) les appelle background factors en expliquant quil sagit des facteurs lis au sujet exprimental ou au dispositif exprimental. Cette analyse permet de constater quil existe des effets indsirables qui psent sur la relation causale et qui sont dus des facteurs exognes. Il est possible de reconsidrer les listes de menaces de Cook & Campbell (1979) en tenant compte des variables contextuelles lies au design exprimental et au sujet/groupe exprimental. C- Les effets indsirables sur la relation causale : une approche par le degr de contrle sur les facteurs exognes. Lanalyse des menaces sur les validits interne et externe (Cook & Campbell, 1979) permet de catgoriser les effets indsirables lis au dispositif exprimental et au sujet/groupe exprimental selon le degr de contrle que le chercheur peut exercer pour sen prmunir. Ainsi, certains effets peuvent tre plus ou moins matriss par le chercheur alors quune autre catgorie lui chappe partiellement voire totalement. Pour cette dernire, lexprimentateur ne peut que constater lexistence de la menace et la possibilit dinteraction avec leffet principal test. 1. Effets plus ou moins contrlables par le chercheur

Leffet dinstrumentation : il est li la qualit des instruments de mesure et la manire dont ils sont utiliss. Ainsi, un effet artificiel peut tre obtenu si lintervalle de rponses change entre le dbut et la fin dune chelle ou si linstrument est modifi entre le pr-test et le post-test. Leffet dinstrumentation peut aussi apparatre cause de la familiarit

linstrument acquise par lexprimentateur entre pr-test et post-test. Dans ces cas, leffet dinstrumentation est matrisable condition de ne pas changer dinstrument ni de mode de rponse en cours dexprimentation ou encore de maintenir la vigilance de lexprimentateur (ou dviter un exprimentateur unique pour quil ny ait pas de phnomne de lassitude). Leffet de slection : il existe lorsque les groupes exprimentaux qui sont compars sont trop diffrents, dans ce cas cest la diffrence qui peut tre lorigine dune variation et pas la relation causale tudie. Il y a aussi effet de slection lorsque le chercheur prlve certains sujets pour les liminer de lanalyse. La seule faon de se prmunir radicalement de cet effet est laffectation alatoire des sujets sans toucher aux units au moment de lanalyse (sauf en procdant de faon alatoire). Nous avons vu que cette condition tait difficile remplir dans le cadre naturel du terrain nanmoins le chercheur peut sefforcer de randomiser partiellement et viter la slection intentionnelle au moment de lanalyse statistique. Leffet de rgression statistique : cet effet peut rendre difficile les comparaisons entre groupe faible et fort lorsque leur diffrence est trs marque au dpart. Dans ces conditions, les carts la moyenne du groupe fort vont tre statistiquement plus faibles et les carts du groupe faible statistiquement plus forts. Il est en effet plus facile pour un sujet faible de raliser un progrs significatif alors quun sujet qui part dun niveau lev aura plus de mal augmenter son score. Par exemple, dans le cadre dune recherche pdagogique, si, aprs un enseignement adapt, les gains raliss par les lves dun groupe faible sont plus importants que les gains raliss par le groupe fort, il reste dmontrer que cette diffrence de gain est bien due des diffrences d'efficacit du traitement pdagogique et non l'effet de rgression (de Landsheere, 1992). Selon Cook & Campbell (1979), pour viter ce type deffet, il faut sassurer de la fiabilit de la mesure par un test-retest en sassurant que la moyenne du groupe interrog nest pas radicalement diffrente de la population o ce groupe a t slectionn. La diffusion dinformations entre groupes : Si les traitements impliquent lutilisation dinformations spcifiques qui diffrent dun groupe lautre (comme des scnarii par exemple) et que les groupes changent ces informations entre eux, la mesure de la relation causale peut tre affecte et invalide. Pour viter cet inconvnient, les groupes peuvent tre confins en laboratoire. Sur le terrain, le chercheur peut aussi isoler ses groupes (par loignement gographique, recueils simultans dinformation). La comparaison entre groupes traits de faon ingale : recherche de compensation et dcouragement : La recherche de compensation a deux facettes, elle intervient lorsquun traitement est dfavorable et que le groupe qui le subit sen trouve dsavantag. Dune part, lexprimentateur a tendance vouloir revaloriser le groupe desservi en rtablissant une certain quit. Dautre part, si le groupe se rend compte quil est compar un groupe mieux trait, ces sujets vont essayer de compenser cet tat de fait en se montrant plus combatifs quils ne le sont vraiment. Dans les deux cas, les mesures sont fausses : dans le premier cas, leffet va tre artificiellement amoindri et dans le second faussement renforc. Par ailleurs, si les groupes se comparent il peut aussi y avoir un effet de dcouragement chez le groupe qui se rend compte quil est dfavoris ou quil ne lui arrive rien de particulier (groupe de contrle). Dans ce cas, lisolement est le meilleur moyen dviter les consquences de la comparaison sociale et lexprimentateur pourra prvoir des compensations qui viendront soulager le groupe dfavoris une fois lexprimentation termine.

Saretsky (1972) appelle cet effort leffet John Henry du nom dun mineur qui ayant appris quil tait compar une machine dextraction sest littralement tu la tche pour que son rendement soit meilleur que celui de loutil.

Les interactions entre traitements : Si le sujet exprimental est expos des traitements successifs diffrents, il nest pas possible disoler ses rponses un traitement du contexte des autres traitements. La manire la plus efficace de mesurer les effets de chaque traitement est de faire en sorte quun groupe ne soit soumis qu un seul traitement, cest dire quil y ait autant de groupes que de conditions exprimentales (communment appel design intersujets). Sinon le chercheur prendra soin danalyser les effets dun traitement avant de mesurer les effets dun nouveau traitement sur les mmes sujets. Les attentes de lexprimentateur ou effet Pygmalion : Les travaux de Rosenthal (1966, 1969, 1973) ont montr que lexprimentateur peut volontairement ou inconsciemment influencer les rponses des sujets dans un sens favorable lhypothse de sa recherche. Dans les exprimentations en marketing, les mmes effets peuvent se faire ressentir (Venkatesan, 1967). Pour Cook & Campbell (1979) cette tendance peut tre contrecarre diffrents niveaux. D'abord en minimisant les contacts entre exprimentateur et sujets exprimentaux. Ensuite, il est possible de dlguer le recueil des mesures plusieurs exprimentateurs qui ne sont pas au courant des hypothses de recherches et par consquent ne peuvent induire les rponses. Il est aussi possible dobserver les exprimentateurs afin de dtecter et rduire les comportements dattente. Enfin, il est possible dintervenir un niveau suprieur en faisant raliser les analyses de donnes par des individus autres que les exprimentateurs qui les ont collectes (Rosenthal & Rosnow, 1991). 2. Effets qui chappent au contrle du chercheur

Effet de test ou familiarit au test : Si un mme phnomne est mesur plusieurs fois auprs dun mme sujet, sa premire rponse influencera les suivantes. Dans ce cas, il est possible denregistrer une variation de rponse qui nest pas due la manipulation dune variable mais qui apparat parce que le sujet rpond en sappuyant sur le souvenir de ses rponses passes. Par exemple, on observe quun individu qui rpond deux fois un test de QI va amliorer sa performance au second test. Cette familiarit au test ne peut tre vite si le chercheur doit prendre des mesures rptes sur un mme chantillon (dans une situation de test-retest par exemple). Effet dhistoire : Ce sont toutes les modifications de lenvironnement du participant qui ont lieu aprs le pr-test et avant la prise de mesure finale. Elles ne sont pas lies au phnomne tudi mais peuvent influencer son attitude, son comportement et donc ses rponses. Ces vnements sont incontrlables par le chercheur, le laboratoire permet un certain isolement mais ce nest pas le cas pour les recherches de terrain. Rien ne peut garantir quun vnement contextuel ne va pas impacter les rponses entre pr et post-test. Le chercheur ne peut que se montrer attentif aux impacts ventuels pour les prendre en compte dans lanalyse de ses rsultats. Effet(s) de maturation : Il sagit des modifications que le temps peut entraner sur le sujet exprimental et qui sont indpendantes de la relation causale mais peuvent linfluencer. Le sujet peut avoir faim, froid, son humeur peut varier, il peut prouver un sentiment de lassitude. Si lexprimentation est tale dans le temps, il peut simplement vieillir, sassagir, accumuler des expriences qui changent sa vision des choses. Ses rponses sont alors influences par ces facteurs et non par la manipulation de la variable indpendante.

Mortalit exprimentale : Pour expliquer la mortalit exprimentale, il est possible de parler de biais de slection indpendant de la volont du chercheur. En effet, il arrive que des sujets arrtent de rpondre au cours dune exprimentation ou alors refusent de participer nouveau lors dun deuxime questionnement. De facto, ils sabordent la distribution alatoire ou modifient la composition des groupes, biaisant ainsi le principe de la comparaison. Effet d langoisse de lvaluation : Les travaux de Rosenberg (1965,1969) ont montr que les rpondants pouvaient manifester une crainte dtre mentalement valus par lexprimentateur. En consquence, ils essayent de dmontrer quils sont des individus comptents et quilibrs afin dobtenir une valuation positive. Selon Cook & Campbell (1979), ce type de comportement risque de crer un effet de confusion dans les analyses mais ils dclarent ne pas pouvoir en prendre la relle mesure : ltendue et limpact de ce type dorientation ne sont pas clairs [] cependant, il est possible que des effets du traitement soient dus des rpondants qui ont voulu se prsenter lexprimentateur sous un jour qui leur permettait desprer une valuation favorable de sa part (p. 67). Notons quun parallle peut tre dress entre ce type de comportement et la notion de biais de dsirabilit sociale (Crowne & Marlowe, 1960) qui se dfinit comme une tendance de lindividu vouloir, par ses rponses, prsenter une image de soi irrprochable aux yeux de la socit.

Effet Hawthorne et le fait de vouloir deviner lhypothse de recherche : En sciences comportementales, le phnomne connu sous le nom d effet Hawthorne fait rfrence aux rsultats, positifs ou ngatifs, qui ne sont pas dus aux facteurs exprimentaux, mais l'effet psychologique que la conscience de participer une recherche et d'tre l'objet d'une attention spciale exerce sur le sujet ou sur le groupe exprimental. Il tire son nom de Hawthorne, faubourg de Chicago, o un groupe de chercheurs industriels (Mayo et al., 1924- 1932) avait pu observer une hausse de productivit chez les ouvriers de la Western Electric Company due au fait quils se sentaient flatts dtre les sujets dobservations constantes. Ragissant cette attention, ils adaptaient leur comportement de faon apporter des donnes positives pour plaire aux exprimentateurs. Cette bonne volont altra tous les rsultats de ltude. Dans la liste des menaces , leffet Hawthorne est associ lenvie manifeste par les sujets dune exprimentation de comprendre les hypothses de recherche (hypothesis-guessing). Pour Cook & Campbell (1979) deviner lhypothse de recherche intervient mme si le sujet ne peut se comparer un autre groupe ou un voisin, il sagit dun processus o le rpondant nest au courant que de son traitement et persiste essayer de dcouvrir ce que lexprimentateur veut mettre en vidence par son travail . Dans ces conditions, Cook & Campbell admettent que le chercheur peut toujours masquer lhypothse de recherche (en la rendant difficile dcouvrir ou en fournissant au sujet des explications diffrentes du rel objectif de recherche) mais trouvent que ces mthodes sont finalement dun intrt trs relatif car de toute faon, les rpondants ne sont pas passifs et ils peuvent toujours laborer leurs propres hypothses, quelles concident ou non avec celle de lexprimentateur (p.66). Et ces auteurs de conclure : malgr les discussions intensives sur les effets de confusion qui rsulteraient de cette volont de fournir lexprimentateur des mesures qui larrangeraient, il ny a pas vraiment de preuve de lexistence dun effet Hawthorne dans les recherches de terrain ni mme en laboratoire [] Toutefois, nous manquons de travaux thoriques et empiriques sur les conditions dans lesquelles vouloir deviner lhypothse (a) existe, (b) cause du traitement, (c) se traduit par un comportement spcifique qui (d) peut conduire des conclusions errones sur les effets du traitement (e) dans le cadre des recherches de terrain. (p.67). En 2002, Shadish, Cook & Campbell regroupent langoisse de lvaluation, le fait de deviner lhypothse et dadopter un comportement de complaisance et leffet placebo sous le terme ractivit la situation exprimentale . Ils proposent un certain nombre de mthodes pour essayer de rduire ces problmes : (1) mesurer la variable dpendante en dehors du contexte exprimental, (2) mesurer les effets de la manipulation de manire dcale dans le temps (3) viter les pr-tests qui donnent des indications sur les rsultats attendus (4) utiliser le design de quatre groupes de Solomon (5) standardiser et rduire les interactions entre lexprimentateur et participant (6) rpondre la curiosit des participants en lui expliquant un faux objectif (techniques de dissimulation) (7) utiliser des sujets qui expliquent comment ils pensent devoir rpondre aux manipulations (8) rduire langoisse de lvaluation en assurant lanonymat et la confidentialit des rponses.

Pour linstant nous listons leurs recommandations, nous aurons loccasion de revenir sur ces mthodes dans ce chapitre.

Bibliographie Aronson, E., Wilson, T.D. & Brewer, M.B. (1998). Experimentation in Social Psychology, dans Gilbert, D.T., Fiske S.T. & Lindzey G., The Handbook of Social Psychology, vol I, 4me d. Oxford University Press, 99-147. Berkowitz, L. & Donnerstein, E. (1982). External Validity is More Than Skin Deep, American Psychologist, 37, n3, 245-257. Bhaskar, R. (1975). A realist theory of science. Leeds, Englands: Leeds. Boring, E.G. (1969) Perspective: Artifact and Control, 1-10 dans Rosenthal, R. & Rosnow, R.L. (1969), Artifact In Behavioral Research. New York: Academic Press. Calder, B.J., Phillips L.W., Tybout, A.M. (1982), The Concept of External Validity, Journal of Consumer Research, 9, 240-244. Calder, B.J., Phillips L.W., Tybout, A.M. (1981) Designing Research for Application, Journal of Consumer Research, 8, 197-207. Calder, B.J., Phillips L.W., Tybout, A.M. (1983), Beyond External Validity, Journal of Consumer Research, 10, 112-114. Campbell, D.T. & Stanley, J.C. (1963) Experimental and quasi-experimental designs for research. Chicago : RandMcNally. Chumpitaz Cacers R. et Vanhamme J. (2003). Les processus modrateurs et mdiateurs : distinction conceptuelle, aspects analytiques et illustrations, Recherche et applications en Marketing, 18, 2, 67-100. Cook, T.D & Campbell, D.T. (1979), Quasi-Experimentation, Design & Analysis Issues for Field Settings. Houghton Mifflin: Boston. Cronbach, L.J.(1975) Beyond the two disciplines of scientific psychology. American Psychologist, 30, 116-127. Cronbach, L.J.(1988). Five perspectives on validity argument, 3-17 dans Wainer, H; & Braun, H. (dts) Test Validity, Hillsdale Erlbaum. Crowne, D., & Marlowe, D. (1960). A new scale of social desirability independent of psychopathology. Journal of Consulting Psychology, 4, 349-354. De Landsheere, G. (1992). Dictionnaire de l'valuation et de la recherche en ducation. PUF : Paris. Evrard, Y., Pras, B., Roux, E., Choffray, J.M., Dussaix, A-M., Claessens. M. (1997). Market, tudes et recherches en marketing, 2nde dition. Editions Nathan. Keppel, G. (1991). Design and analysis : a researchers handbook. (3me d). Englewood Cliffs, Prentice-Hall. Lynch, J.G. Jr. (1982), On the External Validity of Experiments in Consumer Research, Journal of Consumer Research, 9, 225-239. (Erratum in March, 1983, p. 455). Lynch, J.G. Jr. (1983), The Role of External Validity in Theoretical Research, Journal of Consumer Research, 10, 109-111. Mc Grath, J.E. and Brinberg D. (1983), External Validity and the Research Process: A Comment on the Calder/Lynch Dialogue, Journal of Consumer Research, 10, 115-124.

Perdue, B. C. & Summers J.O; (1986), Checking the Success of Manipulations in Marketing Experiments, Journal of Marketing Research, 23, 317-326. Rosenberg, M.J. (1965). When Dissonance Fails: On Eliminating Evaluation Apprehension from Attitude Measurement. Journal of Personality and Social Psychology, 1, 1, 28-42. Rosenberg, M.J. (1969). The Conditions and Consequences of Evaluation Apprehension, 280348 dans Rosenthal, R. & Rosnow, R.L., Artifact In Behavioral Research. NY: Academic Press. Rosenthal, R. & Rosnow, R.L. (1975) Primer of Methods for the Behavioral Sciences. Wiley. Rosenthal, R. & Rosnow, R.L. (Eds) (1969). Artifact In Behavioral Research. Academic Press: New York. Rosenthal, R. (1966). Experimenter effects in behavioural research. New York: AppletonCentury-Crofts. Rosenthal, R. (1973). On the social psychology of the self-fulfilling prophecy : further evidence for Pygmalion effects. M53, New York: MSS Publication. Saretsky, G. (1972). The OEOPC experiment and the John Henry effect. Phi Delta Kappan, 53, 579-581. Shadish, W.R., Cook T.D. & Campbell D.T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Boston: Houghton-Mifflin.