Recueil, analyse & traitement de donnes : Le questionnaire

Mise jour du 21 mars 2011

Dernire version des diapos disponible ici : concevoir et administrer un questionnaire

Source des images indiques au-dessous ou en cliquant sur limage

Cours distribu sous licence Creative Commons,

selon les conditions suivantes :

bachelet@bigfoot.com cole Centrale de Lille Villeneuve dAscq - France

Image: source
Source des images indiques au-dessous ou en cliquant sur limage

mars-11

Comment utiliser ce cours :

1. Mettre les diapos en format plein cran en cliquant sur 2. Faire dfiler lanimation en cliquant sur les diapositives
(attention : cliquer sur une image ou un lien ouvre la page web correspondante)

2 Rmi BACHELET Centrale Lille mars 11

Utilisation ou copie interdites sans citation

21/03/2011

Le questionnaire
On choisit un questionnaire lorsquon :
Connat bien le sujet de ltude Veut des rsultats quantifis Cherche valider et gnraliser les rsultats A les moyens de mener une telle enqute
accder la population recevoir suffisamment de rponses capacit traiter les donnes (argent, temps, ressources)

Rmi BACHELET Centrale Lille

mars-11

Construire un questionnaire : un processus aux tapes bien dfinies

1. Fixer le type de questionnaire employer, sa diffusion, la stratgie de collecte 2. Rdiger une version alpha 3. que lon testera sur un chantillon de personnes et/ou auprs dexperts 4. Pour obtenir une version finale et avoir un scnario de collecte parant aux risques prvisibles
au total, le processus compte 9 tapes qui seront rcapitules plus bas

Lancer une campagne dadministration dun questionnaire reprsente un investissement irrversible, attention ne pas se rater
4 Rmi BACHELET Centrale Lille mars 11
Utilisation ou copie interdites sans citation

mars-11

Comment construire un questionnaire

Composante 1

Dimension 1

Composante 2 Composante 1

Dimension 2

Concept
Dimension 3

Composante 2
question

Composante 1

question question

Composante 1

Dimension 4
Composante 2

Composante 3
5 Rmi BACHELET Centrale Lille mars 11
Utilisation ou copie interdites sans citation

mars-11

Questionnaire : cas de la croyance en dieu

Construisez un questionnaire pour tudier le concept de croyance en dieu

6 Rmi BACHELET Centrale Lille mars 11

Utilisation ou copie interdites sans citation

mars-11

Questionnaire : cas de la croyance en dieu

Dimensions Composantes Questions

7 Rmi BACHELET Centrale Lille mars 11

Utilisation ou copie interdites sans citation

mars-11

Questionnaire : cas de la croyance en dieu

Dimensions

Croyance

Exprientielle

Ritualiste Consquentielle
8 Rmi BACHELET Centrale Lille mars 11
Utilisation ou copie interdites sans citation

mars-11

Questionnaire : cas de la croyance en dieu

Dimensions Composantes
Croyance en dieu

Croyance

Croyance au diable

Croyance la trinit Croyance l'enfer Apparitions

Exprientielle

Communication avec dieu Intervention de dieu dans sa vie Prire Messe Sacrements

Ritualiste Consquentielle

Plerinage Pardonner tre honnte 9

Rmi BACHELET Centrale Lille

mars 11

Utilisation ou copie interdites sans citation

mars-11

Questionnaire : cas de la croyance en dieu

Dimensions Composantes
Croyance en dieu

Questions
Croyez-vous que dieu existe ? Comment vous reprsentez-vous dieu ? Croyez-vous l'existence du diable ?

Croyance

Croyance au diable

S'agit-il d'un tre qui pousse rellement faire le mal ? N'est-il que la reprsentation abstraite du mal que subit l'humanit ?

Croyance la trinit Croyance l'enfer Apparitions

Exprientielle

Communication avec dieu Intervention de dieu dans sa vie Prire Messe Sacrements

Ritualiste Consquentielle

Plerinage Pardonner tre honnte Source : Glock, C. Y. (1963). Origine et volution des groupes religieux, Archives de 10 mars 11 Utilisation sociologie des religions, vol. 8, p. 29-38, in Quivy 95 ou copie interdites sans citation

Rmi BACHELET Centrale Lille

mars-11

Questionnaire : les types ditems

Items ouverts
Assez difficiles traiter (cf analyse de documents plus bas)

Items ferms
Oui / Non chelles de Likert ( 3, 4, 5 cases pas daccord du tout tout fait
daccord )

Biodatas (dveloppes plus bas) chelles continues (curseur), classement de divers lments par ordre d'importance

questions diffrentes, donnes (et tests statistiques) diffrents

Quelle est votre taille ? => donne mtrique tes-vous favorable, dfavorable ou indiffrent ..? => donne ordinale Quelle est la marque de votre voiture ? => donne catgorielle
1) Les questions se poser 2) La conception du questionnaire 3) La prsentation du questionnaire 4) La formulation des questions Rmidpouillement de l'enqute Lille 5) Le BACHELET Centrale

11 Pour en savoir plus sur la prparation du questionnaire : TD de Vincent GODARD http://margaux.ipt.univ-paris8.fr/vgodard/enseigne/enquete/memoenq/metd1enq.htm mars 11 Utilisation ou copie interdites sans citation

mars-11

Optimiser le cot de collecte : lchantillonnage

Recensement ou sondage ? Le Recensement est exhaustif alors que le sondage utilise la technique de lchantillonnage = slectionner les sources dinformation de manire collecter des donnes reprsentatives de lensemble de la situation observe Sondage
Par rapport la population totale, interroger suffisamment dindividus pour avoir une marge derreur connue et acceptable. En effet, il existe un phnomne de saturation : aprs un seuil donn, la collecte dinformations supplmentaires napporte que peu de prcisions supplmentaires...
12 Rmi BACHELET Centrale Lille mars 11
Utilisation ou copie interdites sans citation

mars-11

Plans dchantillonnage de base

laveuglette, par volontariat, par jugement dexpert Alatoire (chaque unit a une chance gale de figurer dans lchantillon) Systmatique (choix avec un pas de sondage dfini)

1) Le sondage, un palliatif du recensement ? 2) L'chantillon et sa reprsentativit 3) Les diffrentes erreurs - les erreurs de mesure ; - l'erreur alatoire. - Les non rponses Rmi diffrentes mthodes d'chantillonnage 4) Les BACHELET Centrale Lille

Source : cours de Jacques Lemaire (lien cass) http://www.er.uqam.ca/nobel/k33754/Echantillonnage.pdf

Voir aussi : cours de Vincent GODARD http://margaux.ipt.univ-paris8.fr/vgodard/enseigne/enquete/memoenq/mem22enq.htm 13 mars 11 Utilisation ou copie interdites sans citation

mars-11

Plans dchantillonnage : strates et grappes

Mthode des strates
diviser la population tudie en sous-ensembles homognes disjoints (strates) puis raliser ensuite un sondage indpendant dans chacune de ces strates (par exemple jeunes enfants = CP + CE1 + CE2..)

Mthode des grappes

Travailler de manire exhaustive, mais sur des groupes de population rassembls (tous les habitants dun immeuble)

conomies dues la focalisation sur une catgorie la fois lors de la collecte.

Mthodes des strates = cot de collecte divis par 5

14 Rmi BACHELET Centrale Lille mars 11

Utilisation ou copie interdites sans citation

mars-11

Plans dchantillonnage : quotas

Mthode des quotas hypothse : un chantillon qui ressemble la population pour un caractre que lon peut facilement connatre, lui ressemble galement pour un autre caractre, celui que lon cherche tudier.
La mthode implique une bonne connaissance des statistiques de la population tudie - Pour tre retenue comme variable de contrle, il faut simultanment avoir une distribution statistique connue, tre facile d'observation et tre fortement corrle avec la ou les variables tudies (par exemple PCS/CSP pour les intentions de vote) On peut appliquer les quotas en combinant plusieurs caractres, par exemple sexe + ge + profession du chef de famille.
15 Rmi BACHELET Centrale Lille mars 11
Utilisation ou copie interdites sans citation

mars-11

Plans dchantillonnage : combinaisons

deux ou plusieurs degrs (par exemple tirage alatoire d'un chantillon de localits puis choix des individus par la mthode des quotas) plusieurs phases (chantillon prliminaire pour certaines questions, puis sous-chantillons pour renseignements additionnels). Travail sur des panels
Groupe de rpondants que lon interroge intervalles rguliers. Utiliser un panel permet didentifier des processus dvolution de manire extrmement fine et requiert des mthodes danalyse de donnes particulires.

Mthode des itinraires, .

16 Rmi BACHELET Centrale Lille mars 11

Utilisation ou copie interdites sans citation

mars-11

Plans dchantillonnage : exemple de note mthodologique

Sondage Ifop L'valuation des actions de scurit de la Prfecture de Police et les attentes des Parisiens en matire de scurit, fvrier 2002
Note mthodologique Ce document prsente les rsultats d'une tude ralise par l'Ifop. Elle respecte fidlement les principes scientifiques et dontologiques de l'enqute par sondage. tude ralise pour : La Prfecture de Police chantillon : chantillon de 1207 personnes, reprsentatif de la population parisienne ge de 18 ans et plus. La reprsentativit de l'chantillon a t assure par la mthode des quotas (sexe, ge, profession du chef de famille) aprs stratification par arrondissement. Mode de recueil : Les interviews ont eu lieu par tlphone au domicile des personnes interroges. Dates de terrain du 1 au 7 fvrier 2002.
Vous pouvez tlcharger le document au format Word : Partie I : Analyse par l'Ifop des rsultats de l'enqute Partie II : Les rsultats du sondage Intgralit du document

17 Rmi BACHELET Centrale Lille mars 11

Utilisation ou copie interdites sans citation

mars-11

Phnomnes qui menacent la validit

Phnomne de dsirabilit sociale
vote Le Pen , vote Obama ( effet Bradley )

Effet de succession de questions ( effet de halo )

Poser une question sur Hiroshima, suivie dune question sur la ncessit de dvelopper lnergie nuclaire. ou Poser une question sur linfluence de la circulation automobile sur leffet de serre, puis sur la ncessit de dvelopper lnergie nuclaire.

quel Etat prsente le plus une menace pour la paix dans le monde ?
en sous-main, on force le rpondant accepter lide que lexistence dun tat prsente en soit en menace)

Lien entre opinion et action

"Un sondage sur les intentions de vote n'a aucun sens si l'on n'a pas une ide du taux de mobilisation, c'est--dire du pourcentage de gens qui sont srs d'aller voter, et du taux de certitude, c'est--dire du pourcentage de ceux qui sont srs d'avoir arrt leur choix",
Patrick Lehingue, Coups de sonde dans l'ocan des sondages (Ed. du Croquant, 2007)
18 Rmi BACHELET Centrale Lille mars 11
Utilisation ou copie interdites sans citation

mars-11

Questionnaire : comment formuler les questions

La formulation de la question joue un rle majeur :
Perception du sens global : Quel est le sens attribu par le rpondant au questionnaire ? Quelle est sa motivation pour rpondre ? "gratifications" - points de fidlit, chques cadeaux, loterie .. Comprhension : Comment le rpondant interprte-t-il les mots utiliss ?

Prcautions prendre
Attention aux mots utiliss Sur une mme dimension : poser plusieurs questions
En positif et en ngatif (dsirabilit sociale des rponses positives, ou "biais d'acquiescement") Ne pas mettre ces questions la suite les unes des autres : mlanger

Tester les questions (par exemple mthode de la pense voix haute sur des testeurs)
19 Rmi BACHELET Centrale Lille mars 11
Utilisation ou copie interdites sans citation

mars-11

Une catgorie de questions particulires : les biodatas

Lautenschlager (94) dfinit les biodatas comme
"des questions factuelles portant sur la vie et le travail, ainsi que des items mettant en jeu les opinions, valeurs, croyances et attitudes dans une perspective historique".

Stricker et Rock (98) ajoutent que

"ces mesures portent sur des faits relatifs la vie de la personne et non pas sur de l'introspection et des jugements subjectifs".

Rmi BACHELET Centrale Lille

Source : MsA F - Kuschnereit, 2000 - http://www.geocities.com/CollegePark/Quad/5504/ 20 mars 11 Utilisation ou copie interdites sans citation

mars-11

Biodatas : les critres de Mal (1/2)

Mal (91) donne 9 indicateurs qui permettent de classer les items et de dfinir ce qu'est une biodata idale. La question pose est :
Historique : signifie qu'elle est relative des vnements passs, rputs plus fiables que les intentions ou la projection dans ces situations hypothtiques. Externe : se rfre des vnements ou des actions, par opposition des penses. L'utilisation de donnes externes est rputes rduire les fausses rponses. En effet, face des caractristiques internes, les individus sont plus susceptibles de changer inconsciemment leur rponse. Vrifiable : il s'agit d'un item qui peut tre confirm par une tierce partie. La vrification elle-mme n'est pas indispensable, le fait qu'elle soit possible suffit. Objective : ce type d'information ne fait appel qu' la mmoire ("quelle est votre moyenne ?"), par opposition une apprciation ("tes-vous bon en maths ?"). De premire main : ce type de question se limite l'exprience personnelle du rpondant, par opposition la ncessit de se mettre la place d'une autre personne ("que pense X de vous ?").

21 Rmi BACHELET Centrale Lille mars 11

Utilisation ou copie interdites sans citation

mars-11

Biodatas : les critres de Mal (2/2)

Discrte : qui mesure un comportement prcis (pe un jour donn), par opposition des comportements agrgs ("d'habitude"). Contrlable par lindividu : Mal affirme qu'il est contraire l'thique de poser des questions sur des vnements sur lesquels le rpondant ne peut avoir de contrle (pe le nombre de frres et surs). De plus certains questions peuvent poser des problmes si elles portent sur des activits d'accs restreint ("jouez-vous au golf ?"). Relative au domaine concern : pe pour les questionnaires d'embauche les questions doivent se limiter au domaine du travail. Mal distingue les "signes" qui sont des infrences extrapoles partir d'une attitude ou d'une capacit des "chantillons" qui sont des exemples de comportements. Les chantillons sont censs tre de meilleurs prdicteurs de la performance. Non-invasive : les questions portant sur des sujets comme les pratiques sexuelles, la religion etc peuvent induire des rsistances et la volont de tromper le questionneur. De plus, elles sont parfois illgales.

22 Rmi BACHELET Centrale Lille mars 11

Utilisation ou copie interdites sans citation

mars-11

Questionnaire : les modes dadministration

Une campagne dadministration est coteuse et doit satisfaire aux objectifs imposs par lchantillonnage Comment accder au rpondant ?
Aller le chercher (aller chez lui, lappeler au tlphone) Profiter de son passage un point donn

Collecte automatique ou humaine ?

Contact humain direct : Porte--porte, Sondeurs dans la rue (attention leur
formation / motivation : impact fort)

Contact humain indirect : centre dappel (tablir un protocole prcis, acheter un fichier) : CATI (Computer-Assisted Telephone Interviewing) Auto-administration : questionnaire papier rendre ou renvoyer ou CAPI (.. Personal Interviewing), CAWI ( .. Web Interviewing)
23 Rmi BACHELET Centrale Lille mars 11
Utilisation ou copie interdites sans citation

mars-11

Outils de CAWI (Computer-Assisted Web Interviewing)

Le spam de ml
P.e. avec un questionnaire .doc en PJ
Trs rapide lancer, mais Lourd traiter : rponse re-saisir ..et non standardises Pas agrable de rpondre

Sphinx Online : un systme pro Avec Google documents, on peut crer et diffuser un questionnaire en quelques minutes
Ouvrir la consultation des rsultats aux rpondants Changer les questions la vole Gratuit

Rmi BACHELET Centrale Lille mars 11 des images : http://www.lesphinx-developpement.fr/ et ce blog Source Utilisation ou copie interdites sans citation

24

mars-11

Questionnaire : le contrle de validit

entreprendre avant toute interprtation Feedback et bilan sur le droulement de lenqute
Bilan avec les enquteurs, les rpondants.. Contrle de phnomnes parasites
effet enquteur Rpondant cochant systmatiquement la premire case

Les diffrentes questions portant sur une mme dimension sont-elles corrles ?
Ordre de grandeur : r > .30 Remonter aux causes, itrer sur une reconception
25 Rmi BACHELET Centrale Lille mars 11
Utilisation ou copie interdites sans citation

mars-11

Questionnaire : le dpouillement

Interprtation et analyse des rsultats, analyse

de la frquence, de la moyenne, et des moyennes croises de la variance et de l'cart type des coefficients de corrlation (rgression) log-linaire factorielle des correspondances en composantes principales et interprtation du test d'ajustement du chi-deux lexicale pour (questions ouvertes)

Dveloppes dans les cours venir

26 Rmi BACHELET Centrale Lille mars 11
Utilisation ou copie interdites sans citation

mars-11

Questionnaire : la diffusion et lexplication des rsultats

En fait, cest la phase dcisive de toute enqute/recherche, mais elle est souvent sousestime ou nglige
Diffusion des rponses brutes aux questions sans explications de la thorie et du modle sous-jacent
Ici : Une bonne faon dintroduire une enqute : prsentation des enjeux, questions-rponses argumentes

Limites de validit non expliques Enqute non contextualise : mode de collecte mystrieux, un vnement important survenu avant lenqute nest pas rappel, questionnaire complet non fourni au lecteur, exploitation de questions isoles Prsentation des rsultats dfaillante
trop simples (pourcentages), trop complexes (notions incomprhensibles pour le lecteur, pas dordres de grandeurs donns) trompeurs (mapping sduisant de lACP).

Non-contrle de la diffusion des rsultats

Lobjectif est de permettre au lecteur/client de se construire son opinion en pleine connaissance de cause.
27 Rmi BACHELET Centrale Lille mars 11
Utilisation ou copie interdites sans citation

mars-11

En conclusion : les risques chaque tape (1/2)

1. Dfinition de lobjet de lenqute et de la population cible

Le demandeur ne sait pas ce quil veut Caractrisation de la population cible incorrecte (trop large, trop restrictive) Ambitions trop larges par rapport aux moyens disponibles
Pas dexploration ou exploration bacle (pas de contact avec les bons experts, cobayes non reprsentatifs) Partialit Hypothses non explicites, objectif incorrect Mauvaise rdaction des questions ou des explications accompagnant le questionnaire, chelles incorrectes, biais de prsentation
28

2. Pr-enqute dexploration du sujet

3. Dfinition finale des objectifs et hypothses de lenqute 4. Mise au point du questionnaire

Rmi BACHELET Centrale Lille

mars 11

Utilisation ou copie interdites sans citation

mars-11

En conclusion : les risques chaque tape (2/2)

5. Test du questionnaire
Test trop sommaire (prfrer la prsence dun enquteur pour suivre et noter les ractions des rpondants en temps rel) Pas de suivi des prconisations (questions inutiles non supprimes, questions manquantes non ajoutes..)

6. Campagne de collecte de donnes

chantillon insuffisant ; campagne trop courte Protocole non respect (typiquement : formation des enquteurs insuffisante)

7. Bouclage de la campagne de collecte

Pas danalyse des non-rponses, ou des biais de lchantillon Donnes finales non valides / stockes sous forme exploitable Contexte de la collecte non mmoris

8. Dpouillement/analyse des rsultats

Partialit de lanalyste Mthodologies statistiques pas au point

9. Rapport final
Pas de thorie teste ou thorie/ intrt de ltude non expliqu Attention aux informations divulgues / confidentialit Ne prsente pas les limites de lenqute, ses mthodes Conclusions peu claires
29 Rmi BACHELET Centrale Lille mars 11
Utilisation ou copie interdites sans citation

mars-11

Questions ?

30 Rmi BACHELET Centrale Lille mars 11

Utilisation ou copie interdites sans citation

mars-11

Plan
Explorer ou vrifier ? Deux catgories dapproches ventails des dmarches de recueil de donnes Conception de questionnaires Techniques dentretien et reformulation L'Analyse Factorielle des Correspondances pour les nuls 6. Validit et Fiabilit des donnes 1. 2. 3. 4. 5.

31 Rmi BACHELET Centrale Lille mars 11

Utilisation ou copie interdites sans citation

mars-11

Rmi BACHELET

Enseignant-chercheur, Ecole Centrale de Lille Mon CV est disponible ici.

Mes principaux cours Centrale Gestion de projet, sociologie des organisations, recueil, analyse et traitement de donnes, prvention du plagiat, module de marchs financiers, cours de qualit et mthodes de rsolution de problmes, tablir des cartes conceptuelles, utiliser Wikipdia et CentraleWiki, formation au coaching pdagogique et l'encadrement 32 Rmi BACHELET Centrale Lille mars 11
Utilisation ou copie interdites sans citation