Sie sind auf Seite 1von 24

Sondages, statistiques, chiffres ne plus se faire avoir

Sondages, statistiques,
chiffres
ne plus se faire avoir
Les chiffres sont partout dans lactu, quelle soit politique, sociale, scientifique.
Les chiffres nous nervent, on sen mfie, ils nous choquent, ils provoquent des
ractions ou nous font reconsidrer la ralit. Un chiffre dabstention, un pour-
centage pour un parti, une savante statistique sur les comportements, et voil
que notre reprsentation des autres ou du contexte social peut changer : le
chiffre a ce pouvoir phnomnal de changer notre tat desprit, notre comporte-
ment, notre perception. Ou pas, si on les rejette en bloc et quon refuse de voir
travers leur prisme, prisme que lon sait entre les mains des puissants ; ou tout
simplement parce quon a t un cancre en math et que la seule vision dun calcul
nous replonge dans le cauchemar.

Aujourdhui, je veux vous montrer que sans grande connaissance ni matrise


approfondie, on peut non seulement ne plus tre sournoisement influenc par
les chiffres, quon peut les dcrypter dune autre faon, quon peut ne plus tre
nerv par eux, en faire un instrument de comprhension du monde et enlever
la domination quils ont sur nous. Ces outils et connaissances sont simples,
accessibles aux non-matheux.

Nous et les chiffres


Face aux chiffres, sondages, statistiques, on peut avoir diverses attitudes :

1. le rejet en bloc : cest que des conneries , cest truqu/faux , a ne sert


que les puissants , a ne sert qua nous manipuler , cela dforme la ralit
, etc. Le citoyen lambda comme luniversitaire militant peuvent adopter cette
position et donc refuser de parler des chiffres et demployer des chiffres. Cest
une raction face la quantophrnie de notre socit et nous la nommerons
quantophobie .

2. la quantophrnie : on veut tout chiffrer, le chiffre devient le principal argu-


ment dune mesure, la vrit est considre que lorsquelle peut tre chiffrage.
Ainsi, un argument nest pas considr sil na pas un chiffre/une statistique. La
quantophrnie peut apparatre comme une croyance profonde, par exemple les

hacking-social.com 1
Sondages, statistiques, chiffres ne plus se faire avoir

dirigeants dentreprise qui ne voient que la ralit via le benchmark (comparaison


des chiffres, direction via les chiffres), comme Laurence Parisot qui disait que
benchmarker cest la sant ou comme moyen pour justifier ses ides, ses actes,
ses mesures. Le chiffre est alors argument dautorit. Il peut aussi permettre de
rassurer la personne sur sa perception de la ralit (on pense au quantified self,
qui est une forme discipline de quantophrnie, o lon sapproprie les mthodes
statistiques pour soi-mme).

3. linconscience, cest--dire quon sen fout, mais que nanmoins il y a absorp-


tion des chiffres. Les chiffres, statistiques, sondages tant partout, le je men
fous est forcment une absorption inconsciente, sinon on atterrit dans la ca-
tgorie 1, la quantophobie, qui est une attitude active contre labsorption des
chiffres.

2 hacking-social.com
Sondages, statistiques, chiffres ne plus se faire avoir

videmment, ces profils ne sont pas figs : on peut tre inconscient certaines
donnes chiffres, tout en rejetant en bloc dautres, tout en tant quantophrne
sur certains points. On peut rejeter en bloc les sondages et pourtant, lors de dis-
cussions, ne cesser davancer des chiffres pour appuyer ses arguments. On peut
se quantifier soi-mme (quantified self) dans une dmarche de statactivisme
(lactivisme par les statistiques). Nous ne portons pas de jugement de valeur sur
la quantophobie ou la quantophrnie : ces attitudes peuvent tre justifiable sur
certains points, comme dtestable et tyrannique dans dautres. Linconscience
est par contre un problme majeur.
Notre position face aux sondages, statistiques et chiffres est neutre, car notre
intrt ici est de dcortiquer ce qui amne aux rsultats des sondages et statis-
tiques et de voir leur effet sur nous. Ce dcorticage nous permettra de voir o
sont les problmes et comment les dceler pour valider ou invalider un sondage
que lon vient de voir ; si on est sond, de comprendre les phnomnes luvre
lors du sondage et comment y ragir sils posent problme. Cette attention que
nous allons porter aux dtails permet davoir des bases pour sentraner vivre
en cohabitation avec les chiffres, sans pour autant quils nous influencent, nous
mettent dans une rage folle inutile et fatigante.

Tout commence par des


questions
Que se soit pour tablir des statistiques, des sondages, des enqutes lis au social
(sociologie, psychologie), la base mme de ces chiffres sobtient par des ques-
tions quon pose la population. Nous ne parlerons pas ici des statistiques obte-
nues par lobservation ou par des recueils informatiss (par exemple le nombre
dacheteurs dans un magasin o le calcul effectu par la caisse) : elles sont de
toute manire peut diffuse dans les mdias, qui recherchent plutt sonder
les opinions, opinions qui sont trs difficilement quantifiables via lobservation.
Donc ne les hassons pas pour a, le sondage reste le seul moyen accessible (en
question de temps et de finance) pour avoir une ide de lopinion dune popula-
tion. Par contre le concept dopinion dune population pourrait tre un sujet de
dbat, mais l nest pas la question que nous nous poserons aujourdhui.
La formulation des questions, leur vocabulaire, leur tournure, leur agencement,
toutes leurs caractristiques peuvent produire des effets, commettre volontai-
rement ou involontairement des influences sur nos rponses, sur les rponses
des interrogs. Le premier point, quon soit le sond, le questionn ou celui qui
observe le sondage ralis, est de passer en revue la forme des questions :

la ngation : ne pensez-vous pas quil faudrait interdire le fromage ? , pen-


sez-vous quil ne faudrait pas ne pas autoriser le fromage ? ou encore les doubles

hacking-social.com 3
Sondages, statistiques, chiffres ne plus se faire avoir

ngations telles que ne pensez-vous pas quil ne faudrait pas ne pas autoriser le
fromage ? ; imaginez prsent ces questions poses rapidement au tlphone
: soit on se prend la tte chercher les comprendre, soit on rpond linstinct,
parce quon na pas que a faire. Les ngations, doubles ngations, voire triples
ngations rendent les questions ardues voire incomprhensibles. Toute per-
sonne forme concevoir des questionnaires denqutes, des sondages, connat
normalement cette rgle lmentaire. Autrement dit, si vous voyez un jour une
telle question dans un sondage ralis cest quil est bidon, quelles que soient les
origines majestueuses de linstitution qui les a ralises, pour la seule raison que
les rponses, quelle quelles soient, ne seront reprsentatives que du hasard, de
lincomprhension ; et mme si le sond a fait un norme effort de rflexion, il
ne le refera sans doute plus pour les autres questions ce qui invalidera le reste
du sondage.

La positivit totalitaire : McDonalds, dans une enqute nationale sur le bien-


tre de ses salaris, le McForum a fait preuve de cette positivit totalitaire en
proposant ses salaris de rpondre ces propositions : mon restaurant est
un lieu de travail agrable je me sens en scurit dans mon restaurant ,
dans mon restaurant lambiance est conviviale, on sentend bien, quelle que soit
la fonction . il ny aucun choix exprim sous la forme ngative. Si on mettait
bout bout toutes les propositions, on obtiendrait lhistoire dun McDonalds par-
fait, merveilleux, sans aucun souci, avec des employs fiers, reconnus, travaillant
dans des conditions que tout le monde envierait. Cest videmment un norme
problme, car :

les questionns de tout poil on tendance, sur une longue srie de questions,
dire oui tout (= tendance lacquiescement). Les questionnaires srieux
le savent et, pour contrer cela, reformulent les propositions de diffrentes
manires. Par exemple pour mesurer si les gens se sentent en scurit leur
travail, il donnerait ces propositions je me sens en scurit au travail +
je me sens parfois en inscurit au travail ou je ne ressens pas de peur
quand je suis au travail + jai des craintes pour ma scurit dans certaines
situations au travail . Ainsi, le questionn ne se met pas en mode automa-
tique et sa rflexion est rveille par les diffrentes tournures de phrases.

ne proposer que des items (ici, des propositions laquelle il faut rpondre
daccord/pas daccord) positifs amorce un tat desprit positif : si on nous
donne des mots positifs, on pense positif, donc on carte inconsciemment
le ngatif. La question slectionne en nous le positif, cela demande un effort
supplmentaire de se dbarrasser de cet optimisme aveugle pour chercher
tous les aspects de la ralit. Effort quon a du mal tenir sur des dizaines de
questions daffile.

Un questionnaire ou un sondage qui est orient (tout positif ou tout ngatif) est
une manipulation ou une preuve dincomptence totale. Il ne cherche pas me-
surer quoi que ce soit, il cherche faire dire que tout va bien ou que tout va mal,
ce nest donc pas une enqute, cest une extorsion dopinion sa faveur.

4 hacking-social.com
Sondages, statistiques, chiffres ne plus se faire avoir

Un bon questionnaire ou un bon sondage comportera des questions neutres ou


des items positifs et ngatifs (mais simple comprendre) varis.

Document destination des managers Mcdonald's, "bilan" par restaurant du mcforum, avec les items merveilleux

Les questions-amorces : une question peut influer sur une autre question. Pre-
nons un exemple : la premire question du sondage est Quel est votre meilleur
souvenir de la prsidence de Jacques Chirac et la deuxime . Sur une chelle
de 1 10, dix signifiant lexcellence et un la mdiocrit, comment noteriez-vous
la prsidence de Jacques Chirac ? . Lamorce est ici flagrante : on active chez
le questionn un bon tat desprit, un souvenir bon, puis on enchane sur une
notation. Le questionn aura bien du mal tre objectif et valuera sur la base
du bon souvenir amorc par le sondeur. Les amorces sont gnralement moins
parlantes, parfois mme les sondeurs nont pas conscience que lenchanement
des questions cre une amorce. Quoi quil en soit, si on veut tre objectif quand
on est sond, il faut se remettre zro chaque question, ou du moins observer
les enchanements de questions : si le sondage a des buts inavous dorientation
de lopinion, cela passera notamment par ces techniques damorce. Quand on est
observateur dun sondage, on lest via un mdia : le mdia aura fait une coupe
dans le sondage, ne gardant que les questions saillantes, les gros chiffres. Via un
mdia, sauf sil est srieux, on ne peut gnralement pas observer lordre des
questions quont eu les questionns, il faut partir la source pour les retrouver.
Je vous conseille vivement daller la pche des sondages dans leur intgralit,
cela permet de traquer ces questions-amorces et ainsi bien dautres faits non
relays.

hacking-social.com 5
Sondages, statistiques, chiffres ne plus se faire avoir

Les questions vagues : en janvier, un membre de notre quipe avait t sond


par le CSA (image suivante) et une question lavait fait tiqu, juste titre Pour
chacune des personnalits suivantes, dites-moi si vous en avez plutt une image
positive ou plutt une image ngative ? Cette question est de nature faus-
ser les interprtations, car on peut avoir une bonne image dune personnalit,
mais tre en dsaccord sur ses projets/ses ides politiques. Les sondeurs ont ici
sous-estims les questionns : certains font le raccourci bonne image = adhsion
aux ides. On peut apprcier quelquun, tre ami avec lui, et pourtant ne pas par-
tager ses choix politiques. On force ici la confusion des apparences et du fond,
ce qui naide pas lever le dbat politique. On pourrait rsumer une phrase
cavalire ce genre de question force de prendre les gens pour des cons, ils le
deviennent .

Ici le seul rsultat vraiment intressant est le taux de NSP (ne se prononce pas)
de Jean Yves Le Drian: cela signifie que la moiti des sonds ne le connaissent pas
assez pour le juger (moiti, car nous rajoutons une petite marge de personnes
ayant sans doute mis une rponse au hasard ou avec peu de connaissances sur
la personne)

6 hacking-social.com
Sondages, statistiques, chiffres ne plus se faire avoir

Un bon questionnaire/sondage porte sur une seule ide la fois ; ici limage
est vague, il aurait fallu dcomposer en accord avec les ides politiques et
accord avec la personnalit ; limage est tellement vague que certaines per-
sonnes peuvent la confondre avec lapparence physique. Pour traquer ces flous
qui peuvent tre interprts de tout un tas de manires, il suffit de se poser la
question soi mme ou dessayer de dfinir lide mesure.

Les questions trop compliques : les questionns sont souvent mfiants en-
vers les questionnaires/sondages/sondeurs. Ils peroivent les questions comme
une interrogation type scolaire o il faut donner la bonne rponse, o ils vont
tre jugs sur leur rponse. Ce nest pas le cas, les sondeurs sont a priori form
pour tre absolument ouverts toutes les rponses et ne pas juger. Le problme
est que certaines questions renforcent cette impression dinterrogation, en sex-
primant comme un quizz de connaissances :

Deux ans plus tard, les enquteurs ont supprim le choix de rponses et les
questionns devait rpondre avec leur mots (ctait une question dite ouverte
) ; on voit alors quen fait une grande majorit des interrogs ne savaient pas ce
qutait le dveloppement durable :

hacking-social.com 7
Sondages, statistiques, chiffres ne plus se faire avoir

Parfois, une notion peut nous apparatre simple, mais ce nest pas le cas pour
toutes les personnes ; ds lors quon voit un sondage portant sur une question
complique, on peut supposer quune partie aura rpondu quelque chose sans
savoir, parce quavouer quon ne sait pas est parfois difficile pour certains. Dans
un sondage portant sur un chantillon reprsentatif (cest--dire des individus de
toutes catgories socioprofessionnelles, de 18 plus de 70 ans), et bien forc-
ment une partie dentre elles sera ignorante de certaines questions.

Les questions gnantes : un sondage ou questionnaire peut difficilement me-


surer avec exactitude les pratiques, les faits, les opinions lis la sexualit,
largent, ce qui nest pas dans les normes sociales (tre en accord avec le na-
zisme, soutenir le terrorisme, considrer la torture comme une bonne chose,
etc.). Pour le sexe par exemple, le chiffre du nombre de partenaires dans une vie
ne colle pas : il est trs haut pour les hommes, bas pour les femmes. Il exprime
surtout la norme sociale qui veut quun homme soit un don Juan contrai-
rement la femme qui ne doit pas tre une salope . Il faut donc que les en-
quteurs rivalisent dastuce pour faire dire la vrit, et cela mme propos des
revenus touchs, des intentions de vote : autrement dit, un simple sondage de
quatre questions ne sera certainement pas reprsentatif de la ralit, il faut une
tude plus pousse, cherchant ailleurs que dans les questionnaires les donnes

8 hacking-social.com
Sondages, statistiques, chiffres ne plus se faire avoir

et faits. Donc ne vous fiez absolument pas aux chiffres donns lis la sexualit
pour vous normer eux, se culpabiliser, culpabiliser votre partenaire ou vous
enorgueillir.

Le contexte lors de la
passation de lenqute
du sondage ou du
questionnaire
Face au sondeur
Il peut totalement influencer les rponses cause du biais de dsirabilit : on
veut naturellement plaire notre interlocuteur, ou du moins donner une bonne
impression, ne pas provoquer le dgot, le jugement ngatif chez lautre. Le r-
sultat est que face au sondeur, on nosera pas rpondre ne sait pas face
une question qui nous parat complexe et qui lui parat, son ton, vidente et
limpide. La rponse ne se prononce pas peut tre perue comme un rejet de
la discussion, donc on lvite tort pour ne pas dplaire, pour ne pas paratre
mchant . Or si on ne sait pas, mais quon se positionne, cest donc linconscient
qui choisit, donc toutes les infos glanes sans conscience la tlvision, dune
radio dans un magasin, dune discussion entendue. On rpondra quelque chose
qui fait bien , qui semble tre la mode, qui est conforme, qui est normal.
Parfois, on peut mme avoir une opinion trs tranche sur un sujet, mais par
biais de dsirabilit dire le contraire. Les enquteurs ont fait un test li ce biais
dont lhypothse pourrait tre formule ainsi si les gens ne disent pas leur opi-
nion par peur de dplaire, est-ce que si on leur montre quils ne dplaisent pas,
ils seront plus ouverts exprimer des opinions qui leur sont siennes, mais peu
avouables socialement ? .

Les enquteurs ont donc pos une question sensible avec pommade la
fin du questionnaire et ont compar les rsultats avec la mme question sans
pommade :

hacking-social.com 9
Sondages, statistiques, chiffres ne plus se faire avoir

10 hacking-social.com
Sondages, statistiques, chiffres ne plus se faire avoir

On a donc 12% qui nosaient peut-tre pas dire leur relle opinion, cest--dire
penser quil y a trop de libert en France. Cependant la formulation de la ques-
tion avec pommade peut faire penser au sond que la bonne rponse donner
est de dire quil y a trop de libert, donc le biais de dsirabilit est encore actif et
ce changement nest peut tre pas reprsentatif de la relle opinion, peut tre
que ces 12% sont des sans opinion qui changent de rponse selon ce qui pa-
rat tre normal linterlocuteur.

Quoi quil en soit, cet exemple montre quel point il peut tre difficile, sur des
questions dlicates, dobtenir le vrai avis des personnes, parce que beaucoup de
gens nont pas dopinions, expriment des avis en fonction des circonstances, de
ce quils ont entendu, de linterlocuteur, mais nont pas de convictions ou mme
eut une rflexion sur des sujets : on pourrait presque postuler que le sondage, le
questionnaire ne mesurent pas les avis, opinions, ides, mais les influences.

En cela il faut essayer dimaginer les questions poses par une personne trs
dsirable, lors dun dating : nous ne disons pas que les sondeurs sont des sduc-
teurs, cest juste un exercice dimagination pour dceler rapidement les ques-
tions qui orientent les rponses, car on peut avoir beaucoup de mal contredire
une personne quon veut sduire et qui est sduisante.

Au travail
Mais le contexte peut tre bien plus manipulatoire. McDonalds se vante souvent
davoir des employs heureux, reconnus, qui ont des carrires intressantes dont
ils sont satisfaits et fiers. Ces chiffres, ils les tiennent dune enqute chelle na-
tionale le Mcforum (oui, cest le mme dont nous avons parl dans la positi-
vit totalitaire ) o chacun des employs est sond. Officiellement, cela se passe
comme a :

les managers remettent tout le monde le questionnaire ainsi quune enve-


loppe spcialement ddie.
le salari remplit anonymement le questionnaire, sans surveillance.
le salari, sans passer par aucun intermdiaire, dpose le questionnaire dans
une urne scelle prvue cet effet.

En ralit, cela se passe ainsi (exemple compilant toutes les pires pratiques, mais
ce nest pas fictif) :

le manager ordonne au salari de remplir son questionnaire dans la salle


quipier (une salle de pause o il y a toujours du passage) ou dans un lieu du
restaurant, parfois sous lil des camras. Il ne lui donne pas lenveloppe.
le salari remplit difficilement le questionnaire, tout le monde linterrompt
pour lengueuler/lui dire quil faudra quil fasse a/lui demander ses horaires/
lui demander de faire des heures sup/plaisanter, etc.

hacking-social.com 11
Sondages, statistiques, chiffres ne plus se faire avoir

le manager rcupre le questionnaire. Le questionnaire nest donc plus ano-


nyme et peut tre lu par tous les membres de la direction. Le salari nest pas
dupe, alors il na rien os dire de mchant, sachant que cela lui serait retomb
dessus.
Plus tard, quand un restaurant un problme, le DRH fait semblant de ne pas
comprendre mais pourtant on fait des sondages et dans votre restaurant
tout va bien ! le sondage fait office dargument dautorit, ce qui permet de
ne pas rgler les problmes dudit restaurant et dostraciser ceux qui ont os
se rvolter contre le fait dtre, par exemple, harcels.

Et cela aussi des graphiques inutiles et infantilisants a destination des managers...

Le sondage sert galement le marketing : McDonalds rtablit son image en don-


nant un argument dautorit la population nos employs sont heureux plus
de 70% ; cela sert galement casser les rvoltes pourtant lgitimes par largu-
ment tout va bien 70% ; cela permet de continuer de faire tourner un sys-
tme, qui, sil nuit aux salaris, profite aux pontes, au profit de lentreprise.

Sur internet
Le contexte peut tre Internet. Au vu de ce que lon a dit, cela semble lidal : pas
de biais de dsirabilit, pas dinfluences par qui que ce soit, pas dinterruptions,
pas de honte exprimer son avis. Except pour des tudes scurises, trs pr-
cises, qui ne visent pas mesurer des opinions, cest le pire lieu pour mener
des enqutes/sondages mdiatises. Parce que les sites les plus srieux, les plus
renomms, les plus connus ou lis des mdias TV ne sont absolument pas s-
curiss : avec un peu dastuce (mme pas besoin de connaissance en hacking) on
peut voter toute la journe, changer les rsultats selon sa volont. Nous nallons
pas entrer dans le vif du sujet, tant donn que nous enqutons dessus, cepen-
dant voici un petit lien qui vous parlera de cette pratique : http://reflets.info/

12 hacking-social.com
Sondages, statistiques, chiffres ne plus se faire avoir

trucage-de-sondage-sur-france-3-la-presse-decouvre-lastroturfing/

Le trafic des sondages sur Internet nest pas un piphnomne, il y a un vrai tra-
vail de trafic des opinions, dense et massif, malhonnte, et qui touche galement
dautres sphres que les sondages.
Autrement dit, les sondages sur Internet ne sont pas lexpression de lopinion
dune population varie et diverse, mais de groupuscules extrmistes stant ne-
tocratiss et souhaitant manipuler lopinion, faire croire que la population a ses
ides (tout particulirement pour les questions trs politises). Ne vous fiez pas
eux pour mesurer lopinion de la socit.

Le choix des rponses


Gnralement on a pour les sondages, des rponses en chelle (notez entre 1
et 5 ; tout fait daccord/moyennement daccord/pas daccord ; etc.) ou le trio
oui/non/NSP (ne se prononce pas). Quand on observe un sondage ou quon est
questionn, il est important de voir si le NSP ou lintervalle moyen est prsent : si
ce nest pas prsent, cest quon veut vous forcer vous positionner. Ce nest pas
que le sondeur/lenquteur est sadique, cest quil veut srement viter lchec
de son enqute, parce que beaucoup de gens vont avoir tendance choisir tout
le temps des rponses moyennes ce qui au final ne mesurera pas grand-chose.
Mais il sait aussi que les questionns pourront, sans NSP, rpondre au hasard, ce
qui peut larranger sil a de mauvaises intentions : le hasard nexiste pas, on choi-
sira une rponse qui nous parat plus vidente, plus conformiste, plus familire.

Mais cela peut tre bien plus malhonnte : sur le Mcforum dont nous avons parl
prcdemment et qui tait dj au niveau des questions, du contexte, relative-
ment catastrophique, on a ce choix de rponse :

Q : la qualit de mon travail est reconnue.


R : tout fait daccord / daccord / pas daccord.

Vous saisissez le problme ? Il ny a pas dintervalle moyen, on na pas le droit de


ntre pas du tout daccord . Le choix de rponse est dsquilibr, le daccord
peut tre confondu avec un intervalle moyen, or il est une validation positive
de la proposition. On en revient donc ici aussi une positivit totalitaire , o
lemploy est pouss exprimer son accord avec les propositions merveilleuses,
mais certainement pas son dsaccord total. Cette erreur naurait pas t grave
si les propositions avaient t parfois ngatives, mais on la vu prcdemment, il
ny a que du positif.
Cest dautant plus grave que les enquteurs savent pertinemment que les ques-
tionns ont parfois tendance lacquiescement : on dit oui tous les items, parce
que dire non est toujours plus difficile, mme quand il sagit de cocher des propo-
sitions. Ici, avec le Mcforum, on a clairement une exploitation de cette tendance

hacking-social.com 13
Sondages, statistiques, chiffres ne plus se faire avoir

lacquiescement.

Une bonne enqute/un bon sondage aura donc une large gamme de rponses
possibles (trs positif/positif/neutre/ngatif/trs ngatif), avec des intervalles
moyens et un NSP. Sil y a plus de positif ou plus de ngatifs dans le choix des
rponses, pas de doute, lenqute cherche orienter les opinions pour des objec-
tifs qui ne sont en rien une mesure objective.

Linterprtation des rsultats


Faire passer des chiffres pour ce quils
ne sont pas
Gnralement, on prend connaissance dune statistique, dun sondage via les
mdias : on na quun faisceau restreint dune tude, parfois le mdia nen a reti-
r quun chiffre, chiffre qui a dj subi une interprtation. Prenons cet exemple :
Libration titre le 9 janvier 2012 Marine Le Pen, la candidate qui ravive la
flamme . Larticle se base sur un sondage de ViaVoice et linformation choc tire
des chiffres est Au final, 30% de personnes nexcluent pas de voter pour Marine
Le Pen ! Le chiffre est repris partout, mais tout le monde oublie lessentiel me-
sur par le sondage : (voir page suivante)

14 hacking-social.com
Sondages, statistiques, chiffres ne plus se faire avoir

Les 30% ont t obtenus en additionnant la rponse 1 + la rponse 2 + la rponse


3 : ce qui quivaut faire dire oui ceux qui ont dit non, probablement pas
! Libration, ainsi les sondeurs, sont aussi coupables lun que lautre : cest le
sondeur qui a mis en valeur ce calcul, cest Libration qui na pas regard au-del
et qui na pas exerc un regard critique. Lautre fait choquant est que larticle ne

hacking-social.com 15
Sondages, statistiques, chiffres ne plus se faire avoir

parle pas du score pourtant le plus saillant : 68% excluent radicalement de voter
pour Le Pen en 2012. Si lanalyse avait t un brin srieuse, elle naurait pris en
compte que la rponse 1 et la rponse 4, seules qui signifient clairement une
opinion : on aurait du avoir donc 8% sont daccord avec le fait de voir marine Le
Pen au pouvoir, 68% la refuse catgoriquement. On est bien loin dune flamme si
ravive quelle en a lair, du moins daprs ces chiffres, cette date.

Cest extrmement grave, car lopinion se forme sur la base de ces chiffres : mettre
en valeur des chiffres a des consquences, et de la part dun mdia de gauche
cest un comble de mettre en valeur un chiffre erron qui favorise lmergence
du clan adverse Il ne sagit pas dun complot, dune malveillance quelconque,
nous pensons simplement que cest un manque de srieux, desprit critique, de
rflexion. Mais cela nen est pas moins grave.

Un autre exemple dinterprtation douteuse bien connu est celui des chiffres du
chmage : les statistiques ne sont pas truques, elles sont justes dun point de
vue mathmatique. Le problme rside dans leur interprtation et la faon dont
elles sont brandies : ces chiffres seraient reprsentatifs du chmage en France,
ses baisses et ses hausses seraient dues des reprises demploi ou des arrives
au chmage ; le tout servirait aux politiques se vanter de leur politique ou dac-
cuser la politique du clan adverse au pouvoir ainsi quaux mdias afin de faire des
gros titres racoleurs/dramatiques. Or, la population commence bien le savoir,
les chiffres du chmage ne mesurent quun aspect du chmage et ses baisses et
ses hausses ne sont pas forcment signe dune fin ou reprise de chmage :

les statistiques du chmage ne mesurent que la catgorie A , cest--dire


les chmeurs qui nont pas du tout travaill durant un temps ; donc sont ex-
clus des chiffres du chmage ceux qui ont travaill ne serait-ce quune heure
dans le mois, les stagiaires, les intrimaires, ceux qui sont en formation, ceux
qui sont au chmage, mais qui ne sont pas inscrit au pole emploi.
les statistiques du chmage ne prsentent que le chmage dans lhexagone,
ce qui carte des chiffres beaucoup de chmeurs franais.
Les baisses enregistres ne sont parfois dues qu des changements de ca-
tgories, des radiations ou des erreurs administratives/informatiques.

Il faut savoir que durant la transition ANPE > ple emploi, voire avant, il y avait
une vraie politique de radiation, un objectif de faire baisser la catgorie A par
tout les moyens (radiation, envoi en stage/formation bidon, etc.), sachant que
le moyen le plus simple ntait videmment pas de trouver un emploi dcent
au chmeur. Attention, il ne sagissait pas dun sadisme venant des agents, mais
bien des directives venant den haut ; certains agents racontent mme que, se
sentant coupable, il faisait tout pour aider les chmeurs ne pas se faire radier
en diffusant leurs savoirs administratifs sur le Net.
Il semblerait que cette politique se soit adoucie depuis les tragiques immolations
: les courriers sont moins froidement agressifs, plus de dlais sont accords pour
pointer.

16 hacking-social.com
Sondages, statistiques, chiffres ne plus se faire avoir

Corrlations illusoires
On a peu parl des chiffres provenant des recherches et tudes, parce que g-
nralement les protocoles sont trs stricts et les mesures sont prcises, en labo-
ratoire, donc cadres. De plus, ce ne sont pas les chiffres les plus utiliss pour
orienter les opinions.
Cependant, linterprtation des tudes, par les mdias, est sujette des erreurs,
notamment quand les chercheurs livrent des corrlations : par exemple, que les
joueurs de jeux vido ont plus le cancer, que les personnes au plus haut QI ont
plus de chances de se droguer, que les gens minces prennent des petits djeu-
ners, etc.
Le mdia sapproprie la corrlation et transforme le tout pour maigrir, il faut
prendre un petit djeuner par exemple. Cest une erreur dinterprtation : ce
nest pas parce que deux donnes sont corrles (ici la minceur et la prise de
petit djeuner) quelles sont lies significativement : peut tre que les personnes
qui prennent un petit djeuner le font parce quelles ont une activit physique le
matin, en cas cest lactivit physique qui les maintient minces, pas le petit djeu-
ner. Et inversement, les personnes qui ne prennent pas de petit djeuner ne res-
sentent pas le besoin de salimenter ce moment-l parce que justement elles
ne font rien de physique le matin, donc cest cette absence dactivit qui les fait
moins minces que les autres.
Une corrlation est pour le chercheur, un appel chercher plus loin des causes
effets, trouver dautres pistes qui expliquent la bizarrerie de cette corrlation ;
ce nest en rien une conclusion comme le font croire les grands titres de certains
mdias.
Ce nest pas parce que le mdia mettant en valeur ces corrlations illusoires est
idiot, cest uniquement une question de capter lattention : les corrlations illu-
soires souvent tonnantes, choquantes, bizarres et provoquent la curiosit des
lecteurs/tlspectateurs assez rapidement.
Si vous voulez vous aussi jouer au jeu des corrlations illusoires et dcouvrir que
Plus Nicolas Cage apparat dans des films, plus le nombre de morts noys dans
une piscine augmente , plus on consomme de la margarine, plus le taux de
divorce augmente dans le Maine je vous conseille ce lien trs ludique : http://
rue89.nouvelobs.com/2014/05/12/selon-etude-americaine-plus-mange-fro-
mage-plus-meurt-etouffe-lit-252095

videmment, il arrive galement que des politiciens, des intellectuels ou toute


personnalit publique cherchant convaincre, peut faire usage, dans son dis-
cours, des corrlations illusoires : par exemple lier un chiffre de dlinquance
une catgorie de la population (or la plus grosse corrlation est celle de la si-
tuation financire/sociale), lier le taux de chmage une cause particulire, etc.
Quoi quil en soit, mfiez-vous des liens trop simples : on ne peut pas justifier un
fait norme comme le chmage, la dlinquance avec une seule donne, un seul
coupable, un seul fait. En laboratoire, en contrlant tout lenvironnement, en ca-
drant strictement une situation, on peut isoler une cause produisant un effet (et
encore, cest parfois bien difficile) ; pas dans un pays avec des centaines de mil-
liers de personnes diffrentes, avec des centaines dhectares de lieux diffrents,
avec des milliards de situations radicalement diffrentes et incontrlables.

hacking-social.com 17
Sondages, statistiques, chiffres ne plus se faire avoir

Comparaisons

On entend souvent les politiciens comparer notre situation celles dautres


pays, mettre en rapport deux statistiques : par exemple on compare les sa-
laires moyens et cette comparaison sert ensuite justifier une attitude, une prise
de position. Or l encore, il est impossible dtablir une comparaison statistique
juste en se basant sur le salaire moyen dun pays et dun autre : le cot de la vie
y est diffrent, les aides de ltat diffrentes, la situation chmage/emploi est
diffrente, le taux horaire est sans doute diffrent, etc. Une comparaison valable
demande de prendre en compte des dizaines de facteurs diffrents ou davoir
des situations strictement identiques, ce qui est absolument impossible entre
deux pays mme sils semblent proches de nombreux points de vue.

Le cadre de la statistique cloisonne donc


oriente les interprtations

Quand on dcide de rcolter un chiffre, on pose un cadre et cela une vise


particulire : on compte son temps de jogging pour tre certain davoir fait as-
sez deffort pour maigrir/entretenir sa sant ; on compte les calories pour tre
certain de manger moins, etc. Il y a une hypothse sous-jacente toute rcolte
de chiffre, hypothse qui est oriente par nos croyances, notre culture : si je
mange tant de calories par jour, je maigrirais, pourrait tre cette hypothse, hy-
pothse qui est lie nous, ce que nous avons rcolt comme informations
au sujet des rgimes. Cette hypothse en exclut dautres, par exemple le fait de
faire confiance sa satit, ou le sentiment de satisfaction des repas. Donc, il y a
forcment dans la rcolte dune donne une orientation, des croyances, des biais
culturels et des volonts qui viennent influencer les donnes : en recherche, on
ne veut absolument pas orienter les rsultats, on cherche lobjectivit, cependant
on est conscient que quelles que soient les prcautions quon peut prendre, on
influencera les rsultats de par le cadre quon aura pos. Mais heureusement, la
recherche a un systme de fonctionnement qui permet de contrebalancer ces
biais : je postule ceci > jobtiens ceci > Untel contredit mes rsultats avec cela >
jobtiens cela qui fait changer ceci > on peut donc faire un nouveau postulat avec
les donnes qui ont t vrifies et celles qui ont t contredite.

La contradiction des rsultats en science est fondamentale lavance de la re-


cherche, or, concernant les statistiques, les sondages, qui fait ce travail de n-
cessaire contradiction ? Il semblerait que notre poque ait un grand besoin de
statactivisme, de statistiques venant contredire, faisant contre pouvoir celles
qui ont trop de place. Cela peut tre, par exemple, comme le font les syndicats

18 hacking-social.com
Sondages, statistiques, chiffres ne plus se faire avoir

depuis quelques annes, de compter le nombre de suicides lis au travail.


Mais ce nest pas le seul problme. Les enqutes, les sondages sont parfois r-
aliss par des commanditaires qui ont des intrts certains rsultats et pas
dautres. Le McForum dont nous avons parl longuement en est un exemple : on
fait produire un chiffre qui nous plat et qui sert de justification, dargument dau-
torit. Et personne ne peut le contredire, car oui en effet, lchantillonnage est
correct, les calculs sont corrects. Mais tout est orient. Seul un contre sondage
pourrait le mettre mal, or je ne connais pas de police des statistiques ce
jour, pourtant au vu de leur effet sur la population, leur usage par les politiques,
il y aurait de quoi mettre beaucoup damendes.
Prenons un exemple autre de statistique dont le cadre cloisonn nous manipule :
vous avez peut tre entendu cette information : les agressions en milieu scolaire
seraient plus nombreuses venant des parents dlves sur la hirarchie que des
lves eux-mmes. Prs dun directeur dcole sur deux aurait t agress par
des parents. Oui, mais voil, do sort ce chiffre ? Par chance, il reste encore des
mdias qui, avant de rpter linformation quon leur susurre loreille, cherchent
un peu plus loin :

La source ? [du chiffre dun directeur sur deux agress par les parents] une
enqute de Fotinos, donc, soutenue par la Casden, la banque des profs ( noter
dailleurs que le march de lassurance contre les agressions explose chez les
profs. vous dtablir un rapport entre les deux faits). [] Mais surtout, on ap-
prenait, en lisant dans Le Parisien le dtail des rponses, que ces agressions
regroupaient la fois les agressions physiques (0,7%) et le harclement (38%),
la grande majorit des directeurs dclarant avoir subi les faits au moins une
fois. Autrement dit, un directeur dcole ayant reu, dans lanne prcdente,
des remarques un peu vives propos dune note ou dune punition dun chru-
bin, entraient dans le grand total des directeurs agresss . [] Encore mieux,
on apprend ce mercredi matin, sur le blog de Laurent Borredon, du Monde (notre
invit de la semaine dernire), que le mot dagression ne figurait pas dans
le questionnaire soumis aux directeurs dcole. Quant lenqute, elle ne repo-
sait pas sur des plaintes, mais sur le ressenti des victimes, les fameuses
enqutes de victimation , que Fotinos dcrit ainsi au Monde : Les personnes
interroges peuvent dclarer ce quelles veulent. Mais cela permet dapprocher
dune certaine forme de vrit. Attentivement cout par le matinaute, le jour-
nal de France Inter na pas rectifi ce mercredi matin. 13 heures, peut-tre
? vue de nez, et selon les enqutes de victimation d@si, on peut donc esti-
mer que prs dun auditeur-tlspectateur-internaute sur deux aura t agress
par une fausse nouvelle mardi matin. Sinistre contre lequel, hlas, il nexiste pas
dassurance (mis part, videmment, ce remde [lien vers labonnement dar-
rt sur images], non rembours par la Scu, hlas). http://rue89.nouvelobs.
com/2014/04/30/sondage-auditeur-deux-agresse-info-bidon-251854

Plutt que de snerver sur les mdias balanant des chiffres vulgariss lex-
trme, sans citer les sources, voyons cela comme un indicateur pour tester le
mdia : un mdia qui cite ses sources, donne le dtail des rsultats amenant un
chiffre, qui peut consacrer presque un paragraphe en dtail chiants pour ex-

hacking-social.com 19
Sondages, statistiques, chiffres ne plus se faire avoir

pliquer le contexte du chiffre, est un bien meilleur mdia que celui qui balance un
chiffre spectaculaire pour son audimat.

Les consquences des


sondages ou statistiques
Le chiffre est pris en tant quargument dautorit servant valider une mesure
politique, justifier des actes, dire ce qui est normal et ce qui ne lest pas, dire
ce qui est vrai et ce qui ne lest pas. Cet argument dautorit modifiera la ralit,
mme sil repose sur du vent, il changera les comportements, orientera vers un
parti plus quun autre, mettra les influenc dans des tats desprit particuliers (la
peur, la colre, la haine des sentiments qui rendent les gens manipulables, car
leur esprit critique est alors neutralis par les sentiments). Cet argument dauto-
rit est utilis par les politiques (ceux au pouvoir, ainsi que les opposants et ceux
qui aspirent connatre le pouvoir), les mdias peu soucieux (la TV tout particu-
lirement), mais galement le citoyen lambda qui veut convertir son prochain
ses ides.

le chiffre est une preuve sociale. 98% des clients lont test et approuv
le marketing regorge de chiffres-preuve-sociale parce que ces preuves fonc-
tionnent : nous sommes des animaux vivants en socit, nous avons volu parce
que nous nous sommes reposs les uns sur les autres, donc si une majorit dit
que cest bon, nous la croyons, encore plus si nous navons pas dinformations
pour juger. Par exemple, si on arrive dans une ville inconnue et quon cherche un
bon restaurant, on va se baser sur la preuve sociale : le nombre de personnes
assises dans le restaurant ; sil est plein, cest quil doit tre bon ; on peut opter
pour une recherche internet : si beaucoup de personnes ont bien not le res-
taurant, cest quil doit tre bon. Dans les deux cas, il sagit dune dcision base
sur la preuve sociale, et ce ne sera pas forcment une mauvaise dcision, dail-
leurs. Cependant, parfois le groupe, la majorit nen sait pas plus que lindividu et
mme si elle se positionne pour dcrter que ceci est le meilleur, ce ne sera pas
forcment objectif :

Un psychologue, Matthew Salganik, a ralis un sondage sur Internet auprs


de 14 000 personnes. Ces personnes devaient se connecter un site o appa-
raissait une liste de morceaux de musique tlchargeables, non encore commer-
cialiss, si bien quaucune de ces personnes ne pouvait les avoir entendus avant
lexprience.
Les volontaires devaient couter des extraits de ces morceaux de musique et
indiquer leur ordre de prfrence. Paralllement, on ralisait un sondage en di-
rect : les ordres de prfrence des divers internautes taient collects pour crer

20 hacking-social.com
Sondages, statistiques, chiffres ne plus se faire avoir

un hit-parade des morceaux les plus apprcis, comme un sondage politique,


avec un morceau occupant la tte du sondage, un autre en deuxime position,
etc.
Dans une premire version de lexprience, les rsultats du sondage taient
affichs pendant que les internautes faisaient leur choix. On a alors constat
quun titre de chanson se dtachait clairement des autres en quelques heures,
occupant la tte du sondage. Les internautes taient inuencs dans leur vote
par les rsultats du sondage en cours. Comme tous les morceaux de musique se
valaient, ils ne savaient pas trs bien quoi choisir et avaient tendance choisir le
morceau qui semblait meilleur que les autres au vu du sondage. Et bien en-
tendu, plus le morceau se dtachait, plus ce phnomne sampliait, si bien que
des carts importants sont apparus.
Ce phnomne ntait pas d une qualit musicale particulire du morceau,
puisque lexprience, rpte plusieurs fois, a vu se dtacher chaque fois un
morceau diffrent.
En revanche, dans une seconde version de lexprience, les rsultats du son-
dage en cours ntaient pas communiqus aux internautes pendant quils fai-
saient leur choix. Dans ces conditions, aucun titre ne sest dtach.
Ainsi, cest la connaissance du sondage en cours qui produit des carts, avec des
personnages ou des produits qui se dtachent spontanment des autres dans la
liste des prfrences. Lorsque nous sommes interrogs dans un sondage, et que
lon nous demande si nous avons un avis favorable sur telle ou telle autre person-
nalit politique, nous avons connaissance (plus ou moins clairement) de la ten-
dance actuelle relaye par les sondages rcents dans la presse ou la tlvision.
Nous avons alors tendance, statistiquement, citer le nom de la personne qui
vogue en tte des sondages, ce qui la porte encore plus haut. Cette personnalit
na pas besoin de sillustrer par des qualits ou des actions particulirement ex-
ceptionnelles pour que cet emballement se mette en route. Lemballement sen-
clenche naturellement, en se focalisant sur nimporte quel nom a priori, pourvu
que ce dernier ne soit pas associ des sentiments trop ngatifs, par exemple li
des scandales. Leffet sondage rsulte en fait dune petite tendance grgaire
de ltre humain. On peut donc dire que la publication du sondage entrane sa
propre ralisation.

On en a parl galement ici : https://youtu.be/pAIAGTGt0Pc

hacking-social.com 21
Sondages, statistiques, chiffres ne plus se faire avoir

Que faire ?
considrer que les sondages sur Internet sont caducs : la majorit des sites
ne scurisent en rien cette collecte de donnes et des groupuscules, des indivi-
dus en profitent pour les trafiquer. Mme les sondages Internet comme ceux des
chanes TV, passant dans leur journal, sont des passoires ; de mme, les mdias
qui utilisent les sondages sur Internet pour argumenter leurs articles sont peu
scrupuleux, peu rigoureux. Lutilisation des sondages Internet est un indicateur
du mdia viter ; et inversement, celui qui nutilise pas ce genre de chiffre pro-
venant du Net est sans doute plus srieux.

si un sondage vous intresse, vous pouvez aller directement voir sa source


avant de lire larticle qui le dcrit : normalement, le mdia donne les rfrences
et on trouve facilement les PDF en ligne. Ils sont trs faciles lire, trs explicites,
il ny a rien de compliqu dans leur visionnage. Les lire avant larticle vous permet
de vous faire une ide vous avant que le mdia vous oriente. La comparaison
sondage-article qui en parle est trs instructive sur le mdia, vous risquez davoir
de belles surprises faire ce petit exercice.

on peut guetter le commanditaire du sondage, linvestigateur dune enqute


afin de voir sil y a un intrt autre que la simple mesure.

on peut inspecter un minimum la mthodologie du questionnaire : sur com-


bien de personnes a-t-il port ? (En principe, plus y a de monde plus cest repr-
sentatif, mais ce nest pas vrai dans le cas des sondages internet par exemple) ;
les personnes taient volontaires ou non ? (si elles se sont portes volontaires,
certaines sont peut-tre engages et veulent faire passer des ides qui ne sont
peut-tre pas reprsentatives de la majorit). Nul besoin den tirer une conclu-
sion, il faut juste garder ces donnes en tte, elles permettent parfois de com-
prendre la suite du sondage.

quand vous tes face au sondage, vous pouvez repenser tout ce dont on
a parl : les questions sont-elles claires ? Peut-on les interprter de diffrentes
faons ? Sont-elles gnantes ? Est-ce quon a envie dy rpondre sincrement ou
de mentir ? Dans quel tat desprit ces questions pourraient nous mettre ? Quelle
histoire raconte lenchanement des questions ? Le choix des rponses est-il suf-
fisamment large ? Est-ce que la marginalit est permise par les questions et r-
ponses ? Si le sondeur tait Johnny Depp/Angelina Jolie, quest-ce que jaurais
rpondu ?

les rsultats du sondage peuvent tre de diverses natures : le sond fait


plaisir au sondeur, le sond rpte son influence (il donne des rponses que
les mdias auraient pu donner), le sond donne son opinion. On peut prendre
en considration les trois et faire la part des choses. Un bon moyen de dmler
les influences des opinions est de chercher les incohrences, les contradictions.

22 hacking-social.com
Sondages, statistiques, chiffres ne plus se faire avoir

Ces problmes de logique sont gnralement bien plus signifiants que les
gros chiffres, autant sur ce que peuvent penser les personnes que linfluence
des mdias ou du sondage lui-mme. Un exemple : les Franais sont de plus en
plus dmotivs au travail, mais heureux ce paradoxe appelle linspection du
sondage !

avant de diffuser, partager, bloguer, parler dun chiffre, dun sondage, dune
statistique, ou toute autre information, il est inconscient de ne pas avoir lu le
sondage, lu larticle et rflchit. Cest un problme parce que partager sur Face-
book, Twitter ou IRL sans ce travail va vous dcrdibiliser chez ceux qui eux,
lisent et rflchissent. Cela peut vous coller une tiquette dont vous ne voulez
pas, en diffusant des informations partisanes qui ne collent pas vos opinions :
pour prendre une mtaphore, cest comme si vous accrochiez dans votre salon
et votre travail la photo dun homme politique et que vous disiez ceux qui la
regarde (dont vos futurs recruteurs ou futurs amants) que vous laimez, alors
quen fait vous le dtestez.

vous pouvez apprendre aimer le sans avis , le je ne sais pas , le je nai


pas dopinion . Il ny a pas de honte ne pas savoir ou ne pas stre positionn
: on ne peut pas se proccuper de toutes les affaires du monde, on ne peut tout
savoir, on ne peut pas avoir le temps de stre interrog sur tous les problmes.
Choisir NSP , ce nest pas dire lautre quon est idiot, bien au contraire, cest
ne pas faire lerreur de dire une connerie quon regrettera par la suite. Se posi-
tionner pour viter de dire que lon ne sait pas est le meilleur moyen de se piger
soi-mme, de se tromper, de savouer soi-mme sa btise. Lintelligence, cest
aussi de reconnatre quon ne peut pas fournir de rflexion sur un sujet, car on
vite l des erreurs. Si cela peut vous motiver, mme le dala-lama, quand on
le questionne sur certains sujets, https://www.youtube.com/watch?v=apbdz-
SOIvc4 rpond parfois quil ne sait pas. Une autre motivation est que le NSP em-
bte les sondeurs : le NSP est donc un bon moyen de rpondre des questions
suspectes, idiotes ou inappropries.

si le problme des chiffres vous tient un peu plus cur et que vous voulez
passer laction, je conseille vivement de vous renseigner sur le statactivisme.

A linverse de la quantophrnie, je ne pense pas que la quantophobie soit plus


approprie : les chiffres gouvernent tout, le dnier, les refuser, ne fait que les aider
prendre encore plus de place et les laissent gouverner tout. En cela, le statacti-
visme pourrait tre une attitude plus constructive, permettrait un contre-pouvoir
et une rappropriation de cet instrument de puissant quest la statistique. Par
exemple, plutt que de rler sur des chiffres impossibles atteindre au travail et
les dnier, autant en produire dautres et les opposer celui qui pose problme
: nombre de rprimandes injustifiables subies durant la journe, nombre dinter-
ruptions cassant le rythme du travail, nombre de clients malpolis, etc. Compter
est la porte de tous, mais compter plusieurs, cest encore mieux.

hacking-social.com 23
Sondages, statistiques, chiffres ne plus se faire avoir

Sources :
provenance des sondages en images :

[veritometre ; les mdias devraient tous sinspirer du malheureusement dfunt


owni] http://owni.fr/2012/05/03/veritometre-debat-hollande-sarkozy/
[expriences passionnantes sur la formulation des questions ] http://cedric.
cnam.fr/~saporta/Rapport%20_CREDOC_C206.pdf
[jeu : saurez-vous retrouver les chiffres importants manquants dans cet article?
] http://www.liberation.fr/politiques/2012/01/09/marine-le-pen-la-candi-
date-qui-ravive-la-flamme_786940
[corrlations illusoires Lol] http://rue89.nouvelobs.com/2014/05/12/selon-
etude-americaine-plus-mange-fromage-plus-meurt-etouffe-lit-252095

au sujet du ple emploi, qui avait pour directive de radier un maximum :


confessions dune taupe ple emploi Gal Guiselin et Aude Rossigneux ; 183
jours dans la barbarie ordinaire Marion Bergeron ; et expriences + nombreux
tmoignages de radiation parfaitement injustifies.

24 hacking-social.com

Das könnte Ihnen auch gefallen