-1-

Docimologie
Andr QUINTON

________
Introduction
La docimologie est la science des examens. Le terme a t cr par Henri PIERON partir du grec dokime signifiant preuve. Les preuves ont une importance majeure dans deux circonstances : - au terme d'un enseignement ou d'une formation o elles valuent les performances des tudiants et l'enseignement, - au dbut d'un enseignement ou d'une formation, lors d'un recrutement professionnel, souvent avec un objectif de slection (concours ou recrutement un niveau donn), o elles valuent les pr-requis d'un apprentissage antrieur, autodidacte ou fruit d'un enseignement. Les contenus et les modalits des preuves ( condition qu'ils soient connus) constituent les objectifs de fait d'un enseignement, d'une formation. Il est indispensable qu'il y ait une forte cohrence entre des objectifs avancs et les preuves ; en cas de discordance, pour les tudiants, russir les preuves devient l'unique objectif. Les contenus et les modalits des preuves dterminent les modalits d'apprentissage. L'objectif des tudiants tant de satisfaire aux preuves, ils adoptent naturellement les stratgies qu'ils estiment les plus efficaces et les plus efficientes pour russir. En cas de discordances entre les modalits d'une formation et celles de prparation des preuves, les tudiants privilgient la prparation des preuves. Lorsque les preuves et l'enseignement ne correspondent pas aux besoins, l'apprentissage des tudiants s'effectue en marge de la formation ou devient autodidacte. Un minimum d'nergie est mis en uvre pour satisfaire aux examens. Les modalits des contrles des connaissances constituent un indicateur objectif et simple de l'valuation d'un enseignement.

Besoins Etudiants ont acquis des comptences

Contrle des performances

Evaluation

Finalits & objectifs

Pr-requis des tudiants Modalits

D.U. de Pdagogie Mai 2005

-2-

Plan

1 - Examens et concours - Examens classants 2 - Les deux fonctions dvaluation des preuves : formative et certificative 3 - Les qualits dun bon examen : Validit - Objectivit Fiabilit 4- Les grands types dpreuves 4 - 1 - Questions rdactionnelles 4 - 2 - Questions conduisant une rponse ouverte et courte (Q.R.O.C.) 4 - 3 - Questions choix multiples de rponse (Q.C.M.) 4 - 4 - Epreuves de travaux pratiques 4 - 5 - Epreuves orales 4 - 6 - Mises en situations fictives ou relles 4 - 7 - Examen Clinique Objectif Structur (E.C.O.S.) 4 - 8 - Choix des preuves 5 - Examen final et contrle continu 6 - Epreuves avec utilisation de documents (ressources). 7 - Correction des preuves rdactionnelles 8 Notation des questions et des preuves 9 - Analyse docimologique des preuves : indicateurs quantitatifs et qualitatifs. 10 - Conclusion

1 Examens et Concours. Examens classants et concours dguiss.

Examens Dans un examen tous les tudiants ayant les capacits de suivre et ayant travaill peuvent satisfaire au contrle des connaissances l o l'enseignement a des objectifs clairs, des modalits (cours, ED, etc) adaptes, des preuves pertinentes. Il n'y a pas de limite impose au nombre de reus. Concours Le nombre de candidats admettre tant fix lavance, le concours fait une slection. Pour les candidats un concours, il y a en gnral plus d'incertitude sur la qualit des rponses attendues des correcteurs si ceux-ci ne sont pas les enseignants des matires sur lesquelles portent les preuves. Dans certains concours administratifs, les candidats se prparent seuls ; il n'y a pas d'enseignement, seuls sont donns un programme et des indications gnrales. Examens classants Ce sont des examens donnant lieu un classement dont dpend le choix de l'orientation ultrieure. Ils ont donc deux rles : valider une formation, mais aussi tablir par le classement une slection. Concours dguiss en examens. Dans des formations sans concours dentre mais aux dbouchs limits la slection sopre par tapes au travers d'examens difficiles et la ralisation de thses de 3 cycle. 2 - Evaluation formative et valuation certificative. - L'valuation formative, en cours de formation, permet : - l'tudiant, d'valuer les rsultats de son travail d'apprendre, de situer le niveau de ses connaissances par rapport ses efforts et par rapport aux autres, - l'enseignant, d'valuer la qualit et le niveau de son enseignement et, si ncessaire, d'en modifier le contenu ou les modalits. - L'valuation certificative est destine l'tudiant et la socit. Elle certifie l'tudiant qu'il a acquis des comptences, et la socit qu'elle peut faire confiance au dtenteur du diplme.

D.U. de Pdagogie Mai 2005

-3-

Dlivrer un diplme engage une universit bien au-del du contrat pdagogique avec l'tudiant. Dlivrer un diplme validant lacquisition de connaissances engage la responsabilit de la structure (Ecole, Universit, Institut) et des enseignants qui le dispensent vis vis des tudiants et de la socit. 3 Les qualits d'une bonne preuve sont d'tre valide, objective, fiable. La pdagogie tant issue de la psychologie, des pdagogues ont assimil les examens aux tests de la psychologie comportementale. C'est l l'origine des qualits exiges des preuves, la validit, l'objectivit, la fiabilit. Validit Une preuve est valide ou pertinente si elle mesure rellement ce quelle est cense mesurer. Pour certifier la comptence d'un tudiant la ralisation d'une activit, technique ou intellectuelle, il faut le mettre dans une situation concrte. Objectivit Une preuve est objective si des corrections par des correcteurs diffrents, ou deux corrections par le mme correcteur quelques jours ou semaines d'intervalle, donnent des rsultats identiques. L'objectivit est indispensable pour un concours. Le garant de l'objectivit d'une preuve est soit sa nature (Q.C.M. pour les preuves crites, ralisation d'un acte suivant les normes bien tablies), soit la rigueur apporte dans la correction grce une grille de correction. En cas de concours la double correction avec un arbitrage en cas d'cart significatif entre les corrections de deux correcteurs apporte une garantie supplmentaire d'objectivit. Plus loin nous verrons qu'il est difficile de rpondre la fois aux deux critres de validit et d'objectivit. Fiabilit
La fiabilit d'un test est dmontre lorsqu'on obtient les mmes rsultats en soumettant plusieurs fois les mmes sujets aux mmes preuves et dans les mmes conditions. Cette qualit ne s'applique qu'aux situations exprimentales dont on contrle tous les paramtres. Dans les examens auxquels sont soumis les tudiants, une mthodologie exprimentale tudiant la fiabilit, dmontrerait probablement qu'elle est un idal inaccessible du fait de l'impossibilit de reproduire des conditions identiques. Les tudiants doutent toujours de la fiabilit d'un examen ou d'un concours comme le dmontrent les protestations que suscite le fait de recommencer une preuve cause d'une erreur matrielle.

4- Les grands types dpreuves 4 - 1 - Questions choix multiples de rponse ( Q.C.M.). Ce mode dpreuve a t le plus explor. Structure Un libell est suivi d'une question dont on choisit la ou les bonnes rponse(s) parmi 3, 4 ou 5 propositions (rarement plus). A ct de la ou des bonne(s) rponse(s) il faut des leurres crdibles. Avantages - Facilit de correction et possible automatisation ont fait le succs des QCM. - Possibilit de balayer tout le champ dun enseignement. - La correction d'une QCM est fiable et objective, et il y a aisment possibilit de faire des tudes statistiques sur les rsultats.

D.U. de Pdagogie Mai 2005

-4-

Inconvnients : exercice artificiel et mauvaise utilisation - Exercice artificiel - Lexercice est artificiel, l'offre d'un choix de rponses ne fait pas appel la rflexion spontane. - Mauvaise utilisation - Simple, la mthode est pnalise par sa mauvaise utilisation. - Il est difficile de rdiger des QCM sans ambigut, comportant toutes les donnes ncessaires, avec de vrais leurres. - On attache tort aux QCM la notion de rapidit de rponses, ce qui ne permet de tester que la mmoire ou des automatismes. Il est possible d'exposer un problme difficile et de poser une QCM ncessitant plusieurs minutes de rflexion. Les QCM simplistes sont des QCM bcles. La mthode a donn lieu des variantes si sophistiques quun entranement et une grande vigilance sont ncessaires pour viter une erreur de forme dans la rdaction et la rponse. Q.C.M. en cascade Aprs qu'une situation ait t prsente le questionnement s'effectue par une srie de QCM, chacune prcde d'un libell complmentaire donnant de nouvelles informations.. Les difficults sont nombreuses : - pour raliser d'authentiques cascades il ne faut pas poser une suite de questions trs gnrales sur la situation, ramenant ainsi son libell une prsentation de thme, - il faut veiller ne pas apporter la rponse (ou une forte orientation de rponse) une prcdente question dans un libell complmentaire - il y a un risque de trouver une rponse juste une question alors que l'ensemble des autres rponses traduit une absence de comprhension du sujet, - si la rponse la 1re question conditionne les rponses aux suivantes, une rponse fausse cette premire question conduit des rponses fausses aux autres questions alors mme qu'elles sont cohrentes avec la premire rponse. 4- 2 - Questions conduisant une rponse ouverte et courte (Q.R.O.C.) Avantages Une question prcise appelle une rponse courte de correction rapide et simple. - Question : Quelle est la quantit dalcool pur, exprime en grammes, contenue dans un demi-litre de vin 10 ? - Rponse : 40 g Inconvnients Rdiger une QROC sans ambigut est une difficult majeure. Peu de questions font appel des rponses sur lesquelles tout le monde saccorde. Un exemple banal de difficults : la question "Qui est le Prsident ?" les interrogations pour rpondre s'enchanent : - prsident de quoi ? de la Rpublique ?, - de quelle rpublique ? la Rpublique Franaise ? - attend-on un nom ou la dfinition d'une modalit lective ? 4- 1 - Questions rdactionnelles Le terme rdactionnel voque un exercice crit. Il faut nanmoins rapprocher des questions rdactionnelles les preuves orales portant sur le dveloppement d'un sujet (qu'on laisse ou non un temps de prparation au candidat). Avantages Elles permettent de juger la capacit de ltudiant ordonner ses ides, faire un plan, dvelopper des arguments, et de faire preuve de sa matrise de la langue.

D.U. de Pdagogie Mai 2005

-5-

Selon le niveau de rflexion on peut distinguer les questions o : - rpondre ncessite une rflexion originale, - rpondre ncessite une rflexion mais suit un plan convenu, - rpondre se limite restituer une partie de cours sans faire appel la rflexion. Ces distinctions s'appliquent plus aux questions aux rponses longues qu' celles aux rponses courtes (quelques lignes une page) qui ncessitent peu de construction. Inconvnients Ces preuves peuvent manquer de validit : portant sur une partie de lenseignement, elles incitent les tudiants grer les impasses. Elles manquent dobjectivit. Pour les enseignants rdiger une question sans ambigut est plus ou moins ais. La correction est longue si le nombre de copies est important. L'tablissement d'une grille de correction (voir plus loin)est indispensable dans un concours, et souvent dans un examen, pour augmenter l'objectivit de la correction. Pour les tudiants plus une question est complexe, plus il est possible de faire preuve d'originalit. Un style mdiocre, une criture difficile dchiffrer, nuisent la qualit de la copie mme si le fond est correct. 4 - 4 - Epreuves de travaux pratiques Avantages Ces preuves sont les plus en cohrence avec des objectifs oprationnels : on observe la technique de ralisation, laisance, le rsultat. Elles sont dautant plus valides qu'elles correspondent un exercice futur. Inconvnients Elles ncessitent du temps, des locaux, du matriel, des enseignants. 4 - 5 - Epreuves orales Avantages L'oral laisse ltudiant sa libert dexpression ; s'il connat bien son sujet il peut tmoigner de sa matrise. Ltudiant peu laise peut tre aid par lenseignant exprimer suffisamment de rflexions pertinentes pour que son preuve soit valide. Inconvnients L'oral est souvent entach de subjectivit. Certains candidats sont pnaliss par leur motivit et leur timidit alors que dautres tirent leur pingle du jeu grce leur aisance. Des facteurs tenant aux examinateurs (disponibilit, rigueur, humeur, fatigue, problmes personnels) influencent les conditions de lpreuve. 4 - 6 - Mises en situations fictives ou relles Avantages Lobservation dun tudiant confront une situation quil grera seul ultrieurement est la plus valide et la plus prdictive des performances futures. En mdecine elle peut se faire avec de vrais patients ou des patients fictifs (technique utilise au Canada) Inconvnients Ce type dpreuve associe une lourdeur organisationnelle, le cot des preuves pratiques et la subjectivit de jugement des preuves orales. 4 - 7 - Examen Clinique Objectif Structur (E.C.O.S.) L'E.C.O.S organise une preuve comme un parcours o les tudiants se prsentent plusieurs stations successives, chacune ddie une activit, interrogatoire, ralisation d'un examen clinique ou d'un geste technique, interprtation d'examen, etc.

D.U. de Pdagogie Mai 2005

-6-

Cette technique est trs intressante mais a les inconvnients de ncessiter de nombreux enseignants, de prendre du temps, d'tre d'un cot lev si on rtribue des patients volontaires ou des acteurs jouant le rle de patients. 4 - 8 - Choix des preuves Le choix des preuves, compromis entre les enjeux et les moyens, rsulte de nombreuses contraintes : ncessit de rpondre aux critres de validit et d'objectivit, nombre de candidats, cot et dure tant des preuves que des corrections, etc. Il est difficile d'avoir une preuve qui soit la fois pertinente et objective ; de faon gnrale on peut con,sidrer que les Q.C.M. sont peu pertinentes mais corrections trs objectives, les questions de rflexion pertinentes mais entaches de subjectivit lors de la correction.

Objectivit

Q.C.M. Q. rponses ouvertes et courtes Q. rdactionnelles de mmorisation Q. rdactionnelles de rflexion Pertinence

Les preuves les plus pertinentes, proches d'un exercice professionnel, peuvent tre difficiles organiser, coteuses en temps et matriel. Dans des examens ou concours ouverts des centaines de candidats on a tendance choisir des Q.C.M. dont la correction est automatise. Toute valuation d'une preuve doit tenir compte des contraintes imposes. 5 - Examen final et contrle continu (ou valuation finale et valuation continue). - Examen final : Les tudiants passent un examen final au terme d'un enseignement, d'une formation ; c'est un examen certificatif (donnant lieu la dlivrance d'une attestation ou d'un diplme). - Contrle continu : succession dvaluations pendant une formation ayant des fonctions formative et ventuellement certificative : - fonction purement formative : les tudiants situent leur niveau de performances par rapport aux objectifs ; les enseignants sassurent que les tudiants suivent et si ncessaire apportent des modifications leurs enseignements. Les notes de contrle continu n'entrent pas dans la note finale. - il s'ajoute une fonction certificative si les notes de contrle continu interviennent dans la note finale,

Le contrle continu est parfait :

- s'il y a acquisition progressive dun ensemble des connaissances en allant des simples aux complexes

D.U. de Pdagogie Mai 2005

-7-

- si les valuations formatives portent chaque fois sur l'ensemble des connaissances acquises depuis le dbut de l'enseignement, - si l'valuation finale certificative porte aussi sur lensemble dun enseignement. Ces prcisions sappliquent surtout au domaine des connaissances thoriques o il est banal de constater le foss entre ce qui a t appris et ce qui est retenu. Dans les domaines techniques ou comportementaux o la mmorisation durable est plus aise, le fait d'accder un certain niveau de performances implique qu'on ait dpass les niveaux de moindre degr. Lapplication du contrle continu est mauvaise - si ce contrle consiste segmenter la validation d'un enseignement en celles de petits modules ; on n'explore que la fragile mmorisation de connaissances apprises la hte les jours prcdant l'preuve et on veut ignorer ainsi que ce qui a t mmoris quelques heures ou jours prcdant un examen (et jamais rvis), soublie vite. - si une preuve finale (sans contrle continu) repose uniquement sur la mmoire il y a un grand risque drosions des connaissances moins que leur volume soit tel que leur acquisition ncessite un travail soutenu et rgulier. 6 Epreuves avec utilisation de documents L'ordinateur assiste de plus en plus la mmoire humaine pour le stockage de connaissances. Actuellement il devient prfrable de juger les tudiants plus sur l'utilisation de leurs connaissances que directement sur celles-ci. Il apparat ainsi souhaitable de privilgier les preuves o les tudiants doivent rsoudre des problmes en ayant leur disposition les sources d'informations ncessaires, condition de respecter l'quit dans l'accs aux ressources. 7 - Correction QCM : La correction est aise : en cochant une proposition l'tudiant fait une rponse juste ou fausse. L'automatisation de la correction par un lecteur optique limine toute erreur humaine. QROC Dans une situation idale, la correction est simple : la rponse est juste ou fausse. Ailleurs c'est la correction qu'on peut dcouvrir que la question peut tre ambigu, que d'autres rponses que celle prvue sont possibles, au moins dans une certaine mesure. En outre la correction tant humaine il est possible de faire des erreurs. Questions rdactionnelles Pour corriger de faon objective une question rdactionnelle il est indispensable d'tablir une grille de correction en numrant les items ou concepts relever dans les copies et en leur attribuant des points, toujours positifs. L'organisation et la cohrence d'une copie doivent tre prises en compte. Corriger de nombreuses copies devient vite la recherche des ides majeures en sous-estimant l'organisation et la cohrence. Pour y pallier il faut prvoir des points pour la comprhension pertinente, mme si ceci comporte une part de subjectivit. Il est toujours regrettable de constater le caractre triqu et ferm de grilles qui ne permettent pas de distinguer les candidats qui dominent leurs sujets. Les points sont d'abord rpartis entre les questions en tenant compte, d'abord de leur pertinence, ensuite du caractre pointu des connaissances1.

Privilgier la difficult tenant aux connaissances serait encourager les tudiants plus travailler celles-ci (encyclopdisme) que la rflexion.

D.U. de Pdagogie Mai 2005

-8-

La correction doit prvoir des sanctions, permettant d'attribuer un zro une question ou l'ensemble d'une preuve lorsqu'une rponse comporte une erreur grave. 8 - Notation 8.1 Les notations dans un concours et dans un examen Dans un concours la notation a simplement pour but de classer les candidats. Dans un examen la notation a deux significations : - une qualitative, valider ou non une formation, - l'autre quantitative, indiquer l'tudiant lampleur de son succs ou de son chec, situer ses performances par rapport celles attendues et celles des autres. 8.2 Donner la moyenne Donner la moyenne, donc recevoir l'tudiant, est conclure quil a atteint le niveau ncessaire de performances. Si cette notion apparat vidente dans la notation de questions rdactionnelles, elle s'efface parfois devant la sommation des notes de QROC ou de QCM au point d'aboutir ce qu'on attribue la moyenne l'tudiant qui sait rpondre une question sur deux ! Ceci a donc amen envisager diffrentes solutions. 8.3 Notation des preuves par QCM et/ou QROC 8.3.1 Notation d'une Q.C.M. Dans une QCM o il faut choisir une seule rponse la notation est binaire : 1 ou zro. Dans une QCM o deux ou plusieurs choix doivent tre faits on est confront des rponses partiellement justes. Ceci conduit nuancer la notation de la QCM en retenant 2 5 degrs parmi les suivants : 0 0,25 0,5 0,75 - 1 8.3.2 Notation d'une preuve par QCM Pour viter de donner la moyenne l'tudiant qui a seulement rpondu juste la moiti des questions, diffrentes solutions sont possibles. Donner la moyenne si 80 % (ou 60 %, ou 70 %) des rponses sont justes, et rpartir les notes en fonction du nombre de rponses justes avec un abaque. Dans l'exemple ci-dessous une preuve note sur 20 comporte 50 questions. Il faut rpondre juste 40 pour avoir la moyenne ; au dessous de 40 rponses justes le gain de points est faible, au-dessus il monte fortement. Notes
20

15 10

10

20

30

40

50

Questions

Distinguer dans une preuve trois groupes de questions : - le groupe des questions majeures (ou "tueuses") o il faut rpondre toutes sinon la note globale est zro, - le groupe des questions dintrt moyen, o il doit rpondre juste dans 75 % (ou 50 %) des cas, - le groupe des questions de culture auxquelles il doit pouvoir rpondre 20 %..

D.U. de Pdagogie Mai 2005

-9-

Notation pondre par les taux de russite aux questions : A chaque question est attribue une note, comprise entre 0 et 1, qui n'est pas dfinie a priori mais correspond son taux de russite. Le tableau suivant illustre cette notation. - dix tudiants ont pass une preuve faite de 10 questions - Notation habituelle : chaque rponse est note 0 ou 1. Ainsi au total Jean a 6 points sur 10, Sophie 4, Lise 9, etc - Notation pondre : - dans un 1er temps on calcule le taux de russite de chaque question : 0,7 pour la question 1, 0,9 pour la question 2, etc, - dans un second temps au lieu de donner la valeur 0 ou 1 chaque rponse, on lui donne sa valeur pondre (c'est--dire la valeur du taux de russite) ; le total pondr peut ensuite tre calcul par l'ordinateur.
1 Jean Pierre Alice Sophie Marc Paul Lise Marie Luc Margot Tx de russite 1 1 1 1 1 1 1 0,7 2 1 1 1 1 1 1 1 1 1 0,9 3 1 1 1 1 4 1 1 5 1 1 1 1 1 1 1 1 1 1 1 1 0,5 1 1 1 0,6 1 1 1 1 1 1 1 1 0,6 6 7 1 8 9 1 1 1 1 1 1 1 1 10 Total 6 6 7 4 6 5 9 5 5 6 5,9 Total pondr 3,2 3,9 4,5 2,7 3,7 3,2 5,4 3,3 3,2 3,8

1 0,6

1 0,6

0,3

1 1 0,5

0,6

Les tableaux suivants montrent les diffrences de classements obtenus selon les deux notations.
Lise Alice Jean Marc Margot Pierre Luc Marie Paul Sophie 9 7 6 6 6 6 5 5 5 4 Lise Alice Pierre Margot Marc Marie Jean Luc Paul Sophie 5,4 4,5 3,9 3,8 3,7 3,3 3,2 3,2 3,2 2,7

8.4 Notation des preuves rdactionnelles Pour une preuve rdactionnelle la moyenne apprcie globalement lpreuve. Il a t dcrit des facteurs susceptibles d'influencer la correction des preuves rdactionnelles. - le manque d'objectivit a t dmontr par des expriences de corrections de copies de tous domaines par des correcteurs diffrents, ou par un mme correcteur corrigeant les mmes copies quelques semaines de distance. - la non utilisation de toute l'chelle de notation : dans des preuves o l'chelle de notation va de 0 20 certains correcteurs se comportent comme si l'chelle tait plus troite,

D.U. de Pdagogie Mai 2005

- 10 -

- l'effet centripte : les notes sont trop ramasses autour d'une valeur moyenne (cart-type faible) - l'effet de halo (dcrit par THORNDIKE en psychologie exprimentale) est le fait qu'un correcteur est influenc par des lments extrieurs. Il est dcrit dans diffrentes situations. Dans la correction d'une srie de copies le correcteur peut tre influenc par l'excellence d'une copie au point de sous-estimer la valeur des suivantes, et inversement il peut l'tre par la mdiocrit d'une autre au point de surestimer la valeur des suivantes. La dmonstration a t faite de faire corriger une mme copie deux groupes de 46 correcteurs ; au premier groupe on prcisait que la copie tait celle d'un lve dou issu d'une famille d'intellectuels, au second groupe que la copie tait celle d'un lve moyen issu d'une famille d'employs. Les notes donnes par les correcteurs o on avait cr un prjug favorable taient significativement suprieures celles donnes par les correcteurs chez qui on cre un prjug dfavorable. L'tablissement d'une grille commune de correction par l'ensemble des correcteurs d'une preuve rduit considrablement les drives. En cas de double correction lorsqu'il y a un cart excessif entre les notes donnes par les deux correcteurs ils doivent revoir ensemble la correction. 9 - Evaluation des preuves : indicateurs quantitatifs et qualitatifs. Des indicateurs quantitatifs simples pour la valeur d'une question : le taux de russite global et la comparaison des taux de russite des tudiants "forts" et "faibles". Le taux de russite d'une question est le pourcentage dtudiants qui lont russie : - idalement on devrait obtenir un taux lev signifiant que l'enseignement est bon chez les tudiants travailleurs ; mais un taux lev peut correspondre une question trop facile et manquant de pertinence, - un taux bas traduirait : - soit le faible niveau des tudiants, - soit un niveau inacceptable de difficult ou d'ambigut de la question, - soit une question sans rapport avec la formation donne. Le caractre discriminatif d'une question est aisment estim en comparant les taux de russite des tudiants "forts" et "faibles". On classe les tudiants en trois tiers (les "forts", "moyens" et "faibles") en fonction de leurs notes d'ensemble une preuve de QCM ; ensuite pour chaque question de l'preuve on compare les taux de russite des "forts" et des "faibles". Une question est discriminante si les "forts" ont un taux de russite de 80 %, et les "faibles" de 20 %. Inversement si le taux de russite des "forts" diffre peu de celui des "faibles", la question n'est pas discriminante. Deux indicateurs plus sophistiqus : l'indice de difficult et l'indice de discrimination.
Ces deux indices apparaissent dans la littrature docimologique. Au terme d'une preuve o on distingue parmi les tudiants trois tiers, ceux des forts, des moyens et des faibles, on dnombre : F : nombre de rponses justes dans le groupe des forts f : nombre de rponses justes dans le groupe des faibles N : nombre total des tudiants appartenant aux groupes des forts et des faibles. A partir de ces nombres on calcule deux indices : Indice de difficult : Indice de difficult = F + f x 100 N Indice de discrimination : Indice de discrimination = 2 x F + f

D.U. de Pdagogie Mai 2005

- 11 -

N Si l'indice de discrimination d'une question est : - de 0,35 et plus : la question est excellente - de 0,25 0,34 : ------------------ bonne - de 0,15 0,24 : ------------------ revoir - < 0,15 : ------------------ est mauvaise

___ Simples ou sophistiqus les indicateurs quantitatifs n'ont de valeur que s'ils sont associs aux indicateurs qualitatifs. Lvaluation qualitative est plus complexe, car portant sur le niveau cognitif explor, la difficult, la pertinence. - Le niveau cognitif explor (mmoire, comprhension, utilisation dans une application simple, utilisation dans un problme) est un excellent indicateur. - la difficult d'une question est mieux value par les tudiants que par les enseignants, - la pertinence des sujets ne peut tre value que par un groupe de personnes comportant des enseignants et des personnes extrieures l'enseignement (parfois des professionnels). Des questions bien rdiges, intressantes, peuvent tre sans pertinence avec la suite de la formation ou le futur exercice. Tout cet ensemble d'indicateurs quantitatifs et qualitatifs, valable pour une question, l'est aussi pour tout un examen ou un concours portant sur plusieurs matires o certaines peuvent tre plus discriminantes que dautres. 10 - Conclusion Les examens et leurs rsultats permettent de juger du respect du contrat pdagogique. Russir l'examen est la finalit de tout tudiant : les contenus des preuves constituent les objectifs d'enseignement accessibles par la consultation des annales. Les preuves doivent tre pertinentes avec les besoins et les modalits de l'enseignement. Leur objectivit rpond au double besoin de rigueur et de justice. Les tudiants dploient les stratgies d'apprentissage les plus propices russir les examens : lorsque des enseignants estiment que celles-ci ne sont pas pertinentes, ils doivent, avant de les contester, se poser la question de la pertinence des preuves auxquelles ils soumettent les tudiants. Le contrle continu est prfrable un examen final et doit porter sur des tapes d'acquisition de savoirs et de comptences en sorte que la russite une tape implique la matrise de la prcdente. Le contrle continu le plus efficace est la fois informatif et certificatif. L'valuation des qualits des preuves est un lment de l'valuation d'un enseignement.

Quelques rfrences - BLOOM BS et al. Taxonomie des objectifs pdagogiques. Presses de l'Universit. Qubec Tome I ; 1975 ; 232p - CHABOT JM Evaluer, corriger, pondrer, noter, classer. Rev Prat 2004;54, 311-2 - CHARVAT J, Mc GUIRE, PARSONS V.- Etude sur la nature et le rle des examens de l'enseignement mdical. Cahiers de Sant Publique, OMS, 1970 : 78 p. - GUILBERT JJ. Guide pdagogique pour les personnels de sant. Edition rvise.OMS Genve 1981, 708 p. - MAZER A.- Les QCM dans les examens de mdecine. La Simarre, Tours 94 p - PIERON H Examens et docimologie. Paris, PUF, 1963. ___________

D.U. de Pdagogie Mai 2005

- 12 -

Grille d'valuation d'une question

Structure pour une QCM Absence d'ambigut Absence d'erreur Une seule notion prsente Enonc rdig au mode affirmatif ou interrogatif Pas d'adverbe sans appel (jamais, toujours) Pas d'informations sur le nombre de rponses Tous les leurres sont plausibles Structure pour une question rdactionnelle Absence d'ambigut Absence d'erreur Comporte toutes les donnes ncessaires Niveau cognitif Mmoire seule Mmoire et comprhension Exercice simple Exercice complexe Intrt dans la matire Trs important important Intrt modr Sans intrt Intrt gnral Trs important important Sans intrt

D.U. de Pdagogie Mai 2005