Docimologia em Perspectiva PDF

Rev, Fae, Educ., Sio Paulo 8(1); 39-69, 1982 A DOCIMOLOGIA EM PERSPECTIVA Maria José Miranda (*) INTRODUCAO ‘A avaliacdo escolar é uma questo que preocupa psic6logos ¢ educadores, porque implica varidveis psicolégicas e se encontra indissoluvelmente ligada a0 ensino. O controlo da realizagdo dos objectivos pedagégicos em que assenta a acedo educativa passa necessariamente pela medig#o dos resultados alcancados. O estudo cientffico dos problemas psicopedagégicos da avaliagio de conhecimentos escolares em situaggo de exame e de concurso, foi iniciado de maneira sistemati- ¢a nos princfpios dos anos 20 pelo eminente psicélogo francés Henri Piéron, geralmente considerado o fundador da Docimologia. Docimologia significa “‘o estudo sistematico dos exames (atribuigiio de notas, variabilidade interindividual e intraindividual dos examinadores, factores subjectivos, etc)” (Piéron, 1973, p. 126), e o termo foi proposto por Piéron a partir das palavras gregas relativas aos exames: Soxtpt} ¢ Soxtpagia (prova), Soc yidtoo (examinar), doxypaori}s (examinador) e Sok taortKds (apto para exa- minat) (Piéton, 1969, p. 6, nota 1), As experléncias docimolégicas incidindo, nomeadamente, sobre a adequac4o das provas aos objectives pedagégicos, os processos de classificagSo, a preparago dos examinadores para a tarefa de avaliagfio, © recurso a métodos objectivos de apreciagdo dos conhecimentos, deveriam constituir a base de uma dociméstica racional (Pigron, 1969, p. 157). Os primeiros trabalhos docimolégicos puseram em evidéncia a instabilidade das avaliag6es sob os pontos de vista das diferencas interindividuais ¢ intraindividuais, da validade e da preciso, O desenvolvimento das investigag®es levou a pre- conizar medidas de atenuagdo das divergéncias de caracter mais ou menos siste- miatico verificadas na avaliag4o escolar, medidas essas que incluem as escolas de notas, concertapfo entre os examinadores sobre os critérios a ter em conta na apreciacdo das provas, moderagao das classificagdes, ¢ a utilizagao de provas estandardizadas de correcedo objectiva. Uma outra linha mais recente de trabalhos centra a questo docimoldgica (*) Professora da Faculdade de Psicologia ¢ de Ciéncias da Educago da Universidade de Lisboa, 39MARIA JOSE MIRANDA no préprio comportamento de avaliagzo, isto &, no seu estudo sistemdtico em termos das varidveis em presenga e sua interacgfio. As investigaghes que tém vindo a ser realizadas cm Branca desde os finais da década de 60, no sentido da identi- ficaggo dos factores de instabilidade e sua articulago num modelo explicativo global, ampliaram o campo da Docimologia e abriram novas perspectivas de aperfeigoamento da avaliago escolar, O presente trabalho procura ser uma revisto actualizada da problemética da Docimologia, pondo em relevo os desenvolvimentos recentes, Na primeira parte so examinadas questdes da avaliagfo escolar em termos do seu enquadra- mento no sistema educativo e formas por que se efectua. No segundo ponto so Teferidas as principais conclusses dos primeiros trabalhos docimolégicos ¢ as novas perspectivas de investigagdo deles decorrentes, Na terceira parte analisam-se varios aspectos do aperfeigoamento dos métodos e das téonicas de avaliagto escolar, Finalmente, no ultimo ponto, é feito um balanco de resultados de investiga- des recentes sobre mecanismos cujo isolamento experimental revelov constitui- tem factores intervenientes na avalia¢ 0 de provas escolares, 1. SIGNIFICADO, MODALIDADES E LINGUAGENS DA AVALIAGAO ESCOLAR A avaliaggo escolar 6 por vezes posta ¢m causa por argumentos outros que 8 de ordem psicopedagogica, nomeadamente de natureza ideolégica ¢ em termos da sua simples supressfo (Lobrot, 1968) (1). Mas mesmo se a avaliago constitui “um problema que ndo pode deixar de se pdr, como uma tarefa que nfo pode deixar de ser assumida pelos educadores” (Reuchlin, 1974, p. 209), a espe- cificagao da sua legitimidade e funges no quadro do sistema educative 6 um ponto que ndo deve ser escamoteado. Em sentido lato, avaliar significa julgar (um acontecimento, um individuo, um objecto) em referéncia a um critério, No caso especifico da avaliagao de alu. nos, ¢ a partir sobretudo da década de 50, o critério define-se em termos de ob- Jectivos educacionais. Num estudo recente, Besse sistematiza os objectivos educacionais, enquanto fins da accao educativa, em trés grupos: os objectivos gerais, de cardter axiolégico; os objectives espectficos, formulados em termos comporta- ) A resposta de Reuchlin publicada no mesmo volume (Reuchlin, 1968), embora fron- talmente dirigida ao artigo de Lobrot, constitai uma pertinente reflexdo sobre a necessdria distingdo dos aspectos ideolégicos da andlise do problema, 40 Rev, Fac. Badu, 8(1):39-69, 1982A DOCIMOLOGEA EM PERSPECTIVA mentais ¢ que estdo na base dos planos de estudo; os abjectivos concretos, pontuais, visados pela situago de aprendizagem escolar ¢ que sup6em ptocessos de vetificagdo (Besse, 1977, p. 117), A fungAo da avaliago consiste no controlo da realizagio destes objectivos, ¢ subseqiiente fornecimento de informagao relevante para a planificagao e desenvolvimento curricutares (Astin, Panos, 1971, p. 733). Alguns autores (Reuchlin, 1974, pp. 210-213; Noizet, Caveni, 1978, pp. 13-15) sublinham a distingo entre os aspectos de natureza social e de natureza pedagégica dos objectivos educacionais e, por consequéncia, entre as fungbes social ¢ pedagogica da avaliaggo. Os objectivos sociais dizem respeito as finalidades estabelecidas, a prazo, da aceo educativa nas suas sucessivas fases ¢ tendo em vista a8 condigéies criadas pelo desenvolvimento tecnoldgico e cientifico da socie- dade em que se insere; a fungdo social da avaliagao consiste no control da quan- tidade e qualidade de formagdo, e da “rendibilidade” de investimento, dada a absorg4o, pela instituig#o escolar, de uma parcela substancial do erfrio pabli- co (2). Os objectivos pedag6gicos referem-se a comportamentos terminais, isto é, que se esperam no termo de um determinado ntvel de formag#o (3); a fungo pedag6gica da avaliacio pde-se simultancamente em telagdo ao aluno (informa- gio sobre o seu rendimento escolar e subseqiientes factores de decisfo intervenientes na sua orientaeo), ao professor (informagfo sobre a turma e sobre a pro- dutividade e eficdcia do seu ensinc) ¢ ao sistema escolar (informagao sobre o funcionamento geral do aparetho escolar), Os objectivos pedagégicos so especificades, ao nfvel dos programas de ensino, sob 0 ponto de vista do contedido. A sua definigdo operacional e especifica- go em termos de comportamentos observaveis, e insere#o num modelo classifi- cativo hierérquico de categdrias de comportamentos, da ugar a uma sistemticn ~ a uma Taxonomia (ou Taxionomia). A taxonomia dos objectivos educacionais (@) _— Reuchlin chama a atengdo, neste ponto, para o facto de que se a Escola prescindisse do exerecio da sua competéncia de avaliagao, esta passatia a ser executada pelas entidades emprogadoras a partir de critérios que, a par de eventualmente insatis- fatorios, teriam ndo obstante directa reperoussdo na propria estrutura do ensino; ¢ isto em consequéncia de a duragdo da formagao nao poder constituir, isoladamente, um indice de competéncia (Reuchlin, 1974,p, 210). @)Noizet e Caverni assinatam a este propésito a importincia da distingao entre “comportamento terminal” ¢ “conhecimentos adquiridos”, que ndo so reversiveis. A distingdo ligase ainda a necessidade de andlise da adequacdo dos programas de ensino ao mivel de desenvolvimento psicoldgico das populagdes a que se desti- nam (Reuchlin, 1960). Rev, Fae, Educ., 8(1): 39-69, 1982 alMARIA JOSE MIRANDA mais freqiientemente citada, e que Landsheere considera ter servido de inspiragto ‘ou dé modelo para a maior parte das que se [he seguiram (Landsheere, Landshe- ere, 1977, pp. 78-79), é a de Bloom ¢ colaboradores (Bloom, Engelhart, Furst, Hill, Krathwohl, 1956; Krathwohl, Bloom, Masia, 1964) e diz respeito aos domt- nios cognitivo ¢ afectivo (4). Respeita o princ{pio estrutural da complexidade crescente, @ as categorias hierarquizadas incluem comportamentos do mais simples para o mais complexo (dominio cognitivo) e do menos interiorizado para 0 mais interiorizado (dominio afectivo). ‘Um trabalho recente (Birzea, 1979), em que também sfo apresentados em anexo quadros compatativos de diversas taxonomias dos domfnios sensorio-mo- tor, cognitive e afective (5), poe em evidéncia que os diversos autores nao utilizam o$ mesmos critérios e modelos de operacionalizagao, e atribui as dificuldades metodoldgicas ¢ técnicas do processo a sua ainda limitada utilizago na ela- borag%o dos programas de ensino, no desenvolvimento dos instrumentos de avaliagaio, € na escolha de métodos pedagégicos, Campos situa as categorias taxoné- micas na andlise de tarefas ¢ sublinha a importancia da definigao funcional dos objectivos pedagdgicos (Campos, 1974, pp. 75-81). A preooupagao pela operacionalizagtio nao ¢ independente de um recrudes- cimento de interesse, a partir dos anos 60, pelas teorias da aprendizagem com vista ao desenvolvimento de modelos de aprendizagem. Nesta linha se situam os es tudos de Gagné sobre as condigties de aprendizagem e aquisig&o de conhecimentos (Gagné, 1970), o ensino programado (Guglielmi, 1970), oensino assistido por computador, de que diversas experiéncias vém sendo realizadas na Europa como na América do Norte (Baker, 1971, pp. 231-232; Glaser, Nitko, 1971, p. 647 ¢ p. 664; Bacher, 1973, pp. §1-82). A importéncia conferida zo ritmo de aquisico por parte dos alunes no modelo de aprendizagem escolar proposto por Carroll em 1963 levou a uma coneepgao de Educagio fundada no mastery Jearn- ing (ou learning for mastery) desenvolvida por Bloom e colaboradores (Bloom, Hastings, Madaus, 1971, pp. 43-56), que implica a verificagzo pontual das aquisi- ges por etapas sucessivas do processo de aprendizagem, ¢ subsequente adopgso de medidas compensatorias diferenciadas (6). (4) G dominio psieomotor, inicialmente previsto, no chegou a ser tratade por Bloom e colaboradores. A taxonomia deste dominio mais desenvolvida deve-se a outro autor (Hanow, 1972). (6) Anexos I, II, Ii (Birzen, 1979, pp. 199-210), No aspecto da comparagdo sistemética tem interesse 0 estudo de Vandervolde e Vander Elst sobse as taxonomiias de Bloom e de Guilford (Vandervelde, Vander Elst, 1979). (©) Refirase a propésito o projecto de “investigacao-acedo” iniciade no ano lectivo de 1978/79 e com a duracio prevista de seis anos, sobre 150 criangas do ensino pri- mério de 1165 escolas de Genebra, entre o3 9 ¢ os 12 anos e frequentando os ni- Rev, Fac, Educ, 8(1): 39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA A operacionaliza¢do dos objectives inclui a partida a possibilidade de ava- Tiagdo. Alguns autores, entre os quais Besse, alertam para o perigo de serem eventualmente descurados no ensino a’pectos que no se ligam imediatamente a comportamentos susceptiveis de medi¢ao (Besse, 1977, pp. 132-133). Para Land- sheere esses comportamentos, no entanto, nfo traduzem necessariamente micto- -objectivos (Landsheere, Landsheere, 1977, pp. 246-247). A Escola, perspectivada do angulo da sua intervengZo sistematica, desem- penha um trfplice papel de instrugfo, de formagao ¢ orientagdo, ¢ a avaliagao recorre a instrumentos de verificagao, de diagndstico e de prognéstico da aprendizagem (Bonboir, 1972, p. 32). O contexto em que se realiza traduz-se em modalidades de avaliag&o (contfnua ou pontual, externa ou intema, exame ou concur- 50). As técnicas utilizadas s4o 0 exame tradicional (oral ou escrito) ¢ o teste de conhecimentos. No quadro das modalidades de avaliagSo, merece referéncia es- pecial a distingfo entre avaliago formativa ¢ somativa. A avaliago contfnua consiste na apreciago regular, na situagfo de turma e pelo professor que conhece os seus alunos, das produgdes escolares destes. Uma avaliago deste tipo, nfo sendo imune a efeitos de estereotipia ¢ de halo (Bon- boir, 1972, p. 20; Landsheere, 1974, pp. 33-36; Perrenoud, 1979, p. 37), permite uma regulagao interactiva no decurso da aprendizagem (Allal, 1979, p. 142). ‘A avaliagdo pontual define-se por um “veredicto final” (Bonboir, 1972, p. 56) que incide sobre uma produc&o relativa a um tema ou temas extrafdos de uma gama de temas possfveis, e ligase a uma regulaciio retroactiva, Em termos de finalidade tratase, no primeiro caso, de um acompanhamento da propria aprendizagem (permitindo um registro de progressos, de retrocessos, de dificuldades, dentro ou fora do quadro de uma “pedagogia correctiva”), no segundo de-um ba- Tango de aquisig6es efectuadas num perfodo mais ou menos longo. As duas formas de avaliacto podem ser combinadas, verificandoe entSo uma contaminagso recfproca: a avaliagéo pontual pode realizar-se em intermiténcia, e a avaliagfo contfnua ser expressa pela acumulacdo de avaliagSes pontuais; ou, na avaliagfo final ser tomada em consideraco a informac&o registrada ao longo do perfodo de aprendizagem. ‘A diferenciagao entre avaliacdo externa e interna reside em ser efectuada ou no pelo responsavel da acco pedagdgica, A avaliago pontual é predominan- Veis escolares da 394 6# classes. O projecto tem o nome de R-APS-ODIE: Recherche-Action sur les Prérequis Scolaires, les Objectifs, la Différenciation et Hadividuaisaion de Vnseignement. (Ala, Cardinet, Porronoud, 1979, pp. 8-108). Rev, Fae, Educ, 8(1):39-69, 1982 43MARIA JOSE MIRANDA. temente extema, a continua predominantemente interna, A avaliagdo externa redne, relativamente a interna, algumas condigdes mais favoréveis sob o ponto de vista da objectividade, como situagdo relativamente estandardizada (em termos de tarefa ¢ critérios de correcg4o), e auséncia de informagdo sobse os candidatos para além da produgao sobre a qual incide 0 jufzo de avaliaga0; contém, por outro lado, os riscos inerentes as diferengas interindividuais ¢ intraindividuais geradoras de divergéncias de apreciagao. No que respeita a finalidade, tem carécter se- lectivo, em tenmos de admisso-tejeigao. A situagdo de exame difere da de concurso fundamentalmente nos fins da avaliago; no primeiro caso pretende se verificar um nivel de aquisigSes em fun- ¢40 de um padro ou norma de referéncia, no segundo, seleccionar, a partir de uma tarefa, os mais capazes ou mais aptos de um grupo de candidatos, e a norma € extrfnseca e pré-fixada (numero de vagas). A distingtio é menos nttida no plano pritico; pensese, por exemplo ¢ no caso portugués actual, nos resultados do ano Propedéutico como condigfo de acesso 4 Universidade: a concepefo de exame € contaminada pela de concurso na ordenagiio final cumulativa dos candidatos, a qual determina o seu ingresso ou ndo ingresso; na fase dita de “repescagem’” ocorte de novo contaminagao, agora no sentido inverso, A distingao entre exame tradicional e teste de conhecimentos reside basica- mente nas diferengas quanto a métrica de construgdo de cada um dos tipos de provas, Sendo um teste uma medida objectiva ¢ estandardizada de uma amostra de comportamentos (Anastasi, 1976, p. 23), um teste de conhecimentos supe (a) a definiggo clara de um contetide programatico e seus objectivos, em relagao ao qual é feita uma amostragem de questdes, (b) a satisfag&o de princtpios psico- métricos no que respeita a sensibilidade, a precisdo de varios aspectos da validade do instrumento, (¢) normas, (d) condigdes estandardizadas de aplicagdo relativamente a instrugdes, cronometragem, cotacao. A utilizag9o generalizada de testes de conhecimentos na avaliagao escolar nalguns pafses (com normas para diferen- ‘tes grupos de referéncia, andlise das distribuigdes de sucessos nas diversas questoes encontradas nesses mesmos grupos) tem-se revelado de grande utilidade sob © ponto de vista pedagégico ¢ para a orientagao, ¢ simultaneamente tem permiti- do o aperfeigoamento progressivo dos instrumentos (com a organizagao de “bancos de itens”, por exemplo) ¢ o esclarecimento sobre as suas vantagens e inconvenientes, permitindo uma planificagio mais fundamentada das prdticas de ava- lingo (Bacher, 1973, pp. 57-58). A distinggo entre avatiagf0 formativa e somativa devese a Scriven que, ‘num artigo publicado em 1967, propés os texmos para designar, respectivamente, 2 avaliago no decurso do desenvolvimento da unidade diddctica, ¢ a avaliagfo 44 Rev. Fac. Educ,, 8(1): 39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA sando a apreciagdo de um produto terminal (Bloom, Hastings, Madaus, 1971, p. 262), A diferenga entre as duas formas de avaliagao é independente da extensfio da unidade didéctica, e respeita t4o 6 a alcance da avaliago: sc tem por fim de- temninar o grau de competéncia, isto é. até que ponto o aluno domina os varios elementos de uma ordenacdo hierdrquica e subsequente identificagdo dos pontos fracos, de molde a permitir tomada de decisSes sobre o prosseguimente do ensino, é formativa (ID., p. 28, p. 61); se tem por fim uma apreciacdo de progressos, classificar os alunos uns relativamente aos outros ou determinar a realizaeao de objectivos de uma unidade diddctica, é somativa (ID., p. 61, p. 117). A segunda tem efeitos diferenciadores, a primeira efeitos de homogeneiza¢do (Noizet, Ca- verni, 1978, p, 20) (7). Enquanto a avaliagdo somativa se liga a um ensino indi- ferenciado e a uma distribuiggo das aquisigdes isomorfas da distribuicto das ap- tidoes, a avaliagaio formativa liga-se a um ensino diferenciado (ou individualiza- do) (Cardinet, 1977, pp. 13-19; Allal, 1979) ¢ a uma configuragéo em “7” da curva das aquisigdes (Landsheere, 1974, pp, 182 186-189). ‘A avaliago escolar, exprime-se por notas (apreciagdo sintética) e por resultados (cotagdo por soma ou subtraccao de pontos, segundo regras fixas) (Land- sheere, 1974, p. 16), Tratase em ambos os casos de utilizag#o de linguagens cs- pecéficas, devidamente codificadas, tendo a avaliag&o, néo obstante, um cardoter indirecto: incide sobre produtos observéveis, que constituem sinais (Bonboir, 1972, p. 11), O sistema de resultados corresponde 2 uma preocupagao de cota- 0 mais objectiva das provas escolares, normalizadas ou ndo, sendo a sua validade preditiva superior & das notas (Bacher, 1965). O sistema de notas recorre, na pratica, a escalas de medida, nomeadamente de intervalos e ordinais. As notas numéricas (0-20, 1-5) ordenam-se em escalas de intervalos, enquanto as catego- tias (A-B-C) e as apreciagSes qualitativas, em escalas ordinais, O indice de ten- déncia central que resume a informagdo ¢, no primeiro caso, a média, no segundo amediana. A amplitude de cada um dos valores da escala, e por conseqiiéncia 0 prau de discriminag%o que permite, depende da niimero total de escaldes. Estu- dos comparativos incidindo sobre a utilizagdo simultinea de escalas numéricas nfo numéricas apontam no sentido da superioridade pritica das primeiras (Ba- cher, 1973, pp. 36-37; Reuchlin, 1974, pp. 216-217). (7) A avaliagdo formativa, uma linha de estudos muito recentes levada a cabo na Su(ca de Lingua francesa ¢ relativamente ao tronco comum da escolaridade obrigatéria (Cardinet, 1978; Allal, Cardinet, Perrenoud, 1979), pode ainda contribuir para a democratizagtia do ensino no sentido de ignaldade de oportunidades, na medida em que permite a adopcdo de medidas compensatérias das diferencas individuals intervenientes no rendimento e adaptago escolares, Rev. Fac, Educ,, 8(1): 39-69, 1982 45MARIA JOSE MIRANDA. 2. DOS PRIMEIROS TRABALHOS, DOCIMOLOGICOS. AS NOVAS PERSPECTIVAS DE INVESTIGACAO A investigagao docimolégica teve como ponto de partida (8) um estudo realizado em Franga por H. Piéron, Mme. Piéron, ¢ H. Laugier sobre 0 certificado da instrugdo primdria em 1922, cujo objectivo principal consistia em verificar 0 valor dos testes utilizados em orientac4o, Umia bateria de seis testes de aptidées foi aplicada a 117 alunos no tetmo da escolaridade priméria ¢ repartidos por trés escolas, e os resultados comparados com as classificag6es escolares (a0 longo do ano lectivo e exame final), agrupadas as disciplinas em trés grupos, conforme apelando predominantemente para aquisigdes mnemOnicas (historia, geografia), aspectos intelectuais (redacedo, aritmética), ¢ qualidades extra-intelectuais (desenho, gindstica, canto). As disctepancias entre os resultados dos testes e as notas escolares levaram os autores a pdr em causa o valor do exame como indice de aptidao escolar, e © seu estatuto eliminatério decisivo. Cinco anos depois, H. Laugier ¢ D. Weinberg realizaram um estudo sobre a estabilidade das notas atribufdas por dois correctores a 166 provas escritas de concurso de acesso a Escola Normal Superior (Hist6ria e Geografia); as divergéncias encontradas entre as classificagdes obtidas por dupla correcedo diziam réspeito as notas. atribufdas 4 mesma prova, a média das notas de cada corrector, e 4 ordenagdo das provas pelos dois correctores, Outros estudos realizados entre 1927 ¢ 1930 e fazendo intervir, a par da muiltipla correcefo, outras varidveis — Como experiéncia dos correctores, repetic#o da correc¢fo em ocasides diversas — confirmaram as verificag6es iniciais, Estes primeiros trabalhos foram reunidos num fascfculo do Travail Humain, intitulado “Etudes docimologiques sur le perfectionnement des examens et des concours” e publicado em 1935. Em 1931 a Carnegie Corporation pos & disposigao do Instituto Intemacio- nal de Educagto do Teacher's College da Universidade de Columbia (Nova Ior- que) os fundos necessdrios a realizag4o de um inquérito intermacional subordina- do ao tema “As concepgées, os métodos, a técnica e 0 alcance pedagégico ¢ 50- cial dos exames e concursos”. A primeira conferéncia teve tugar em Eastbourne em 1931, reunindo diversas comissbes nacionais (americana, inglesa, escocesa, francesa, alem#, finlandesa, suiea) e foi seguida de duas outras, em Folkstone (1935) e Dinard (1938), tendo nesta tltima sido designada uma comissfo perma- nente para o estudo das questdes levantadas. A guerra européia suspendeu o de- {8} —Assinale se, no entanto, a existéncia de outros trabalhos, menos sisteméticos, realizados fora da Franca, nomeadamente na Grd-Bretanha, Suiga, E.U.A., sobre cor- recgdo miltipla de provas escolares e elaboragdo de provas objectivas de conhecimentos (Hotyat, 1962; Piéron, 1969). 46 Rey, Fac, Educ,, 8(1): 39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA senivolvimento dos trabalhos. Entre as publicagdes mais importantes decorrentes do empreendimento contamse The Examination of Examinations (Londres, 1935) e La correction des épreuves écrites dans les examens. Enquéte expérimen- tale sur le baccalauréat (Paris, 1936). A Docimologia surgiu pois como uma critica aos métodos tradicionais utilizados, com fins de seleceo, nos exames e nos concursos (9). Esta perspectiva da Docimologia, que se pode designar por “nogativa” ou “classica”, situase no plano da verificagdo e andlise das divergéncias de avaliagdo, em situag4o natural ‘ou provocada, Essas divergéncias, sobre as quais se encontram publicadas exposi- des detalhadas (Vernon, 1957; Hotyat, 1962; Pigron, 1969) ocorrem, entre outros casos, relativamente as percentagens de admissOes verificadas em diferentes jiiris de concurso e média e disperso das notas atribu{das por esses mesmos jaris, (Noizet, 1961; Piéron, Reuchlin, Bacher, 1962; Piéron, Reuchlin, Bacher, Dé- mangeon, 1962); 4s notas do- mesmo aluno em diferentes disciplinas ¢ na mesma disciplina na escrita ¢ na oral (Piéron, Reuchlin, Bacher, 1962), as notas dadas & mesma prova pelo mesmo examinador em ocasides diferidas (Wiseman, 1949; Finlayson, 1951; Nisbet, 1955; Bacher, 1965) ¢ a classificaeao de uma prova por diferentes correctores (Nisbet, 1955; Penfold, 1986) (10); a escala de notas utilizadas pelos varios examinadores ¢ peso real de cada nota na ponderaggo global em fungao da dispersto (Guerbet-Sceaux, Reuchlin, 1958); as apreciagSes numa escala verbal de natureza qualitativa (Démangeon, Larcebeau, 1958; Rémondino, 1965). Do plano da verificacdo das divergéncias, que constituem um facto adqui- tido e sobre o qual a evidéncia acumulada € considerdvel, emerge a perspectiva positiva. A docimologia positiva contém duas grandes linhas fundamentais: por dum lado, a que diz respeito ao aperfeicoamento da avaliag4o; por outro, (Noizet, Bonniol, 1969), a “docimologia experimental”. © aperfeigoamento da avaliacdo inclui o desenvolvimento das técnicas de construcfio dos instrumentos de avaliag#o — provas de exame e provas normalizadas de conhecimentos, andlise das suas qualidades métricas, estudo da adequabi- (9) Piéron chama a atengfo para a importincia acordada @ nfvel oficial em Franga jéna década de 40, 4 investigagfo docimolégica: uma circular do Ministro da Educa- 80 em 1946 sobre 0 baccalauréat refere explicitamente “a desigualdade das pro- yas" e “a heterogeneidade dos jiris” evidenciados pela andlise estat(stica dos re saltados e que conferem “por vezes ao exame [ caracter(sticas] de lotaria” e recomenda que os examinadores sejam “professores experimentados” (Piéron, 1969, p. 39). (10) Neste tipo de anilise o {ndice estatistico utilizado é 0 coeficiente de cotrelagiio. Rey, Fac, Educ., 81): 39-69, 1982 47MARIA JOSE MIRANDA lidade de um e outro tipo de provas a situagées espectficas,e métodos de moderagdo das classificagdes (Bacher, 1969, 1973; Bonboir, 1972; Reuchlin, 197. Landsheere, i974). A “docimologia experimental” centtase na avaliagdo como um comportamento, no sentide de resposta global a uma situagao, com componentes perceptivos cognitivos (Noizet, Bonniol, 1969; Bonniol, 1974; Amigues, Bonniol, Caverni, Fabre, Noizet, 1975; Noizet, Caverni, 1978, pp. 63-146). Procura deter. mainar experimentalmente os mecanismos intervenientes na decistio avaliativa e factores de distorsdo desses mesmos mecanismos. A docimologia experimental 6, assim, uma “docimonomia” (Noizet, Bonniol, 1969, p. 787). Sob o ponto de vista metodol6gico, a investigaco em Docimologia utiliza © método experimental, em sentido amplo e em sentido estrito. O estudo do comportamento de avaliagéo pode pér o énfase na andlise das difereneas individuais (inter- e intraindividuais) entre os examinadores (perspectiva diferencial) ou na anélise da tarefa (perspectiva experimental em sentido estrito). O problema das divergéneias de avaliagdo comegou por ser formulado em vermos de variagdes aleatérias; as medig6es pontuais so erzos de estimacdo, flu- tuag6es em tomo do valor “verdadeiro”, constitufdo pela média de um numero clevado de classificagdes independentes (11). A andlise estatfstica evidencion, no entanto, que a grandeza das diferencas entre as médias em correcefo miiltipla, por exemplo, leva claramente a rejeig#o da hipétese nula quanto a essas diferengas. O paradigma das vartagbes aleat6rias deu iugar ao de variagdes sistemdticas (subavaliagdes, sobreavaliagdes ete ). cuja verificagdo implica o estude dos crité. ios utilizados na avatiag4o e/ou uma tipologia de avaliadores (elaborada a partir de escalas de severidade-indulgéncia, flutua¢do-constancia, julgamento analitico- ~sintético), j& avangada por Piéron. A anélise das variagdes interindividuais ou intraindividuais decorre, porém, do conhecimento prévio do mecanismo de varia- fo, sem o qual h4 perda de informagtio: a recorréncia a planos de experigncia do método experimental em sentido estrito surge assim como um corolario da propria metodologia experimental, visando a formulagfo, se no imediatamente de um modelo explicativo global, pelo menos de um quadro conceptual de referén- cia contemplando a interacedo entre as caracterfsticas pessoais ou profissionais do avaliador ¢ as componentes da tarefa de avaliacdo (Bonniol, 1974, p, 202; Noizet, Caverni, 1978, pp. 64-66). (11) No quadro do inquérito francés sobte 0 baccalauréat chegou-se mesmo a proceder a0 cficale do sou riémero para cada disciplina, fixanda a coeficiente de precisio no valor 1 = 0,99 ¢ utilizando a férmula de profecia de ‘Spearman-Brown (Piéron, 1969, p. 23), Rev. Foc, Edue., 8(1): 39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA 3. OAPERFEICOAMENTO DOS PROCESSOS DE AVALIACAO ESCOLAR Os trabalhos docimol6gicos realizados ao longo dos iltimos cinquenta anos puseram em evidéncia as divergéncias de avaliac#o mediante comparacSes siste- méticas de, por um lado, classificagées dadas em ¢xames reais, por outro, de ava- ages atribufdas em situages especialmente provocadas. Da convergéncia, elevada, das conclusées desses trabalhos, resultacam necessariamente estratégias conducentes & redugdo das divergéncias. Essas estratégias dizem respeito as pré- ticas de avaliagdo efectuada por meio de provas de tipo tradicional, e a0 desenvolvimento de outras técnicas de medi¢do das aquisig6es escolares, Bacher situa os erros de avaliagfo em relagio a trés grandes ordens de fac. tores, que dizem respeito ao avaliador, as provas ¢ aos alunos (Bacher, 1969). 0 avaliador aprecia as produgées escolares sob uma determinada 6ptica e utiliza na avaliapdo uma certa margem de notas; acontece, assim, que as distribuicdes de notas relativas a um mesmo conjunto de provas diferem quanto a médiae a disperso, e até mesmo a ordena¢do das provas relativamente umas as outras, em termos de mérito relative ¢ a partir das notas dos diferentes examinadores, n3o € coincidente. No que se refere a0 contetido das provas, o carécter aleat6rio da escolha dos temas propastos constitui uma base insuficiente de generalizagao dos conhecimentos adquiridos ao longo de um periodo de aprendizagem. Finalmen- te, relativamente ao aluno, flutuagdes ocasionais determinam variagbes de desem- penho que so tomadas como indicadores de rendimento, Bonboir introduz ainda outra fonte de erro, constitufda pelo aspecto dindmico das mudangas, estéveis ou temporérias, que ocorrem no decurso de um perfodo de tempo e cuja reper- cussio se estende ao avatiador, & matdria e ao alano (Bonboir, 1972, p. 118). Varios tipos de métodos no sentido de providenciar, por um lado, a redu- do das variagGes interindividuais (¢ intraindividuais) de apreciagdo, por outro de aumentar a validade ¢ preciso das avaliacdes, tém resultado da investigay4o doci- molégica, Esses métodos emprricos de moderagtio das divergéncias visam tornar compardveis as classificagdes dos exames, isto ¢, fazer com que elas exprimam as diferengas individuais entre os alunos mas nfo também entre os examinadozes (Noizet, Caverni, 1978, p. 47). O seu contributo em termos de prossecugao de uma maior objectividade ngo é idéntico, o que leva autores como Reuchlin e Bacher a falar de “solugSes aparentes”, ou “paliativos”, e de processus mais objectivos, Cabem no primeiro grupo tentativas do tipo substituigao de escalas de notas com elevado mimero de escaldes por outras com menor ntimero (classificagao de 1 a 5 em vez de 0 a 20, por exemplo) ¢ eventual utilizagao de escalas ordinais Rev, Fae. Eduto,, 8(1):39-69, 1982 49MARIA JOSE MIRANDA. de tipo qualitativo em vez de escalas numéricas de intervalos. A reduggo do nd- mero de escal6es, se diminui a possibilidade de dois correctores classificarem diferentemente 2 mesma prova, confere ao erro de avaliaggo um maior peso, Reu- chilin considera que, por ora ¢ no estado actual de desenvolvimento da investiga- 80, se afigura mais prudente utilizar escalas com numero elevado de escaldes (¢ categorias por consequéncia pouco amplas), do que escalas com menor ntmero de escaldes ¢ categorias amplas (Reuchlin, 1974, p, 216). Um estudo de Kauf- mann (1975), utilizando o método psicofisico de medieZo das sensag6es e a no- do de limiar diferencial sobre dados de Laugier ¢ Weinberg recolhidos no quadro do inguérito sobre 0 baccalauréat (1936), sugere 0 uso de escalas com nimero de categorias diverso em fungao da disciplina (maior ntimero na redacgo do que na matemitica, no caso desses dados). A substituigdo de notas numéricas por apreciagdes qualitativas, & luz da experiéncia docimolégica actual, nfo s6 nfo diminui como antes agrava o desacordo entre correctores, ¢ ainda 0 significado das categorias qualitativas nao é untvoco (Reuchlin, 1974, p. 217). Outro tipo de medidas no sentido de atenuar as divergéncias de avaliagtio consiste na interven¢ao na composi¢do dos jéris de exames e da fixagdo de para- metros comuns de apreciago, A intervengo ao nivel da composigdo dos juris significa uma equilibragao dos mesmos em termos de severidadeindulgéncia, por exemplo. A solugéo é mais aparente do que real, na medida em que os alunos sao desigualmente afectados nas diversas disciplinas (Bacher, 1973, p. 39). A fixagfo de par’metros de apreciagtio pode assumir a forma de estabelecimento de “bitolas’ por disciplina, através de discussfo ¢ concertagio prévia entre os examinadores sobre a importancia relativa dos varios aspectos a terem conta na avaliaggo, atendendo a que aquela ndo é um dado da situacao, Uma experiéncia de Bonniol, Caverni e Noizet utilizando grupo controlo e experimental ¢ introduzindo a variavel concertacdo neste, revelou um acordo significativa- mente maior, quanto s classificagdes como quanto a ordenago das provas, no grupo experimental (Noizet, Caverni, 1978, pp. $5-57). Um estudo de andlise factorial sobre correcefo de provas de redacego (Rémondino, 1959) evidencion que 2s dimens6es a ter em conta na avaliag&o, estabelecidas por concertagao, sc agrupavam em quatro Categorias distintas (apresentag4o gréfica, aspectos lin- guisticos, qualidades de expressfo, caracterfsticas pessoais), no sendo conside- radas isoladamente nem tendo a mesma importancia relativa para os diversos examinadores, A bitola pode ainda consistir num conjunto de regras extrinsecas de cotago fornecidas aos examinadores, sobre a decomposigfo das notas em sub- -Motas por questo, ou listagem de ocorréncias sujeitas a penalizag&o ou bonifica- go (Noizet, Caverni, 1978, pp. 53-54). 50 Rev. Fae. Fduc., 8(1): 39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA. Os processos até aqui enunciados (escalas, constituiggo. dos jaris, bitolas de classificacfo) precedem imediatamente a avalia¢4o, Outros intervém noutros momentos, como o ajustamento das distribuigdes ¢ a multiplicagsio do numero de apreciagées relativas a cada aluno. O ajustamento das distribuig6es ¢ susceptfvel de ser efectuado mediante informagdo aos diversos examinadores de uma mesma disciplina sobre a distri- ‘Duiggo global de notas nessa disciplina, atribufdas pelo conjunto dos examinadores, de molde a permitir a aproximagao das médias das notas dos varios examinadores 4 média da distribuicao global. O ajustamento consiste na modificag#o das notas sem alteraco das posig6es de osdem (12). A rectificagdo das classifica- Ses é uma svbida ou descida de pontos, a partir das diferencas entre a média geral das notas e a média da distribuicdo a corrigir (Bacher, 1973, p. 38; Noizet, Caverni, 1978, p. 47). A multiplicag2o do némero de apreciagSes xelativas a um mesmo aluno é um processo utilizado principalmente na Gré-Bretanha, Comparativamente com os outros processos corresponde a um aumento consider4vel de maleabilidade por parte do aluno e por parte do examinador (Bacher, 1973, p. 63). A multipli- cago do mimero de apreciagées diz respeito aos temas propostos ¢ 4 multicor- rece, A produgdo do aluno incide sobre temas por ele seleccionados, entre os v4ries propostos, Finlayson (1951) mostrou que os resultados dos mesmos alunos em temas diferentes sfo0 menos concordantes entre si do que as apreciagdes dos examinadores sobre as suas produg6es num mesmo tema (coeficiente de cor- telago superior no segundo caso). Por outro lado, a produce sobre mais do que um tema € sobre temas escolhidos, permite fundamentar a avaliagao sobre um espectro mais amplo ¢ consequentemente mais representative. A multicorrec¢ao. cortige enviesamentos das notas atribufdas por um mesmo examinador, pela mé- dia das notas dadas pelos diferentes examinadores 4 mesma prova; segundo Wise- man (1949) evita a concertagdo prévia e tora desnecessdria a apreciagdo analfti- ca: a rectificago incide sobre a apreciacdo global. Os processos de moderago ndo se limitam a intervengSes pontusis, ¢ foram desenvolvidos ¢ so praticados em payses como a Suécia, Gra-Bretanha ¢ (12) No ajustamento das distribuigdes de notas pode ser tomada em linha de conta nfo 86 2 tendéncia central, mas também a dispersio das distribuigSes; neste caso 0 pro- cedimento passa pola redugdo das notas, isto é, a transformagdo das distribui¢Ses empiricas em distribuigGes de notas 2. Este método, que merecou a atengao de autores como Noizet, no é, porém, prética comente (Noizet, Cavemi, 1978, p. s0ep. 104), Rev. Fac, Educ., 8(1): 39-69, 1982 51MARIA JOSE MIRANDA Suiga sistemas de moderagao mais completos e sofisticados. A implementagao dos sistemas supde o estabelecimento prévio de acordo, cm grande linhas, sobre 08 objectivos pedagégicos e sobre os programas (Bacher, 1973, p. 73). Landsheere descreve com algum pormenor os sistemas sueco (de que o sufgo é uma adaptag4o) e inglés (Landsheere, 1974, pp. 153-175). O sistema suc- co utiliza uma prova nonmalizada de conhecimentos por disciplina aplicada a todos os alunos, aferida sobre uma amostra nacional ou regional; a distribuigao de notas na disciplina ¢ ajustada a distribuigao dos resultados dos mesmos alunos na prova normalizada, sendo as notas nos dois tipos de provas expressas na mesma escala (1 2 7), Mais completo na opinifo de' Landsheeze, o sistema inglés visa uma maior objectividade ¢ comparabilidade das notas dos exames intemos, e inclui a colaboragao inter-escolas (assegurada pela designagdo, em cada uma, de um mo- derador encarregado de coordenar os exames na sua escold e participar numa comissfo inter-escolas), na preparagaio e cotagfo das provas, no ajustamento das classificagfes e na atribuigdo da informagdo final. O sistema inglés introduz ainda testes de inteligéncia ¢ de. aptidées. O relatério de Vernon sobre a admiss’0 no ensino secunddrio constitui uma andlise exaustiva das diferentes praticas e méto- dos utilizados na moderagdo, suas vantagens e inconvenientes sob os pontos de vista psicolégico e pedagégico, e sua insere4o no sistema escolar a nivel regional ¢ nacional (Vernon, 1957), Na prossecngao de uma maior objectividade na avaliagao escolar, ocupam um lugar de relevo aos testes de conhecimentos, ou “provas normalizadas de conhecimentos” (Bacher, 1973, pp. 40-41: Reuchlin, 1974, pp. 221). Um teste de conhecimentos é um instramento de medida das aquisig6es efectuadas em situa- ¢40 estruturada de aprendizagem (Brown, 1971, p. 95), isto 6, dos efeitos de um programa especrfico de instrugao ou de treino (Anastasi, 1976, p. 398). Os testes de conhecimentos escolares referem-se a conteddos programiaticos especificos & diferenciam-se formalmente dos testes de inteligéncia ¢ de aptidées nZo s6 quan- to ao contexto da sua utilizagdo como quanto 4 natureza da experiéncia anterior sobre que incidem (Anastasi, 1976, pp. 398.399). A sua construgao parte da andlise dos programas e dos objectivos do ensino, em termos de sistematizagfo das unidades de informagao e modalidades do seu processamento. A técnica mais frequentemente recomendada nos manuais recentes consiste na elaboragdo de um diagrama de dupla entrada (blue print) organizado segundo duas dimensdes, ‘os contetidos e os processos, ¢ subsequente selecgtio das questdes a incluir — que eabem nas diversas casas do diagrama bidimensional — em fungao do peso relativo atribu’do a cada rubrica do programa e a cada objectivo (Lewis, 1974, p. 62). Estudos realizados por diferentes especialistas sobre a metodologia de construgfo de testes de conhecimentos escolares ¢ seleccAo das quest6es, a partir de diagra- mas utilizando na dimensfo objectivos a taxonomia de Bloom, foram indufdas 52 Rev, Fac, Educ,, 8(1): 39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA numa obra deste autor, esses estudos inserem os testes de conhecimentos escolares no quadro da avaliagdo formativa come somativa, sobre matérias diferenciadas quanto ao contetido (das cienciss da'natureza & arte) e nfvel de ensino (da escolaridade pré-priméria ao ensino profissional) (Bloom, Hastings, Madaus, 1971, pp. 283.905). As questSes que compdem os testes de conhecimento sfo geralmente for- muladas sob a forma de itens de resposta por escolha muiltipla. A resposta, no caso mais simples, consiste na escolha da altemativa correcta de entre as varias apresentadas, constituindo-se as alternativas incorrectas “‘distractores”; a dificul- dade do item depende da natureza da questdo como da natureza dos distractores, induzindo em maiorou menor grau ao erro (Noizet, Caverni, 1978, pp. 156-157). ‘A sua resolugdo implica predominantemente uma actividade de reconhecimento por parte do aluno, ¢ no dé evocagtio de conhecimentos adquiridos, 0 que é geralmente apontado como um inconveniente, Formas mais elaboradas da apresentagdo das alternativas tém sido desenvolvidas, como, por exemplo, a selecez0 da resposta correcta implicar a realizagdo de uma operacdo por parte do aluno (combinacao, classificagdo, descoberta de uma relac#o), ou ainda a tarefa constituir na deteceao e correcgfio de erros (Bacher, 1973, pp. 4748). Um estudo de Bujas propde a apresentagso de altemativas cuja distancia relativamente resposta correcta é varidvel, sendo a sinalizagdo de qualquer delas ou de nenhuma cotada por ponderagfo ou por penalizacfo; a validade do instrumento é, segundo o autor, melhorada (Bujas, 1965). O aspecto comum a estas formas de apresenta- go da questo consiste em a resposta correcta estar antecipadamente fixada, donde a actividade do aluno ser de avaliacfo (escolha de uma de varias possibili- dades) ¢ nfo de produgio, que implica elaboragdo original da resposta (Noizet, Caverni, 1978, p. 150). Tem sido também realizadas, ¢ com éxito, experiéncias no sentido de cons. tmir testes de conhecimentos escolares em que as quest6es so abertas, isto é,4 resposta é livre; mais proximo da situago pedagogica, verificousse que 0 acordo obtido em miltipla correcefo é mais elevado do que nas provas tradicionais (Cambon, 1961; Bacher, 1973, pp. 48-49). : Relativamente as provas tradicionais, os testes de conhecimentos respon- dem methor a exigéncias de objectividade de correcefo ¢, embora a escolha das questGes dependa do construtor do teste, a sua variedade permite uma amostragem mais satisfat6ria sob os pontos de vista do contettdo ¢ dos objectivos (13). A (13) Landsheere apresenta, a t(tulo exemplificativo, 0 estudo comparativo de uma mesma questo formulada sob a forma tradicional e sob a forms de resposta por escolha. miltipla. No primeiro caso estabelece bitolas de correccaio para ‘a atribuig#o da Rev, Fac, Educ, 81): 39-69, 1982 53MARIA JOSE MIRANDA. organizagdo de “bancos” de itens estandardizados pode conduzir a que as provas nommalizadas de conhecimentos sejam de quando em quando renovadas (Bacher, 1973, p. 55; Landsheere, 1974, p. 157), A forma das.questoes permite ainda o emprego de processos de correcgaio automatizados (Baker, 1971). O facto de os testes nfo incluirem aspectos ligados as qualidades de expresso levou Vernon a sugerix a sua utilizagdo principalmente para a apreciagdo de conhecimentos factuais, reservando as provas de tipo tradicional para a aprecia- 40 de aspectos de expresso original (Vernon, 1965, p. 209). A mesma opinigo & expressa por Coffman, que.aponta, no entanto, a necessidade de uma formula. 80 cuidada das questées e desenvolvimento de processos de cotago das provas tradicionais de molde a reduzir ao minimo as variagdes, sistemdticas como. alea- torias, das classificagdes (Coffman, 1971, pp. 285-296). Este tipo de considera. Ses vai também ao encontro do problema de que o uso exclusivo dos testis de conhecimentos na avaliago escolar poderia, eventuaimente, conduzir a negligen- ciar objcctivos importantes do ensino, por parte do professor e por parte do aluno, tais como o significado global da matéria, a elaboragao dos conhecimentos etc, As caracterfsticas téenicas mais importantes dos testes de conhecimentos escolates, enquanto instrumentos de medigdo, sdo a validade, a precistoo ea sensibilidade. A sensibilidade depende do universo programatico de que as questes do teste constituem uma amostra; assim, ele pode cobrir totalmente um programa ou partes mais ou menos amplas, permitindo neste caso.um controlo mais analitico dos conhecimentos adquiridos (Bacher, 1973, p. 51). A consisténcia intema do teste ligase 4 natureza e ntimero de itens; um teste de conhecimentos escolares ¢ necessariamente heterogéneo (pela diversidade dos objectivos e con- teridos que esto na base da sua construgdo) e o método mais apropriado de and. lise da precisio € a utilizagao de formas paralelas (Stanley, 1971, pp. 404-405; Bacher, 1973, p. 51; Landsheere, 1974, p. 140). Entre os processos de aumentar a preciso contam-se a clarificagdo dos itens e das instrug0es, maior némero de tens, ¢ mais clevado indice discriminative de cada um (Bloom, Hastings, Ma- daus, 1971, p. 81). No que respeita a validade do teste, importa considerar a validade de contetdo (que remete para a especificag#o das rubricas do programa 2 incluir no diagrama bidimensional), a validade de construgaio (que se liga a medi- $0 dos comportamentos enquanto indicadores dos objectivos) e validade preditiva (confirmago subsequente das predicSes efectuadas) (Ferreira Marques nota, ¢ no segundo indica diferentes modalidades consoante © grau de contheci- mentos requeridos (Landsheere, 1974, anexo I, pp. 199-204) Rey, Fac. Educ, (1): 39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA 1971; Cronbach, 1971, p. 446; Tourneur, 1974, pp. 41-43; Messick, 1975). Ba- cher assinala que a validade preditiva dos testes de conhecimentos escolares pOe um problema, cm virtude de as diferengas individuais relativamente 20 critério dependerem também de aspectos ndo cognitivos (Bacher, 1973, p. 52). ‘Um outro aspecto métrico igualmente relevante ¢ 0 da configuragio da curva dos resultados. A distribuigio normal dos resultados dos alunos em testes escolares tem sido contestada por alguns autores (Landsheere, 1974, pp. 179- -183) e outras formas foram sugeridas nomeadamente a curva tipo Ill de Pearson (Gardner, 1952, p. 273; Angoff, 1971, p. 521). Bacher chama no entanto a aten- G0 para o facto de que uma situagso estruturada de aprendizagem nfo conduz necessariamente a um sucesso global, ¢ que as diferencas individuais subsistem se bem que a diferenciaggo na base do programa propriamente dito seja atenuada (Bacher, 1973, p. 50). Reuchlin aponta como principais criticas dirigidas aos testes de conhecimentos enquanto instrumentos de avaliag&o escolar as que se referem 2 fragmen- tagdo de conhecimentos em unidades elementares, a facilitagao da tarefa por familiarizagao anterior com o tipo de questdes, ¢ A intervengdo do acaso na escolha da resposta correcta (Reuchlin, 1974, pp. 222-223). No que diz respeito ao contetido das quest0es, 05 estudos realizados nos tltimos anos ¢ em diferentes nfveis de escolaridade demonstraram j4 que os testes nfo tém que se cingir a conhecimentos pontuais e podem apelar para operages complexas (Bacher, 1973, p. 57). Quanto 4 facilitagao por familiarizagzo com a tarefa, ela pode ser reduzida por aplicag#o prévia de uma prova neutra visando um melhor nivelamento dessa mesma familiarizagao (Reuchlin, 1974, p. 222); ainda, o tipo de questdes nao dever4 set Utilizado no ensino regular sob o risco, apentado entre outros autores por Vernon (1965, p. 205), de desenvolver nos alunos aptidao para responder a itens de escolha miltipla. Finalmente, o aspecto de adivinhagao da resposta ¢ susceptt- vel de controlo pela recorréneia a formulas de ponderacao dos resultados (Chop- pin, 1975): e pelo mimero de altemativas propostas. Um estudo recente sobre preciso de testes compostos de itens de duas, trés ou quatro alternativas revelou que o ntimero de trés 6 adequado no caso dos testes escolares, e recomenda o seu emprego pelas vantagens de construgao (redaccAo dos itens, escolha dos distrac- totes) ¢ aplicagdo (inclusflo de maior mimero de itens sem alargemento dos limites de tempo) que oferece (Straton, Catts, 1980, pp. 364.365), A redaceao das instrugdes pode ainda ter efeitos de controlo: a descrigao precisa quer da questo (assinalando a existéncia de uma tinica resposta correcta), quer da resposta (ape- Jando para uma escotha fundamentada), quer das consequéncias da resposta (in- dicande a pontuagdo positiva da resposta correcta ¢ as penalizagGes por resposta incorrecta ou omissfo) podem também diminnir a probabilidade de intervengdo do acaso (Leclercq, 1978, p. 22). Rev, Fac. Educ,, 31): 39-69, 1982 55MARIA JOSE MIRANDA. 4. ESTUDO SISTEMATICO DO COMPORTAMENTO DE AVALIACAO ESCOLAR ‘Um artigo intitulado “Para uma docimologia experimental” (Noizet, Bon- niol, 1969) assinala_ uma nova linha de trabalhos docimologicos, em que 0 ¢s- tudo diferencial da avaliago escolar dé lugar a andlise experimental do comportamento de avaliagdo. Investigagdes conduzidas nos Ultimos anos em Franga por psicélogos como Noizet, Amigues, Caverni, Fabre, Bonniol, entre outros, partem. das condig6es objectivas em que se realiza a avaliagdo escolar: as varidveis presen- tes na situacdo sao sujeitas a isolamento experimental, e analisados os seus efeitos enquanto factores de divergéncia entre os examinadores relativamente a uma ‘mesma prova ov a um mesmo conjunto de provas. O ponto de partida dessas investigagOes consiste em considerar a avaliagao como um comportamento, no sentido de uma resposta global a uma situacZo, com componentes perceptivos e cognitivos (Noizet, Caverni, 1978, pp. 66-67). Nesta perspectiva, a explicagdo das divergéncias de avaliaggo passa necessariamente pela andlise experimental da situacfo ¢ implica o recurso a planos de expe- signeia pondo em evidéncia as variaveis em presenca e suas inte racg&es (Bonnicl, 1974, p. 202). O comportamento de avaliaggo ¢ um comportamento de estima- 40, como tal sujeito a determinantes que cabe a investigagdo docimologica esclarecer; a Docimologia tem por objecto nfo s6 o estudo sistematico dos exames, mas também o estudo sistemdtico do comportamento de estimagao em situagao de exame (Noizet, Bonniol, 1969, p. 786). A tarefa do examinador perante um Lote de provas consiste na atribuiggo a cada uma das notas de uma escala, isto é, em situar um conjunto de estfmulos (as provas) num conjunto de respostas (a escala de notas). Esta operagfio supoe um modelo de referéncia, constituido previamente a tarefa, que fixa as regras da correspondéncia (Amigues, Bonniol, Caverni, Fabre, Noizet, 1975, p. 794). A atribuig#o de notas é um comportamento de tomada de decisdo, a partir de indices que 0 examinador extrai das provas e que traduzem os critérios de apreciago (Noizet, Caveni, 1978, p. 67). O examinador utiliza simultaneamente varios cri. térios, dada a natureza multidimensional do objecto da apreciagéo; a decistio supoe, assim, a compatibilizagdo entre indices (Noizet, Caverni, 1978, pp. 126- +127). Nesta éptica, a avaliacdo é um comportamento que se inscreve na categoria dos que so objecto da psicologia geral, contendo aspectos de natureza cognitiva e de natureza perceptiva, e determinados pela interac¢do entre as variveis do estimulo ¢ as variaveis da personalidade. 56 Rev, Fac, Hdue,, 8(1): 39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA. A andlise experimental do comportamento de avaliago emprega planos de experiéncia que incluem técnicas classicas da investigagz0 docimologica como a multicorrecgao, as provas reais (produzidas efectivamente por alunos) ¢ as provas fieticias (construsdas expressamente para o efcito). A manipulagdo das varidveis independentes consiste na varisgao sistematica das condigdes em que a avaliag&o se vealiza, nomeadamente no que se sefere as informagées fornecidas e 4 compo- sigfo dos grupos de avaliadores de um mesma conjunto de provas. Essas varia- ¢Ges so analisadas tomando as variveis independentes isoladas ou em interacedo,. ¢ verificando os seus efeitos na varidvel dependente (as médias das notas atributdas) (Noizet, Caverni, 1978, pp. 72-74). Para a estudo dos critérios de apreciagto utilizados pelos examinadores ¢ processos de recolha dos fndices, recorre-se tam- bém a avaliagfo indirecta, desempenhando o experimentador o papel de interme- diario (Noizet, Caverni, 1978, p. 122). Tratando-se a avaliagdo escolar de um comportamento que ocorre no quadro de uma actividade profissional, a questo da representatividade da situagdo experimental relativamente a situag%o real € contemplada, por um lado, em termos de composicgo dos grupos experimentais (futuros ow actuais professores), por outro, das precaugdes tomadas na construgdo das provas fictfcias (utilizando, por exemplo, partes de provas reais) (Noizet, Ca- verni, 1978, pp. 74-76). © modelo de referencia de que dispoe o avaliador ¢ um padrio subjectivo, constitufdo portanto previamente a tarefa de avaliagio. O modelo é composto fundamentalmente por trés tipos de elementos: o produto-norma, o produto-esperado, a escala de medida (Noizet, Caverni, 1978, pp. 69-70). O produtonoma é de definiggo mais ou menos imediata consoante 4 matéria sobre que incidem as provas (numa prova de matematica, por exemplo, poderia ser 0 acerto de todas as questGes que o compdem). A partir do procuto-nomma ¢ elaborado o segundo elemento, o produto esperado; este toma em linha de conta, relativamente a0 primeiro, as informagées de que o.avaliador dispe e que so geradoras de expectativas. O terceiro elemento, a escala de medida, traduz-se para o avaliador em escaldes de classificacdo, de escalas de intervalos ou ordinais. O que caracteriza 0 modelo de referéncia é menos © aspecto estrutural do que o aspecto funcional: a sua dindmica intema em termos de natureza ¢ articulagao das informagées, a forma como elas determinam a operacionalidade dos critérios de avaliagdo (processos de selecgdo de indices pertinentes), ¢ as regras de atribuigao das classifica- des, As informagGes geram expectativas, que se constituem em representagées que determinam atitudes; o triptico representagdo-cxpectativa-atitude caracteriza o comportamento de avaliaggo como essencialmente cognitive (Noizet, Caver- ni, 1978, p. 98). As iformagoes de que o examinador disp0e sto de dois grandes tipos: apriouisticas e sequenciais, As informag0es aprioristicas s40 elementos extrinse- Rev. Fac, Edue., 8(1): 39-69, 1982 a7MARIA JOSE MIRANDA. cos a situagdo de avaliaggo e dizem respeito aos alunos que fizeram as provas ou ccrtas condighes em que elas se realizaram, As informagGes sequenciais so in- trinsecas A propria tarefa. Enquanto geradoras de expectativas, os dois tipos de informagGes produzem efeitos de assimilag#o ede contraste. O efeito de assimilag&o traduz-se na procura de compatibilizagdo entre o produto-reat (a prova) eo produto-esperado em fungdo da representago. constituda, em termos de redu- ao da distancia (consonancia) entre os dois. O efeito de contraste advém da ordem sequencial das provas e traduz-se em distorgGes de estima (sobreavaliaggo ou subavaliagdo) decortentes da ordenag4o das provas; inclui ainda fenémenos de ancoragem, isto é, fixagZo num estimnlo que, porque privilegiado, assume de forma mais ou menos persistente 0 estatuto de norma de apreciagdo dos que se lhe seguem. O modelo de seferéncia, logicamente anterior 8 avaliaga0, n€0 6 por conse- guinte estético, antes susceptfvel de modificag6es ¢ ajustamentos no decurso da tarefa, Piéron referira j4 0 facto de que uma prova pode ser diferentemente class sificada consoante sucede a outta de nivel excelente ou medfocre, a pratica da avaliagdo sugere uma tendéncia de severidade crescente na apreciaco das primei- as para as iltimas provas de uma série, Os efeitos de ordem de apresentagao-das, provas so mais pregnantes do que os dos critérios de avaliagao que os examinadores dizem utilizar (Borniol, 1974, p. 203). O fenémeno perceptivo de ancoragem adquire no estudo sistematico do comportamento de aviliag#o um valor heuristico considerével. Numa comunicagao apresentada a0 VI Congreso Internacional de Ciéncias da Educagdo (Paris, 1973) foi proposto um modelo explicativo, de tipo analogi- 0, do comportamento de avaliag%o (Amigues, Bonniol, Caverni, Fabre, Noizet, 1975). © modelo ¢ expressamente concebide como um sistema de ancoras, que estabelece uma correspondéncia entre produtos-esperados e valores de uma escala de medida, Essa correspondéncia passa por um produto-nonma definido pelos objectives pedagégicos ¢ pelos conhecimentos escolares. Os produtos-esperados so uma amostra de produtos possiveis, detecminados pelas informagées aprioristicas e sequenciais, amostra essa que provém de uma opcragao de seleccao. Uma outra operagao tem lugar, a de comparagdo do produto-real com o sistema de ancoras, Num primeiro momento 0 produto-teal é sujeito a uma assimilacao; quando um produto-real ¢ nitidamente superior ou inferior aos outros, acorre uma modificagfo no sistema que determina a sobreavaliagZo ou a subayaliaggo dos que se seguem — trata.se da introdugao de uma ancora parasita, Assim, os efeitos de contraste resultam, pelo menos em parte, do proprio jogo das assimi- lag6es. A validagdo do modelo implica a realizagdo de estudos experimentais incidindo particularmente sobre os determinantes da avaliagdo (informagées dis- pontveis, produto-norma, regras de cotagio) ¢ a operago de comparagao (rela. 58 Rey, Fac, Educ, 8(1):39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA gto entre a articulagdo do sistema ¢ a “leitura’ do produto-real) (Amigues, Bon- niol, Caverni, Fabre, Noizet, 1975, pp. 795-798). O funcionamento dos mecanismos de assimilago ¢ contraste erm situago de avaliagso escolar tem sido objecto de varias investigagdes experimentais. Es- sas investigacGes, reportando-se a situag6es simuladas, fazem intervir informagdes ficticias sobre os alunos ec efeitos de ordem e de ancoragem na avaliagdo de um lote de provas por diferentes examinadores. Seguidamente se passam em revista resultados extraidos de alguns desses trabalhos. Um estudo de Bonniol, Cavemi e Noizet (1972) poe em evidéncia 0 efeito do estatuto escolar induzido (por informacHo previamente fornecida) na avalia- ¢4o de um conjunto de oito provas de redacedo. O plano de experiéncia contém como varidveis independentes a experiéncia dos examinadores (16 professores em exercicio e 16 futuros professores), o estatuta escolar fictfcie dos alunos (indicagao sobre se pertencem a uma turma de bons ou de maus alunos), ¢ a or- gem real das provas (quatro provenientes de alunos de uma turma boa, as outras quatro de alunos de uma tunma fraca). A variével dependente € a classificago, numa escala de 0 a 20. As ito redacgées foram escolhidas segundo um critério de provas medianas, de duas turmas diferenciadas do primeiro ano do ensino se- cund4rio, A varidvel estatuto escolar ficticio determina diferengas de médias estatisticamente significativas, sendo mais clevada 2 das notas atribufdas 4s provas supostamente redigidas por alunos da turma superior; o cruzamento da varidvel estatuto com a varidvel origem real, evidencia diferengas de médias no mesmo sentido. O efeito é idéntico nos dois grupos de examinadores, ndo se verificando fendmenos de interacg#o. A varidvel experiéncia dos examinadores traduz-se 20 nivel dos resultados por uma maior severidade de avaliagfo por parte dos professores em exercicio. Num outro estudo (Caverni, Fabre, Noizet, 1975) a hiptese ¢ formulada explicitamente em termos de assimilagao das avaliagdes actuais as avaliagGes anteriores, independentemente do conteddo das provas. Duas experiéncias reprodu- zem as condigées de avaliago continua e de avaliagfio pontual. Na experiéncia 1, numa primeira fase doze examinadores (professores de inglés do ensino secundé- rio e do ensino superior) classificaram doze provas; numa segunda fase, dois me- ses mais tarde, aos mesmos examinadores foi pedida a classificagdo de um lote de seis provas, todas de nivel idéntico, imaginariamente tedigidas pelos mesmos alunos. Em cada uma das seis provas figurava uma nota ficticia anterior, sendo as seis notas fict(cias as trés mais altas-e as trés mais baixas cfectivamente atribuidas por cada examinador na primeira fase. As médias das notas das trés provas com informagdo anterior favoravel so superiores as médias das notas'com informagao anterior desfavoravel, sendo a diferenga significativa no nfvel de probabilidade de Rev, Fac, Fdue., &(1): 39-69, 1982 59MARIA JOSE MIRANDA. 005. Na experiéncia 2; dezesseis professores do ensino secundério, repartidos por quatro grupos, classificaram quatro provas de ciéncias naturais. Em cada uma das provas figurava uma série de notas ficticias, supostamente relativas a0 rendimento escolar do mesmo aluno durante 0 ano lective. Quatro séries de cinco notas fictécias, numa escala de 0 a 20 e diferenciadas quanto a tendéncia central @ a dispersiio, foram associadas a cada uma das provas; os valores da médiae do desvio-padrao comuns a cada duas séries cram, respectivamente, de 13 e de 7, de 3,8 ¢ de 1,00. A andlise das notas dos dezesseis examinadores, em termos de mé- dias, evidencia que a média das notas atriburdas as provas ¢ mais elevada quando a média das notas fict{cias ¢ alta do que quando é baixa, nao sendo a diferenga entre médias, porém, significativa num nrvel de probabilidade exigente. Toman- do em consideragao o indice de dispersdo das distribuigoes de notas ficticias, verificase que a média das notas & mais alta quando a dispersfo é fraca, sendo a diferenga entre médias significativa no nivel de probabilidade de .05. Os resultados dos dois trabathos apontam no sentido da dependéncia da ayaliag4o actual relativamente a informagto dispontvel, que em ambos os casos € uma avaliago escolar anterior, Essa dependéncia manifesta-se por uma assimilagao, isto é, uma redugdo de distancia, entre a nota virtual notas anteriores. A teducdo da distancia é uma procura de consonancia cognitiva (Caverni, Ami- gues, 1977, p. 17; Noizet, Caverni, 1978, p. 100). Outros trabalhos fazem intervir na situagio experimental informagées ex: tra-escolates do tipo estatuto sécio-cultural ficticio dos alunos ou origem étnica, igualmente imagindria. S40 descritos por Noizet e Caverni dois trabalhos em que 6 aduzido como factor experimental a identidade social dos examinadores (Noi- zet, Cavemni, 1978, pp. 88-96). Em sintese, os resultados revelam uma assimilago da avaliag#o A categorizagio experimentalmente induzida, em termos de valéncia positiva ou negativa; ainda, da compensaggo de preconceitos desfavord- veis (Noizet, Caverni, 1978, p.92e p. 95). Como referido antes, 03 efeitos de contraste provém de informagées sequenciais concomitantes 4 tarefa de avalia¢ao. O contraste exprime-se por sobreavaliagdes ou subavaliagdes determinadas pela posigdo de ordem, absoluta ou relativa, das provas na série, O seu estudo experimental implica por consequéncia anflise de efeitos de ordem, que inclui a identificagao e a localizagéo de provas que pela sua qualidade sio “exteriores” a série © que fazem intervir fendmenos de ancoragem. A influéncia da ordem de apresentagdo das provas na avaliagfo das mesmas foi posta em evidéncia num trabalho experimental em que metade de um grupo de 18 examinadoxes classifica 26 provas de tradugdo de inglés numa dada sequén- 60 Rev, Fac, Educ, 8(1):39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA cia, @ a outra metade na sequéncia inversa (14). A andlise das médias revela que as primeiras provas sto sobreavaliadas relativamente as tiltimas, nas duas ordena- Ges, 4 excepeao da primeira prova que é subestimada. As diferengas entre mé- dias verificamse relativamente a série no seu conjunto (ordenagdes directa e inversa), como as partes (primeira metade/segunda metade, primeiro tergofiltimo tergo). A posigfo relativa (em termos de classificagdo) das provas varia nas duas ordenag6es, atingindo as diferencas nalguns casos valores elevados; considerando a ordem de qualidade absoluta das 26 provas definida pelo lugar que cada uma ‘ocupa no conjunto tomando em conta as médias das notas atribufdas nas duas ordenag6es, verificase que a grande diferenga de posigdo relativa de algumas provas decorre de se seguirem imediatamente, em cada ordenagfo, a uma prova boa ou a uma prova fraca, A sobreavaliagdo on subavaliagdo é, assim, um efeito de contraste. Isto leva o autor do trabalho a afirmar, parafraseando Piéron, que para prever a nota de uma prova ¢ importante nfo s6 conhecer 0 examinador como ainda as provas que a precedem ~ mais do que a prova em questZo (Bonniol, 1974, p. 205). A subestimagto da primeira prova poderd explicarse pela sua comparagdo, na falta de informagées sequenciais, ao produtonomma (na ocorén- cia, a traduedo sem erros); assim, também por um efeito de contraste (Noizet, Cavemi, 1978, p. 106). Noizet ¢ Caverni submetem os raesmos dados a processos matemiticos de tratamento que poem em cvidéncia os efeitos de contraste. As distribuigges de aotas dos diferentes examinadores foram previamente reduzidas a uma escala comum (média 10, desviopadrao 3), a fim de legitimar a comparago, Um dos processos consiste na determinac4o das médias das notas dadas as provas cujo unico Ponto comum ¢ o lugar que ocupam na série: médias das notas das provas 1.23, ctc., na ordem directa, e das provas 26-25-24, ete na ordem inversa. As médias assim obtidas so independentes do contetido das provas; verifica-se, no entanto, uma oscilapfo regular ¢ sistemdtica em tomo do valor 10 (a média reduzida). Um outro proceso baseiase no ediculo da diferenga entre as médias das notas dadas as provas na posigdo n e na posi¢go n+1. Mais uma vez se trata de notas dadas a provas diferentes, que tém em comum apenas a posigfio de ordem na série, So obtides 25 valores de d (d = Mp1] — Mq), analisiveis em termos de 24 pares sucessivos, Na auséncia de efeitos de contraste, o némero de pares em que d ¢ positivo seria igual ao mimeo de pares em que d € negativo; se somente intervies- sem efeitos de contraste, tados os d sucessivos seriam de sinal contrério, O facto {14} Nao foi possivel a consulta dizecta do trabaiho publicado em 1965. © autor faz-the referencia num outro artigo (Bonnioi, 1974), © no livro de Noizet e Caverni os dados sfo reapreciados a luz de téenicas do tratamento que pdem em evidéncia os fonémenos de contraste (Noizet, Cavemni, 1978, pp. 104-106), Rev, Fac, Edue,, 8(1):39-69, 1982 61MARIA JOSE MIRANDA de em 18 dos 24 pares sucessivos d ser de sinal contrério, indica a presenga de efeitos de contraste (Noizet, Caverni, 1978, pp. 106-107), Uma forma de estudar experimentaimente os fenémenos de ancoragem ¢ fornecer a dois grupos equivalentes de examinadores um conjunto de provas, sendo num dos casos inclufda uma ancora (grupo experimental) ¢ no outro nfo (grupo controle). A ancora experimental introduzida é uma prova excepcional relativamente as outras (no sentido positive ou negative), um estfmulo “exterior” 4 série, portanto. O estudo dos efeitos da ancora consiste na andlise de distor- Ses (sobrestimagdo ou subestimagdo das provas que se Ihe seguem), ¢ sua per- sisténcia (Bonnio!, 1974, p. 204). Uma experiéncia conduzida sobre dezassete provas de inglés e catorze de matemitica distribufdas por um grupo controlo e seis grupos experimentais de entre doze a quinze examinadotes cada, fez intervir como valores da varidvel independente a natureza da ancora (alta ou baixa), o peso da ancora (uma nica prova ou trés provas sucessivas do mesmo nivel de qualidade), ¢ o lugar da ancora (no fim do primeiro tergo ou no inicio do terceiro), Os resultados evidenciaram efeitos de contraste na classificagdo das provas das duas disciplinas: no inglés 0 fenémeno repercute-se nas quatro ou cinco provas que sucedem a Ancora, ¢ é mais acentuado quando ela é constitufda por trés provas; na matemitica verifi- cam-se efeitos no mesmo sentido embora de menor amplitude, sobretudo quando a ancora é elevada (Bonniol, 1974, p. 204). Os efeitos de contraste sfo mais acentuados quando as dncoras se situam no infcio da série (Noizet, Caverni, 1978, p. 111). No quadro dos estudos sistemticos do comportamento de avaliag 40 mere- cem ainda referéncia os trabathos sobre a natureza dos critérios de apreciagfio-e 0 modo como se efectua a recolha dos indices que Ihes correspondem. Como refe- tido antes (p. 44), esse tipo de trabalnos emprega por vezes a avaliagdo indirecta; ‘outras, provas construfdas segundo dimens6es objectivamente definidas, e que decorrem dos critérios que os examinadores dizem utilizar nas diversas disciplinas. ‘Num estudo recente (Caverni, Amigues, 1977) trinta e dois futuras professores classificaram oito-provas de redac¢ao sobre o mesmo tema, atribufdas a alunos do primeiro ano do ensino secundério, e construfdas segundo trés dimens6es, © estilo, a ordem de apresentagao das ideias e o conteddo. Nos aspectos de estilo ¢ de ordem de apresentagao das ideias, os {ndices experimentalmente introduai- dos referiram-se, respectivamente, correcgfo de sintaxe e as qualidades légicas da exposi¢do; ne aspecto do contetido, permitiam induzir o meio socio-econémi- co dos alunos. As médias das notas atributdas as provas sem incorrecg6es de esti- 62 Rev, Fae, Educ, 8(1): 39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA lo, bem como as provas seguindo uma ordem l6gica de exposigao, sio superiores As médias das notas atribufdas as provas onde o mesmo nao se verifica, sendo a diferenga entre as médias estatisticamente muito significativa: No que diz respei- to aos indices de contetido, as diferencas entre médias nfo silo significativas; 2 anélise dos resultados evideneia, porém, que a recolha dos {ndices relatives a0 meio s6cio-econdmico dos alunos foi diferentemente efectuada pelos examinadotes de meio sécio-econémico diferente — a interac¢o entre os dois factores experimentais é significativa no nivel de probabilidade de p< .001. Este trabalho pSe em evidéncia que critérios de natureza subjectiva inter- vém na avaliagao escolar, a par de critérios de natureza objectiva. E, consequentemente, que os examinadores utilizam na apreciagdo critérios nfo explicitos. Num trabalho anterior, nfo publicado, Noizet e Caverni tinham chegado acon- clusdes idénticas, ¢ verificado que os critérids que os examinadores dizein utilizar so tanto quantitativos como -qualitativos, e que nestes ¢ ainda possivel dis- tinguir critérios subjectivos de outros mais objectivos; por outro lado, que os cri- térios que os examinadores utilizam de facto na recolha de indices nfo coinci- dem, no que se refere& sua importancierelaiva, com os que dizer utilizar (Noi- zet, Caverni, 1978, pp. 122-124). » Trabalhos realizados sobre-a possfvel dependéncia entre a variedade de cri- térios de apreciagso e as propriedades formais de escalas de notas, nao siocondlu- sivos (Noizet, Caverni, 1978, pp. 137-140). Apontam, no entanto, no sentido da existéncia de uma escala implicita, de cada examinador, a qual se caracteriza pelo numero de escaldes e pelo intervalo médio entre duas notas sucessivas; na situagdo de avaliagZo o examinador adapta essa escala implfcita 4 escala de notas de que disp&e (Noizet, Caveni, 1978, p. 139). CONCLUSAO A Docimologia conheceu, em pouco mais de meio século de existéncia, um desenvolvimento considersvel, no plano da teoria como no das aplicagées. Ressalte-se, em primeiro lugar, a importincia da evolug%o da Docimologia de uma perspectiva estritamente erftica dos -processos de avaliagfio — pondo em evidéncia a instabilidade das classificagoes, as divergéncias entre os examinadores, em suma, 2 inadequagdo dos exames e dos concursos aos fins propostos — para uma perspectiva de estudo cient/fico da problemdtica ¢ das técnicas da ava- Itagtio escotar. Salientese, em segundo lugar, os progressos realizados no que respeita a Rev. Fac, Educ., 8(1):39-69, 1982 63MARIA JOSE MIRANDA questfo da objectividade da avaliago escolar: por um lado, o aperfeigoamento da avaliaggo tradicional, no que se refere aos aspectos técnicos a ter em conside- taco na construgZo das provas, A concertagdo entre. os examinadores sobre os critérios de apreciag#o, e aos métodos de moderagdo das classificagdes; por outro, a importéncia conferida ao desenvolvimento de instramentos estandardizados de medigZo das aquisip6es escolares, Assinale-se, ainda, a diversificagio dos métodos de investigacZo docimolé- gica. A andlise experimental da situagao de avaliagdo permitiu identificar factores de distorgao das apreciagfes independentemente das diferencas individuais entre os examinadorss, ¢ esclarecer aspectos da interacefo entre os factores subjectivos ¢ as varidveis da situarao. A luz dos trabalhos docimol6gicos é possfvel equacionar os problemas da avaliagZo escolar em termos de efeitos das diferengas interindividuais ¢ intraindividuais dos examinadores, da diversidade dos critérios de apreciagso ¢ de classificagdo, das expectativas constitu(das, da ordem de apresentagdo das provas, dos aspectos formais e das caracteristicas t6cnicas dos instrumentos de avaliago. A Docimologia contribuiu ainda, pela pertinéncia das questOes que constituem o objecto de estudo, para uma reformulacao da problematica da avaliagfio escolar na perspectiva de realizagtio dos objectivos pedagégicos e da formagao dos alu. nos, A andlise da evolugao da Docimologia sugere uma interrogacgo: qual o fue turo préximo da investigag#o docimolégica? Duas grandes linhas de orientaggo emergem no est4dio actual do desenvolvimento dos trabalhos: por um lado, o aperfeigoamento e diversificagao das téc- nicas de avaliagio dos conhecimentos escolares, enquanto instrumentos de controlo e enquanto meios auxiliares da realizagao dos objectivos pedagdgicos; por outro, o estudo dos determinantes do comportamento de avaliag#o, do seu peso relativo e da sua interdependéncia. Afigurase provavel que a Docimologia se encaminhe no sentido da con- fluéncia de ambas, e que da articulagtio das dues metodologias resultem novas perspectivas para a avaliagao escolar. BIBLIOGRAFIA ALLAL, LK. ~ Stratégies d’évaluation formative: conceptions psychopédagogiques ct mo- 64 Rev. Fae, Edue,, &(1): 39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA dalités aplication in Allal, L., Cardinet, I., Perrenoud, P, — (Eds.) L'evaluation formative dans un enseignement differencié, Bern: Lang, 1979. ALLAL, L. K., CARDINET, T,, PERRENOUD, P. (Eds,) £ ¢reluation formative dans un enseignement differencit (Actes du colloque a ['Université de Genéve, Mats 1978), Bern: Lang, 1979. AMIGUES, R., BONNIOL, J. 3., CAVERNI, J. P., FABRE, J, M., MOIZET, G. - Le comportement d’évalution de productions scolaires: 2 la recherche d'un modile explicatif. Bulletin de Psychologie, 1975, 28, pp. 793-199. ANASTASL, A. (Ed.) — Testing Problems in Perspective. Washington: American Council on Education, 1966, ANASTASI, A. — Psychological Testing (4th ed.) New York: Macmillin, 1976. ANDRE, C., CRETIGNY, I, — Les production des éléves. Recherches Pédagogiques, 1974, 1 66, pp. 83-89. ANGOFF, W. H. — Scales, norms and equivalent scores. in Thomdike, R. L. Ed) Educational Measurement (2nd ed.). Washington: American Council on Education, 1971, pp. 508-600. ASTIN, A. W., PANOS, R. J. - The evaluation of educational programs én Thomdike, R. L. C8) Educational Measurement Qad ed). Washington American Council on Education, 1971, pp. 733-751. BACHER, F. — L’évaluation des résultats scolaires au niveau de 'école moyenne. Travail Humanin, 1965, 28, pp. 219-230. BACHTER, F. ~ Lutilisation des tests dans ies écoles en France, B1WV.0.P., 1968, 24, pp? 13 BACHER, F. — Congrés de Berlin sur les possibilités et tes limites de 'application des tests dans kes écoles, B.IN.O.P., 1968, 24, pp. 42-49. val BACHER, F. — La nomnalisation de la notation. BLN.O.P., 1969, 25, pp.75-90. °°" BACHER, F. — Ladocimologie in Reuchlin, M. (Ed) Traité de Psychologie Apphaude Lome 6). Paris: Presses Universitaires de France, 1973, pp. 27-87. : BACHER, F., REUCHLIN, M. — Le Cours d'Observation, Enguéte sur Vensernbledis¢léves Gun département (Lolxet, 1960-62). #IN.O.P., 1965, 21, pp. 149-236." BAKER, F. B. — Automation of test scoring, reparting and analysis ia ThomdikeyR. L. (Gd) ‘Educational Measurement (nd. ed.). Washington: Ameriouy }Coxnally 6m Education, 1971, pp. 202-234. 2b ong esich BESSE, J. M. ~ Vers une pédagogie par objectifs? Bulletin de *, Sort \Biner‘et Th Simon, 09 $56, 77éme année, HII, 1977, pp. 114-147, BIRZEA, 1. — Rendre opérationnels les obfectifs eect Pat jee cimeaes de France, 1979, nt 8, BLOOM, B. 8., ENGELHART, M. D,, FURST, E. J., HILL W.H.-RRATHWOHL; DsRii> Taxonomy of Educational Objectives. "The “Classification: of Bacationdt sGoak. Handbook: I: Cognitive Domatn. New York: McKay 1956: Hh. BLOOM, B. S, HASTINGS, H. T., MADAUS, Gu-P::.#fandhook on Pobmbitie ened Summative Evaluation of Stuient Learning. New York: MoCaat-sGll, 197¥, BONBOIR, A. — La pédagogie corrective, Paris: Presses Universitaires de France, 191 BONBOIR, A. — La docimologie. P et BONBOIR, A. ~ La méthade des tests en Pédogeate: Puts encs nator de France, 1972. PMG BONBOIR, A. (Ed.) Une pedagogie pour « 1974, f BONNIOL, J. J, - Les comportements destimation dans unc tidhsid'évalistion d'épreuves Rev. Fae. Educ., 8(1):39-69, 1982 65MARIA JOSE MIRANDA. scolaires, Etude de quelquerauns de leurs déterminants, Bulletin de Psychologie, 1974, 27, pp. 202-208. BONNIOL, J. I, CAVERNI, J. P., NOIZET, G. — Le statut scolaire des élives comme éterminant de l’évatnation des devoirs qu’lls produisent. Cahiers de Psychologie, 1972, 45, pp. 83-92, BONORA, D, — L’évalution des connaissances: quelques probiémes de mesure. Pédagogie, 1972, n9 2, pp, 158-177. BONORA, D. — Les buts de éducation in Reuchlin, M. (Ed.) Traité de Psychologie Appliquée (Tome 6). Paris: Presses Universitaires de France, 1973, pp. 139-191. BROWN, F. G, — Measurement and Evaluation, Itasca: Peacock Publishers, 1971. BRUNELLE, L, (Ed.) L'Université en question: Pourquot tes exames? Pazis: Société des Editions Rationalistes, 1968. BUIAS, Z. ~ L'influence du mode de notation sur Is validité des tests de connaissances, Travail Humain, 1965, 28, pp. 197-202. CAMBON, J. — Objéctivité de la notation des tests de connaissances. 4-réponies libres, BIN.O.P. 1961, 37, pp. 329-334, CAMPOS, B. P. — Taxonomie des objectifs, Analyse des tiches. (Evaluation pour une orientation intégrée au processus de Education) in Bonboir, A. (Ed.)- Une pédagogte pour demain. Paris: Presses Universitazes de France, 1974, pp. 6585. CAMPOS, B. P. - L’observation des aptitudes en we de orientation In: Bonbotr, A. (Ed) Une pédagogie pour demain. Paris: Presses Universitaires de France, 1974, pp. 105-136. CARDINET, J. — Objectifs éducatifs et évalution individualisée, Neuchdtel: Documents de TIR.DP,, 1977. CARDINET, J. ~ L’évaluation scolaire et égalité de chances, Documents de 1L.R.DP., 1978. CARDINET, J. — L’évaluation formative, probkime actuel. In: Alial, L. K., Cardinet, J. **-Perrenoud, P. (Eds.) £'évaluation formative dans un enseignement différenctt. Bom: Lang, 1979, pp. 10-18. ‘©ARDINET, J., ALLAL, LK, — Le mesure des résultats de tenseignement (compte rendu de Patelier de contact européen organisé A Windsor du 13 au 18 Juin 1976 par le Con- ‘tseil:de'’?Burope), Neuchatel, 1976, CASTRO, D, de — Recherches docimologiques sur quelques matiéres inscrites au programme. LA, S@examend universitaires, Travail Hurnain, 1965, 28, pp. 231-265. GAVERNT, J.B, AMIGUES, R, — Aggrégation des critéres de choix ot interactions sociales dans une téche d'évaluation réelle: la notation de production scolaires. Cahiers de 2° Paycholdgiey't972, 20, mp, 15-26. CAVERNI, J.P., FABRE, .M., NOIZET, G. — Dépendence dos évalustions scolaires par ecvie¥appart A des‘évatuations antérieuts: études on situation simul, Travail Humain, 1973, 38, pp. 213-222, CHOPIN; 'B. ~ Guessiig the/answer on objective tests, Britfsh Journal of Educational Psy. anv ghology, 1975, 45; ppv206-213. COFFMAN, W.E. — Essay exditination in Thorndike, RL, (Ed,) Aducational Measurement ‘ut, @nd ed.). Washington; Athetiban Council on Education, 1971, pp: 271-302, COOLEY, W.W., LOHNES, PR devahation Reseerch in Education. New York: Wiley, ; sib ote CRONBACH, LJ. — Test validation soveThorndike, R.L. (Ed,) Edueational Measurement zzq-(2nd ed.). Washington; American Gopacil on Education, 1971, pp. 443-507, CRONBACH, L.J., SNOW, RE, - Aptinudes ond Instructional Methods. A Handbook for cot Research on Interactions, New York: Wiley, 1977. DAVIS, F.B. — Estimation des décalages entre connaissances et aptitudes. Travail Humain, psy N965, 28, pp: PARZB. 3, weenaietsest 6 Rey, Fae, Edua,, 8(1):39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA DEBESSE, M., REUCHLIN, M. (Eds.) — Traité des Sciences Pédagogiques. Tome 4: Psycho. logie de Education, Paris: Presses Universitaires de France, 1974. DEMANGEON, M., LARCEBEAU, S. — Une expérience do corréétion multiple. BIN.O-P., 1958, 14, pp. 131-156. Evaluation I: savoir noter, noter le savoir, Cattiers Pédagogiques, 1978, 34, n° 162. Evaluation II: La mauvaise conscienoe. Chaiers Pédegogiques, 1978, 35, n0 168. Examens et concours. Hommage d Henri iran, Paris: Les Cahicrs Rationalistes, 1965, n° 227. FABRE, J. M, -- Jugement et certitude, Recherche sur I’évaluation des conaissances. Berne: P. Lang, 1980. FINLAYSON, D.'S. — The reliability of marking essays. British Journal of Educational Psy- chology, 1981, 22, pp. 126-134. GAGNE, RM. Te Conditions of Zeaming Cnd ed). Now Yorks Holt, Rinchart Winston, 1970, GARDNER, E. F. — The importance of reference groups in sealing procedures (1952). In ‘Anastasi, A. (Ed.,) Testing Problems in Perspective. Washington: American Council on. Education, 1966, pp. 272-280. GLASER, R., NITKO; AJ. — Measurement in learning and instruction, in Thorndike, R. L. (Ed) Educational Measurement (2nd, ed.). Washington: American Council on Educa- tion, 1971, pp. 625-670, GRONLUND, NE. Stating behavioral objectives for classroom instruction. New York: Mac- millan, 1970. GRONLUND, N.E. Measurement and evatuation in teaching (3rd ed.). New York: Macmillan, 1976. GUEBERT-SCEAUX; A.M., REUCHLIN, M. — Etude sur examen d’entrée en sixiéme dans cing établissements scolaires parisiens. B.N.O.P., 1958, 14, pp. 9-19. GUGLIELMI, J. — L'enseignement programmé a école, Paris: Presses Universitaires’ de France, 1970. HARROW, AJ. — A Taxonomy of the Psychomotor Domain, New York: McKay, 1972. HARTOG, P., RHODES, E.C. — An Examination of Examinations, London: Macmillan, 1935, HOTYAT, F. — Les examens. Les moyens d'évaluation dans Menseignement. (Documents Pé- dagogigues Interationaux de Pinstint de FUNESCO pour "Education. Pris: Bouse lier, 1962. HOTYAT, F. — L‘organisation des examens, Exposé introduetif. (XVi colloque de PAssocia- tion Internationale de Pédagogie Expérimentale de Langue Frangaise). Les Sciences de Education (N® sp. Docimologie et Education). Paris: Didier, 1969, p. 317. KAUFMANN, J. — Note sur les problémes de métrique en matiére de notation scolaire. Tra- vail Humain, 1975, 38, pp. 133-148. KRATHWORL, DR., BLOOM, BS., MASIA, B.B. — Texonomy of Educational Objectiv the Classification of Educational Goals. Handbook 2: Affective Domain, New York: McKay, 1964. Le correction des épreuves écrites dans les examens, Enquéte expérimentale sur le baceala- réat. Patis: La Maison du Livre, 1936. LANDSHEERE, G. de — Evaluation continue et examens, Précis de Docimologie (3e. ed.). Paris: F. Nathan, 1974. LANDSHEBRE, V. de LANDSHEERE, G. de ~ Definir os objectivos da Educagdo (29d). Lisboa: Moraes, 197 (traduco portuguesa). LAUGIER, H. PIERON, H., PIERON, Mme,, TOULOUSE, E., WEINBERG, D, — Bruder Rev: Fae, Educ, 1): 39-69, 1982 6MARIA JOSE MIRANDA. docimologiques sar le perfectionnement des examens et des concours. Publications du Travail Humain, série A, n93, 1935. LECLERQ, D. — La question & choix multiple (Q.C.M): un outil d’hier ou de demain? Cahters Pédagogiques, 1978, 34, pp. 22-24, LEWIS, D.C. ~ Assessment in Education. London: University of London Press, 1974, LOBROT, M. — Lo probléie des examens in Brunelle, L. L'Université en question: pour- quoi les examens? Paris: Société des Editions Rationalistes, 1968, p. 85-112. MARQUES, J. H. FERREIRA ~ 0 problema da validade em Psicologia Diferencial. Separata da Rovista da Faculdade de Letras. Lisboa, 1971, MESSICK, S. — The standard problem: meaning and values in measurement and evaluation. American Ptychologist, 1975, 30, pp. 985-566. NGUYEN-XUAN, A. — Recherches anglaises sur la notation des devoirs de rédaction, B.I.N, O.P., 1963, 19, pp. 254-266. NISBET, J. D. ~ English composition in secondary schoot selection, British Journal of Edu- cational Psychology, 1958, 25, pp, 51-54. . NOIZET, G. — Etude docimologique sur la carrection de Iécrit du baccalauréat, BIN.O.P., 1961, 77, (257-267). NOIZET, G., BONNIOL, J.J. — Pour une docimologie expérimentale, Bulletin de Psycholo- gie, 1969, 22, pp. 782-787. NOIZET, G., CAVERNI, JP. — La psychologte de V'évatuation soolatre. Paris: Presses Uri- versitaires de France, 1978. PELNARD, J. - Mission d'information sur les méthodes utilisées en Grande Bretagne dans les examens, et sur différentes recherches psychopédagogiques lides aux problémes de mesure. BLN.O.P., 24, pp. 332-334. PELNARD-CONSIDERE, J. - Travaux docimologiques sur les examens en Faculté de Méde- cine. BIN.OP., 25, pp. 241-256. PENFOLD, DM, EDWARDS - Essay marking experiments; shorter and Jonger essays. British Journal of Educational Pxychology, 1956, 26, pp. 128-136, PERRENOUD, P. — Les différences culturetles aux inégalités scolaires: 'évaluation et la nor- ime dans un enseignement indifférencié, Jn: Allal, L.K., Cardinet, J., Perrenoad, P. Ga) L'évaluation formative dans un enselgnement différencié. Ben: Lang, 1979, p. 55. FIERON, H. — Examens et docimotogte (20, od.), Paris: Presses Universitaires de France, 69. FIERON H. — Vocabulaire de Psychologie (Se. ed.). Paris: Prosses Universitaires de France, 73. FIERON, H., REUCHLIN, B,, BACHER, F, — Une recherche expérimentale de docimotogie sur les examens oravx de Physique au niveau du baccalauréat de Mathématiques. Biotypologie, 1962, 23, pp. 48-73. PIERON, H. REUCHLIN, M., BACHER, F., DEMANGEON, M. — Analyse des conélations entre notations & une session du baccalauréat. Biotypologie, 1962, 23, pp. 17-47. Rapsodie, Groupe-Prévenir Jes indgalités scolaires par une pédagogie différencide: & propos Pune rechercheaction dans Fenseignement primaire genevois, In: Alal, L.K., Catdinet, J,, Pemrenoud, P. (Eds,) L valuation formative dans un ensetgnement différencié. Bem: Lang, 1979, p. 68-108. . REMONDINO, C. ~ Etude factorielle sur la notation des compositions scolaires portant sur la langue maternelle, Travail Humain, 1959, 22, pp. 27-40. REMONDINO, C. — Recherche sur les systémes numériques d’évaluation scolaire, Travail Humain, 1965, 28, pp. 263-268. REUCHLIN, M. ~ Applications de la psychologic génétique et de le psychologie différen- 68 Rev, Fae, Educ., &(1):39-69, 1982A DOCIMOLOGIA EM PERSPECTIVA tielle an cours du Cours d Observation. BIN.O.P. 1960, 16, pp. $9-104. REUCHLIN, M. — Le symposium “‘Les problémes méthodologiques de i’évaluation des connaissances scolaires” an XVe Congrés de Association Internationale de Psychologie Appliquée (Ljubliana, 2-8 Aodt 1964). Travail Humain, 1965, 28, pp. 193-195. REUCHLIN, M. ~ Les examens: problémes vrais et solutions fausces in Brunelle, L. £4.) L'Université en question: Pourquol les examens? Paris: Sociéxé des Editions Rationalis- tes, 1968, p. 113.127, REUCHLIN, M. (Ed_) — Traité de Psychologie Appliquée. Tome 6:1'éducation, la psycholo- sic et les institutions educatives. Paris: Presses Universitaires de France, 1973. REUCHLIN, M. ~ Probiemes d'évaliation in Debesse. M., Mialaret, G. (Eds.) Traité de Sciences Pédegogiques, (tome 4), Paris: Presses Universitaires de France, 1974, pp. 207-236. STANLEY, J.C. — Reliability in Thomdike, R.L, (Ed.) Educational Measurement (2nd ed.) ‘Washington: American Couneil on Education, 1971, pp. 356-442. STRATON, R.G., CATTS, R.M. — A comparison of two, three and four-choice item tests given a fixed total number of choices. Educational’ and Prychological Measurement, 1980. 40, pp. 357-366. THORNIDIKE, RL. (Ed.) Kducational Measurement (2nd ed.), Washington: Amesican Council on Education, 1971. TOURNEUR, Y. — Analyse des objectifs dans Pévaluation de maftrise — étude de quelques indices. Les Sciences de I’Education, 1974, n® 1, pp. 36-56. VANDERVELDE, L., VANDER ELST; P. - Os objectivos em educapao: seré posstvel deft- antlos com preciso? Coimbra: Almeding, 1979 (tradugao portuguesa). VERNON, PE. ~ Secondary School Selection ~ A British Peychological Inquiry. London: ‘Methuen, 1957, VERNON, PE. — Eveluation objective des sésultats obtenus dans les études de nivean élevé. Travail Humain, 1965, 28, pp. 203-212, VERNON, PE. — Intelligence and Attainment Tests. London: University of London Press, 1972. VERNON, P.E., MILLIGAN, GD. ~ Futher study of the teliability of English essays, British Journal of Statistical Psychology, 1954, 7, pp. 65-74. WISEMAN, 8. — The marking of English composition for Grammar School Selection, British Journal of Educational Psychology, 1949, 19, pp. 200-209. Rev, Fac, Educ., 8(1):39-69, 1982 69

Docimologia em Perspectiva PDF

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Docimologia em Perspectiva PDF

Hochgeladen von

Copyright:

Verfügbare Formate

Das könnte Ihnen auch gefallen