Beruflich Dokumente
Kultur Dokumente
2015 133
Claudia Hofheinz Giacomoni Universidade Federal do Rio Grande do Sul. Porto Alegre, Brasil
Marcia de Lima Athayde Universidade Federal do Rio Grande do Sul. Porto Alegre, Brasil
Cristian Zanon Universidade So Francisco, Itatiba, Brasil
Lilian Milnitsky Stein Universidade Federal do Rio Grande do Sul. Porto Alegre, Brasil
Resumo
O Teste de desempenho escolar (TDE) (Stein, 1994) avalia, de maneira ampla, a aprendizagem por meio de trs subtestes: lei-
tura, escrita e aritmtica. O objetivo deste estudo foi avaliar as propriedades psicomtricas do subteste de escrita, a fim de avaliar
sua estrutura interna, dificuldade e discriminao dos itens, utilizando mtodos clssicos e modernos Teoria de resposta ao
item (TRI). A amostra foi composta de dados oriundos de pesquisas realizadas em quatro estados brasileiros (N=1831). Os
resultados indicaram que o subteste de escrita apresenta: (a) evidncias de unidimensionalidade, (b) est composto por itens de
dificuldade mdia e (c) com alta capacidade de discriminao. Ademais, observou-se que o subteste discrimina satisfatoriamente
estudantes entre primeira e terceira srie e, menos adequadamente, estudantes de quarta, quinta e sexta srie. Esse conjunto de
resultados indica que o subteste apresenta evidncias de validade, mas requer refinamento.
Palavras-chave: linguagem escrita; validade do teste; teoria de resposta ao item.
Abstract
The School achievement test (TDE) (Stein, 1994) assesses learning broadly through three subtests: reading, writing and arithme-
tic. The goal of this study was to evaluate the psychometric properties of the Writing Subtest, to evaluate the internal structure,
items difficulty and discrimination, using Item response theory (IRT). The sample consisted of data from surveys conducted
in four Brazilian states (N=1831). Results indicated that the writing subtest presents: (a) evidence of unidimensionality, (b) is
composed by items of average difficulty and (c) with high discrimination capability. Moreover, it was observed that the Subtests
discriminate satisfactorily students between first and third grade and, less appropriately, students from fourth, fifth and sixth
grade. This set of results indicates that the Subtest presents evidence of validity, but requires refinement.
Keywords: written language; test validity; item response theory.
Resumen
El Test de desempeo escolar (TDE) (Stein, 1994), evala de forma amplia el aprendizaje, por medio de tres Sub-test: Lectura,
Escritura y Aritmtica. El objetivo de este estudio fue evaluar las propiedades psicomtricas del Sub-test de Escritura, para ana-
lizar su estructura interna, dificultad y discriminacin de los tems, utilizando mtodos clsicos y modernos - Teora de respuesta
al tem (TRI). La muestra consisti en datos originales de investigaciones realizadas en cuatro estados de Brasil (N=1831). Los
resultados indicaron que el Sub-test de Escritura presenta: (a) evidencias de unidimensionalidad (b) se compone de tems de
dificultad media, y (c) alta capacidad de discriminacin. Por otra parte, se observ que el sub-test discrimina de una manera
satisfactoria estudiantes entre primer y tercer ao, y de forma menos adecuada, estudiantes de cuarto, quinto y sexto ao. Este
conjunto de resultados indica que el Sub-test presenta evidencias de validez, pero requiere ser mejorado.
Palabras-clave: lenguaje escrito; validez del test; teora de respuesta al tem.
A aprendizagem da linguagem escrita tema de textos, sendo que a capacidade de escrever palavras no
interesse de diferentes profissionais, dentre eles fonoau- garante a competncia narrativa e argumentativa do
dilogos, pedagogos, psicopedagogos e psiclogos. escritor (Salles, 2005).
Entender o processo envolvido no desenvolvimento Escrever no apenas traar letras que represen-
dessa habilidade, bem como avaliar o domnio dos tam sons e palavras, mas sim compreender seus usos,
alunos nesse tpico, fundamental para aprimorar os funes, atribuir graus variados de significaes (Zorzi,
recursos de ensino, diagnstico e tratamento. 2003). Aprender a lngua escrita envolve diversos aspec-
A escrita pode ser considerada uma atividade tos, dentre eles a ortografia, a relao entre letras e sons,
mental complexa que, segundo o enfoque da Neurop- e sua correspondncia quantitativa, as variaes entre o
sicologia e da Psicologia Cognitiva, envolve mltiplos modo de pronunciar uma palavra e escrev-la, a posio
processos interdependentes. A escrita envolveria dois de cada letra no espao grfico, a direo da escrita, a
processos fundamentais: a escrita de palavras e a de linearidade e a segmentao (Zorzi, 1998).
A linguagem escrita difere da linguagem oral em (Nobile & Barrera, 2009). As crianas, naturalmente,
relao sua aquisio. Enquanto que o desenvolvi- vo diminuindo os erros ortogrficos, medida que
mento da linguagem oral um processo natural para avanam nas sries escolares. H erros que so espe-
as pessoas que vivem em sociedade, a linguagem escrita rados nas primeiras sries, mas no nas subsequentes
requer uma aprendizagem formal, a qual, usualmente, (Moojen, 2009).
ocorre no contexto escolar. Assim, a aprendizagem Alm do papel da escolaridade e da idade no
do cdigo escrito cultural, s se aprende pelo ensino desenvolvimento lingustico, pode haver influncia
(Zorzi, 2003). do sexo das crianas nesse desempenho na lingua-
A aprendizagem da linguagem escrita abrange os gem. Shaywitz et al. (1995) encontraram evidncias de
processos de alfabetizao e letramento. O primeiro diferenas entre os sexos na organizao funcional do
refere-se capacidade de utilizar o sistema convencional crebro para a linguagem, indicando que essas varia-
de escrita, as habilidades de codificao e decodificao es existem no nvel do processamento fonolgico.
da lngua escrita, identificando as relaes fonema-gra- Harasty, Double, Halliday, Kril e McRitchie (1997)
fema. J o letramento abarca a imerso das crianas na encontraram que mulheres apresentam as reas de
cultura escrita, desenvolvendo habilidades de uso desse Wernicke e Broca, proporcionalmente, maiores que
sistema, em atividades de leitura e escrita nas prticas a dos homens, sendo que essa diferena anatmica
sociais que envolvem a lngua. A alfabetizao e o letra- poderia estar relacionada com as habilidades de lin-
mento so processos interdependentes e indissociveis guagem superiores encontradas nas mulheres.
(Soares, 2004). Parece existir uma lacuna de instrumentos cienti-
A escrita alfabtica representa a sequncia fono- ficamente construdos para avaliao do desempenho
lgica das palavras, mas no o seu significado. escolar na realidade brasileira (Knijnik, Giacomoni, &
necessrio que a criana compreenda o funcionamento Stein, 2013). Nesse cenrio, h um instrumento psico-
desse cdigo escrito, que se baseia na correspondncia pedaggico que vem sendo largamente utilizado para
grafema-fonema, para alfabetizar-se (Nobile & Barrera, esse propsito: o Teste de desempenho escolar (TDE)
2009). O indivduo necessita compreender uma srie (Stein, 1994). Seu objetivo avaliar crianas da 1 a 6
de propriedades do sistema alfabtico, para poder vir srie do ensino fundamental, podendo ser utilizado com
a usar as letras com seus sons convencionais. Precisa algumas reservas para 7 e 8 srie. comprovada sua
entender que a escrita alfabtica representa os seg- larga utilizao em estudos cientficos, visto que vem
mentos orais das palavras, e no seus significados ou sendo utilizado em pesquisas realizadas em todo o pas
as caractersticas fsicas dos objetos que elas nomeiam. e em diferentes reas da cincia (Knijnik et al., 2013).
Para registrar as palavras, escreve-se mais letras que as O TDE composto por trs subtestes que ava-
slabas que pronunciamos. H combinaes ou sequn- liam as capacidades bsicas para o desempenho escolar:
cias de letras permitidas e posies em que elas podem leitura, escrita e aritmtica. A proposta desse instru-
aparecer, alm dos valores sonoros que podem assu- mento que os subtestes apresentem uma escala de
mir. Aps todo esse aprendizado, os alunos tendem a itens em ordem crescente de dificuldade, os quais
apresentar muitas dvidas sobre questes ortogrficas devem ser apresentados para as crianas independen-
envolvendo regras contextuais (exemplo: os empregos temente de sua srie. O teste pode ser interrompido,
de c e qu em palavras como quero e coisa) assim que os itens apresentados em determinado nvel
(Morais, 2007). da escala forem impossveis de serem resolvidos pelo
No processo de alfabetizao, inicialmente, examinando.
os aprendizes dominam as restries ou proprieda- O subteste de Escrita foi concebido para investi-
des do sistema de escrita alfabtica e, s em seguida gar a capacidade bsica envolvida na aprendizagem da
e aos poucos, vo internalizando a norma ortogrfica habilidade em questo. Ele composto por um ditado
(Morais, 2007). Todas as crianas apresentam erros de 34 palavras contextualizadas e pela escrita do pr-
nesse processo de apropriao da escrita, os quais vo prio nome (Stein, 1994) e avalia aspectos de escrita,
diminuindo com o avano da escolarizao. Em geral, como a converso fonema-grafema e a ortografia. O
crianas seguem uma trajetria semelhante no desen- instrumento no avalia os demais aspectos envolvidos
volvimento da ortografia, apresentando os mesmos na escrita.
tipos de erros (Zorzi, 1998). Desse modo, a apropria- Nesse contexto, o TDE permite a identificao
o do sistema ortogrfico se d de forma progressiva de eventuais dificuldades na rea da aprendizagem da
Psico-USF, Bragana Paulista, v. 20, n. 1, p. 133-140, jan./abr. 2015
Giacomoni, C. H. & cols. Subteste de escrita do TDE 135
modelos foi avaliado pelos resduos padronizados. O Tabela 1. Dificuldade e Discriminao dos Itens do Subteste
de trs parmetros no foi considerado por ser impro- Escrita Estimados pelo Modelo de Dois Parmetros da TRI
vvel que os testandos acertem itens por acaso, uma Item Discriminao Dificuldade
vez que o formato do subteste no fornece alternativas.
D03 0.717 -1.440
O mtodo de estimao usado foi o maximum likelihood.
D13 1.019 -1.326
Resultados D04 1.520 -0.848a
D01 1.520 -0.706a
Anlise da estrutura interna
Para avaliar a dimensionalidade do subteste de D02 1.641 -0.691a
Escrita, submeteu-se o conjunto de 34 itens a uma D10 1.230 -0.632a
anlise de eixos principais. Verificou-se KMO de 0,98 D11 1.499 -0.532a
e teste de esfericidade de Bartlett significativo, o que
indica adequao dos dados para a realizao da anlise. D07 1.725 -0.495a
Observou-se um fator predominante, mais de quatro D05 1.814 -0.342a
vezes maior que o segundo, o que indica evidncias de D12 1.166 -0.324a
unidimensionalidade. O primeiro eigenvalue foi de 12,58
e explicou 37% da varincia, enquanto o segundo fator D14 1.632 -0.008a
explicou 6% da varincia e apresentou um eigenvalue de D08 2.061 0.046a
2,17. A soluo de um fator apresentou cargas fatoriais D09 2.062 0.227a
que variaram de 0,33 a 0,74.
D17 1.884 0.258a
Dificuldade e discriminao dos itens D20 1.109 0.269a
Para estimao da dificuldade e discriminao dos D18 1.270 0.287a
itens, procedeu-se anlise de TRI. Como observado
na Tabela 1, a maioria dos itens apresenta dificuldade D21 1.552 0.343a
mdia, sendo que a mdia geral de dificuldade dos itens D22 1.138 0.361a
foi 0,23 (DP=0,74). Ainda, os resultados evidenciaram D15 1.094 0.431a
que os ndices de discriminao dos itens so elevados
(M=1,4; DP=0,3). Em outras palavras, pode ser obser- D16 1.677 0.463a
vado que a grande maioria dos itens de dificuldade D31 1.788 0.486a
mdia (entre -1 e 1) e avaliam, adequadamente, sujeitos
D24 1.097 0.562a
com nveis mdios de habilidade, mas no avaliam, de
forma adequada, sujeitos com baixa ou alta habilidade. D23 1.732 0.564a
Outro ponto que merece nota que a ordem de D28 1.521 0.599a
dificuldade apresentada pelo processo de estimao
D30 1.337 0.735a
baseado na TRI difere da sequncia sugerida por experts,
quando se constituiu o teste. Por exemplo: a) os itens 3 D19 1.358 0.818a
e 13 apresentaram nveis de dificuldade inferior ao item D25 1.305 0.834a
1 que deveria ser o mais fcil; b) os itens 27 e 33 apre-
D27 1.091 0.842a
sentaram a mesma dificuldade; c) o item 6 deveria estar
entre os mais fceis, no entanto apresentou-se entre os D33 0.964 0.843a
de maior dificuldade (nvel mdio). D34 1.675 0.997a
D29 1.898 1.004
Comparaes de sries e sexo
Diferenas entre as sries escolares tambm foram D26 1.719 1.066
verificadas F (5,1844)=173,95; p < 0,001 e analisadas D06 1.013 1.383
com testes post hoc Scheffe utilizando-se como
critrio de significncia estatstica (p < 0,05). Mais D32 1.309 1.609
especificamente, observou-se que os participantes da M(dp) 1.4(0.3) 0.23(0.74)
Psico-USF, Bragana Paulista, v. 20, n. 1, p. 133-140, jan./abr. 2015
Giacomoni, C. H. & cols. Subteste de escrita do TDE 137
primeira, segunda e terceira srie diferem, significativa- sries e indica que, de forma geral, o tamanho das dife-
mente, entre si e, tambm, dos participantes da quarta, renas elevado com o aumento da distncia entre as
quinta e sexta srie. Os estudantes da quarta srie no sries comparadas. Quanto varivel sexo, foi verificada
diferem, significativamente, dos da quinta, mas diferem uma diferena significativa entre meninos (M=-0,15,
dos da sexta. Por fim, os estudantes da quinta srie no DP=1,15) e meninas (M=0,03, DP=1,15); t (1846)=3,5;
diferem dos estudantes da sexta. Apesar de algumas p < 0,001. A diferena dos grupos apresentou um efeito
sries no apresentarem diferenas estatisticamente pequeno (d=0,16), mas indica que, de modo geral, as
significativas, a anlise dos tamanhos de efeitos reve- meninas apresentam habilidades de escrita superiores
lam que h pequenas diferenas de efeito entre essas s dos meninos.
sries. A Tabela 2 apresenta as mdias, desvios-padro
e tamanhos de efeito (d de Cohen) das diferenas de Discusso
habilidades de escrita de acordo com as sries dos parti-
cipantes. O d de Cohen uma estimativa em termos de O objetivo deste estudo foi investigar evidncias
desvio-padro, ou seja, os pequenos efeitos verificados de validade no subteste de Escrita do TDE. Nesse sen-
entre as sries que no apresentaram diferena signifi- tido, verificou-se que a estrutura interna do subteste
cativa indicaram, pelo menos, 0,3 desvio-padro. apresenta um fator predominante que indica a unidi-
Em relao s diferenas da primeira srie com as mensionalidade do construto. Isso sugere que a varivel
demais, observam-se grandes disparidades em termos latente Habilidade de escrita a responsvel pela varin-
de tamanho de efeito. Por exemplo: a diferena entre a cia dos escores dos participantes.
primeira e segunda srie de, aproximadamente 1, des- Diferentemente do esperado, a estimao da difi-
vio-padro (grande diferena), sendo que ela aumenta culdade dos itens pela TRI revelou que a ordem de
gradualmente de acordo com a srie. Esse aumento dificuldade adotada pelo manual do subteste no a
esperado, j que estudantes de sries mais avanadas mais apropriada. Na Tabela 1, os itens esto dispostos
deviam apresentar maiores habilidades na escrita. A em ordem de dificuldade estimada pela TRI. Como se
diferena entre a primeira e sexta srie de 3,6 des- pode ver, vrios so os itens que esto fora de lugar,
vios-padres, ou seja, uma diferena muito grande de o que indica a necessidade de reviso da ordem de apre-
habilidade de escrita. Pode-se, ainda, verificar efeitos sentao dos itens no caderno do teste. Esse achado
moderados entre terceira e quarta srie (d=0,58), e entre sugere que a instruo dada ao participante para inter-
a quinta e a sexta srie (d=0,55), o que indica diferen- romper o ditado aps dez erros consecutivos, passando,
as de mais de 0,5 desvio-padro entre esses grupos. ento, para o subteste seguinte deve ser flexibilizada,
Conjuntamente, esses dados sugerem que o subteste de sob pena de comprometer a aplicao e interpretao
Escrita consegue discriminar participantes de diversas dos resultados.
Tabela 2. Estatsticas Descritivas e Tamanhos de Efeito das Diferenas de Habilidade de Escrita entre as Sries
Descritivas Efeito (d de cohen) entre as sries
sries
N mdia Dp 1 srie 2 srie 3 srie 4 srie 5 srie
1 180 -1,54 1,21 -
Harasty J., Double K. L., Halliday G.M., Kril J. J., & Pasquali, L. (2010). Instrumentao psicolgica: Fundamentos
McRitchie D. A. (1997). Language-associated cor- e prticas. Porto Alegre: Artmed.
tical regions are proportionally larger in the female
Pedroso, F.S.; Rotta, N.T. (2006) Transtornos da lin-
brain. Archives of Neurology, 54(2), 171-6.
guagem. Em N. T. Rotta, & R. S. Riesgo. (Org.)
Knijnik, L. F., Giacomoni, C., & Stein, L. M. (2013). Transtornos da aprendizagem-Abordagem neurobiolgi-
Teste de desempenho escolar: Um estudo de levan- ca e multidisciplinar. (pp. 131-148). Porto Alegre:
tamento (Manuscrito submetido para publicao). Artmed.
Lcio, P. S., & Pinheiro, A. M. V. (2012). Novos estudos Salles, J. F. (2005). Habilidades e dificuldades de leitura e es-
psicomtricos para o Ssubteste de leitura do tes- crita em crianas de 2 srie: Abordagem neuropsicolgica
te de desempenho escolar (Manuscrito submetido cognitiva (Tese no publicada). Universidade Federal
para publicao). do Rio Grande do Sul, Rio Grande do Sul.
Lcio, P. S., Pinheiro, A. M. V., & Nascimento, E. (2009). Shaywitz, B. A., Shaywitz, S. E., Pugh, K. R., Constable,
O impacto da mudana no critrio de acerto na R. T., Skudlarski, P., & Fulbright, R. K. (1995). Sex
distribuio dos escores do subteste de leitura do differences in the functional organization of the
teste de desempenho escolar. Psicologia em Estudo, brain for language. Nature, 373(6515), 607-609.
14(3), 593-601.
Soares, M. (2004). Letramento e alfabetizao: As mui-
Marturano, E. M., Toller, G. P., & Elias, L. C. S. (2005). tas facetas. Revista Brasileira de Educao, (25), 5-17.
Gnero, adversidade e problemas socioemocionais
Stein, L. M. (1994). TDE - Teste de desempenho escolar: Ma-
associados queixa escolar. Estudos de Psicologia
nual para aplicao e interpretao. So Paulo: Casa do
22(4), 371-380.
Psiclogo.
Moojen, S. M. P. (2009). Linguagem escrita. Em S. M. P.
Wertzner, H. F., & Oliveira, M. M. F. (2002) Semelhan-
Moojen (Ed.), A escrita ortogrfica na escola e na clnica.
as entre os sujeitos com distrbio fonolgico.
Teoria, avaliao e tratamento (pp. 19- 40). So Paulo:
Revista Pr-Fono, 14(2) 143-52.
Casa do Psiclogo.
Zimowski, M. F., Muraki, E., Mislevy, R. J. & Bock, R.
Morais, A. G. (2007). A norma ortogrfica do por-
D. (1996). BILOG-MG: Multiple-group IRT analysis
tugus: o que ? Para que serve? Como est
and test maintenance for binary items. Chicago: Scienti-
organizada? Em Silva, A., Morais, A. G., & Melo,
fic Software, Inc.
K. L. R. (Orgs.), Ortografia na sala de aula. (11-28).
Belo Horizonte: Autntica. Zorzi, J. L. (1998). Aprender a escrever: A apropriao do
sistema ortogrfico. Porto Alegre.
Mota, H. B., Athayde, M. L., & Mezzomo, C. L. (2008).
O acesso ao lxico em crianas com desenvolvi- Zorzi, J. L. (2003) Aprendizagem e distrbios da linguagem
mento fonolgico normal e desviante. Letras de escrita Questes clnicas e educacionais. Porto Alegre.
Hoje, 43(3), 54-60. Recebido em: 13/12/2013
Nobile, G. G., & Barrera, S. D. (2009). Anlise de erros Reformulao em: 13/04/2014
ortogrficos em alunos do ensino pblico fun- Aprovado em: 23/06/2014
damental que apresentam dificuldades na escrita.
Psicologia em Revista, 15(2), 36-55.
Sobre os autores:
Claudia Hofheinz Giacomoni graduada em Psicologia pela PUCRS (1995), mestre em Psicologia do Desenvolvi-
mento pela UFRGS (1997), doutora em Psicologia do Desenvolvimento pela UFRGS (2002) e professora adjunta do
departamento de Psicologia do Desenvolvimento e da Personalidade da UFRGS.
Marcia de Lima Athayde fonoaudiloga da UFRGS, graduada em Fonoaudiologia pela UFSM (2006), mestre em
Distrbios da Comunicao Humana pela UFSM (2009) e doutoranda em Psicologia - Processos Cognitivos, pela
PUCRS. E-mail: fga.marcia@yahoo.com.br
Cristian Zanon graduado em Psicologia pela UFSM (2006), mestre (2009) e doutor (2011) em Psicologia pela
UFRGS, e professor no programa de ps-graduao em Psicologia da Universidade So Francisco, Itatiba. E-mail:
cristianzanon@yahoo.com.br
Lilian Milnitsky Stein graduada em Psicologia pela UFRGS (1983), especialista em Psicologia Escolar pela PUCRS
(1985), mestre em Applied Cognitive Science pelo Ontario Institute For Studies In Education (1989), doutora em Cognitive Psy-
chology pela University of Arizona (1998) e professora titular do programa de ps-graduao em Psicologia da PUCRS.
E-mail: lilian@pucrs.br