You are on page 1of 13

CÓMO EVALUAR LA COMPRENSIÓN LECTORA:

ALTERNATIVAS Y LIMITACIONES
MANUEL MONTANERO FERNÁNDEZ (*)

RESUMEN. En este trabajo se hace una exhaustiva revisión teórica y empírica de los
principales enfoques y técnicas que se han utilizado a lo largo de los últimos años
para evaluar las capacidades de comprensión lectora, así como sus presupuestos
implícitos y limitaciones, que hacen imprescindible un análisis crítico de su validez.
Teniendo en cuenta el tipo de inferencias lectoras que, en la mayoría de los mate-
riales analizados, se toma como criterio principal de evaluación, se propone una cla-
sificación que puede ser de utilidad a investigadores y profesionales a la hora de
seleccionar o confeccionar pruebas de evaluación, así como para interpretar de un
modo más realista sus resultados.

ABSTRACT. In this paper, we present an exhaustive theoretical and empirical review


of the main approaches and techniques used in the last few years to evaluate reading
comprehension skills, as well as implicit ideas and limitations, which need a critical
analysis of their validity. Taking into account the type of reading inferences that is
taken as the main criteria for evaluation, in most of the materials analysed, a classifi-
cation for researchers and professionals I proposed to be used when selecting or
designing evaluation materials and to interpret the results in a more realistic way.

INTRODUCCIÓN obtener una información que nos ayude a


individualizar la respuesta educativa para
Mejorar la comprensión lectora de los los alumnos que no comprenden.
alumnos que finalizan la educación obliga- Las técnicas de evaluación más utiliza-
toria es uno de los principales retos que das se basan en la observación y el análisis
debe afrontar el sistema educativo. La eva- de productos inferenciales, supuestamente
luación de esta compleja capacidad se ha relacionados con los procesos cognitivos de
utilizado de hecho, reiteradamente, como comprensión. Existen múltiples evidencias
uno de los índices más discriminatorios, acerca de la relación entre la comprensión
que pone de relieve las diferencias educa- lectora y la eficacia ante la demanda de infe-
tivas entre regiones y países. Sin embargo, rir información de un texto. Algunos traba-
se echa en falta una reflexión rigurosa sobre jos recientes aportan indicios de que esta
la validez de los instrumentos empleados última tarea no es simplemente un síntoma,
para este objetivo, así como sobre su utili- sino incluso la principal causa que explica
dad para la demanda más importante: el nivel de comprensión que alcanzan los

(*) Universidad de Extremadura.

Revista de Educación, núm. 335 (2004), pp. 415-427. 415


Fecha de entrada: 5-02-2003 Fecha de aceptación: 25-06-2003
lectores (Cain y Oakhill, 1999). Normal- MEC (1996) para la evaluación psicopedagó-
mente, las inferencias se explicitan gica de las capacidades cognitivas implica-
mediante la respuesta a preguntas objetivas das en la comprensión lectora. Algunos
o semiobjetivas, después de la lectura de un tests consideran también las habilidades
texto. Por el contrario, otras técnicas más léxicas y subléxicas que intervienen en la
recientes se han centrado en la observa- segmentación fonológica, la discriminación
ción sistemática en curso de la actividad visual de letras, palabras o pseudopalabras
inferencial de los sujetos durante la lectura. o la velocidad lectora como variables de
Finalmente, otras tareas, como la confec- comprensión. Sin embargo, el énfasis de la
ción de resúmenes, protocolos de recuerdo evaluación debe recaer en aquellos indica-
o esquemas, evalúan también otros proce- dores que permiten inducir si el lector es
sos verbales, más allá de lo estrictamente capaz de desarrollar activa y estratégica-
inferencial. mente operaciones para inferir significados
De acuerdo con los últimos modelos progresivamente más elaborados a partir
cognitivos de la comprensión, podríamos de sus conocimientos previos. Esta infor-
establecer una distinción inicial entre dos mación es, de hecho, la que puede resultar
niveles de representación sobre los que más útil para orientar la intervención psico-
operan todos estos procesos: la base del pedagógica sobre la comprensión. En lo
texto y el modelo de la situación. Entre las que sigue, vamos a exponer una revisión
principales operaciones cognitivas que se más detallada acerca de las principales
suelen tomar como indicadores de la com- alternativas de evaluación y cómo pueden
prensión de la base del texto podemos contribuir al análisis de los diferentes
señalar: la extracción del significado de las aspectos de la capacidad inferencial y
palabras desconocidas a partir del contex- estratégica del lector.
to; la extracción de la información esencial;
las relaciones sintácticas, semánticas o
retóricas entre las ideas del texto (conexio- EVALUACIÓN DE LA COMPRENSIÓN
nes referenciales, temporales, anafóricas, LOCAL Y REFERENCIAL
temáticas, expositivas…); la detección de
problemas de cohesión o coherencia... La actuación estratégica del lector comien-
Entre los indicadores relacionados con za propiamente en la fase de conexión pro-
la representación situacional podríamos posicional que da lugar a la microestructu-
señalar las inferencias sobre la intención ra de la base del texto. En este proceso
comunicativa del autor o sobre el significa- nuestra memoria de trabajo debe mantener
do de recursos estilísticos y expresiones activa una selección de las proposiciones
ambiguas, las inferencias sobre la informa- procesadas en ciclos previos para estable-
ción implícita en el texto, así como las cer el «hilo conductor» entre las mismas.
acciones implicadas en la utilización del Dicha conexión referencial debe inferirse
acerbo de conocimientos previos o, en la en tres instancias, cada una de ellas, pro-
solución de las inconsistencias que [RTF gresivamente más complejas.
annotation: Es necesario que el autor acla- En primer lugar, el sujeto debe inferir
re (para incorporar o no el pronombre «se») una primera conexión sintáctica entre las
si son las acciones las que plantean incon- diferentes cláusulas de las oraciones. Los
sistencias o se establece a título imperso- esquemas proposicionales y sintácticos del
nal.] plantean con respecto a la interpreta- lector estipulan qué argumentos puede
ción del contenido del texto. admitir el predicado de cada proposición y
Casi todos estos criterios han sido permiten, por otro lado, decidir la estructu-
explícita o implícitamente suscritos por el ra sintáctica más plausible.

416
Posteriormente, el sujeto debe integrar una oración, con objeto de valorar si la
las nuevas proposiciones y las activadas en recuerda como parte del texto o si com-
la memoria operativa en cada ciclo de pro- prende la relación entre dos proposiciones
cesamiento. Para ello es necesario producir en función de un esquema causal o medio-
inferencias referenciales más complejas, fin más o menos explícito. Este es el caso,
anafóricas, temporales o causales, ayudán- por ejemplo, de la prueba de comprensión
dose de ciertas señalizaciones lingüísticas. lectora del EVALUA (García Vidal y González
La dificultad para comprender relaciones Manjón, 1996), donde los alumnos de pri-
anafóricas depende del tipo de anáfora (los maria deben completar frases del tipo «El
pronombres demostrativos y los sustanti- sendero estaba fresco porque…», eligiendo
vos anafóricos plantean más dificultades), entre varios distractores sin el texto delan-
así como de lo alejado que se encuentre el te.
antecedente. Otro subtipo de inferencias La prueba de comprensión lectora de
referenciales, las llamadas «conectivas», son Lázaro (1982), por su parte, incluye diver-
aquellas que permiten conectar una parte sas tareas en las que el sujeto debe recono-
temática que se viene tratando y otra que cer entre varias oraciones (que no aparecí-
es comentario de la misma, es decir, lo an literalmente en le texto), aquella cuyo
nuevo que se predica del tema. significado se corresponde con una idea
que sí está presente explícitamente. Esta
última demanda (sentence recognition) se
PRUEBAS OBJETIVAS Y SEMIOBJETIVAS considera un buen indicador de la capaci-
dad de transcender de un nivel de com-
La mayoría de los instrumentos dirigidos, prensión meramente superficial del conte-
explícita o implícitamente, a evaluar este nido lingüístico de un texto, aunque no se
primer nivel de comprensión, se funda- requiera necesariamente la comprensión
mentan en la formulación de preguntas global del mismo.
objetivas o semiobjetivas, después de la lec- Finalmente, existen evidencias de que
tura del texto. Se trata de preguntas breves los lectores expertos suprimen mejor y más
cuya respuesta se ofrece cerrada (acompa- rápidamente los significados irrelevantes
ñada de distractores) o limitada a un par de aprovechando la información semántica
frases, que se valoran en función de los que proporciona el contexto inmediato. En
anteriores criterios inferenciales. este sentido, las tareas de emparejamiento
El emparejamiento entre frases y dibu- entre palabras relacionadas semánticamen-
jos que representan diferentes estructuras te en el texto o las preguntas sobre el sig-
sintácticas es una de las tareas más simples nificado de una palabra poco familiar o
que aparecen en el PROLEC (Cuetos, Rodrí- ambigua, que el sujeto debe inducir a par-
guez y Ruano, 1996). Para evaluar la com- tir del contexto inmediato de la propia fra-
prensión referencial, el CL-4 (Alonso Tapia se o del párrafo, podrían considerarse tam-
y Corrales, 1994) formula preguntas dirigi- bién adecuadas para valorar la capacidad
das a detectar si el sujeto es capaz de selec- de comprensión lectora en este primer
cionar correctamente el antecedente de nivel.
una proposición conectada referencial- Las pruebas objetivas plantean, no
mente con otra anterior, es decir, si es obstante, diversas objeciones en cuanto a
capaz de establecer una conexión anafóri- su validez para evaluar estos indicadores.
ca o causal entre ambas, durante la lectura. La actividad inferencial que interviene en
Las preguntas más habituales de este la comprensión del «hilo conductor» se
nivel de comprensión son, no obstante, las desarrolla principalmente durante la lectu-
que demandan que el sujeto parafrasee ra del texto, por lo que resulta difícil de

417
evaluar con preguntas que se formulan una conexión con los conocimientos previos
vez terminado el proceso. Así, en las pre- del sujeto, son difícilmente evaluables con
guntas que algunos tests denominan «litera- este procedimiento. No obstante, se han
les» es difícil saber si se está evaluando obtenido correlaciones altas con pruebas
capacidades de comprensión o simple- clásicas, como el test de Lázaro, que avalan
mente de recuerdo inmediato. En otros su validez de criterio (Artola, 1988).
tipos de preguntas parece difícil discrimi- Otra alternativa semiobjetiva, hasta
nar si el sujeto realiza las inferencias ahora mucho menos explorada, consiste
espontáneamente o si dicha actividad es en diseñar tareas de comprensión más o
más bien producto de la demanda que se menos estructuradas donde los sujetos
plantea a posteriori, al responder a la cues- deban realizar inferencias a partir de la
tión. información que obtienen de las señaliza-
En el caso de los tests en los que el ciones textuales y de su propia base de
sujeto puede acceder al texto mientras res- conocimientos previos. Frecuentemente, la
ponde a las preguntas, por el contrario, las presencia de algunas palabras clave, como
respuestas a preguntas referenciales o un pronombre, un adjetivo o un sustantivo
sobre información literal pueden realizarse (sinónimos de una expresión anterior), nos
mediante simples operaciones de recono- ayudan a deducir la relación entre una idea
cimiento, por lo que su utilidad para eva- y su antecedente. Yuill y Oakhill (1988)
luar la comprensión ofrece muchas dudas. demostraron que la interpretación de estas
Algunas investigaciones han comprobado palabras en textos narrativos ayuda mucho
por ejemplo, que los sujetos de primaria
a discriminar a los niños con problemas de
mejoran significativamente sus resultados
comprensión. La actividad de reordenar
en este tipo de preguntas cuando se les
un texto fragmentado permite evaluar esta
permite volver a consultar el texto. Esta
capacidad de un modo muy funcional, a la
ventaja se reduce, no obstante, cuando las
vez que resulta extraordinariamente esti-
preguntas de la prueba hacen alusión a
información global o implícita (Cain y mulante para los alumnos. La ordenación
Oakhill, 1999). de este particular rompecabezas requiere
Una variante semiobjetiva que preten- que el lector descubra este tipo de señali-
de soslayar esta limitación, proviene del zaciones y expresiones anafóricas, reco-
procedimiento cloze. Se trata de ofrecer al nozca el hipotético antecedente, infiera el
lector un texto mutilado (con espacios en «hilo conductor» y anticipe la progresión
blanco) que el sujeto debe rellenar duran- temática, con objeto de establecer «correfe-
te la misma lectura, de manera que éste rencias» entre los fragmentos del texto. En
sólo será capaz de restaurar las palabras un estudio reciente con una muestra de 87
que faltan si utiliza de forma estratégica las chicos de 11 y 12 años, hemos comproba-
claves textuales que conducen a la repre- do que, a pesar de su sencillez, la tarea dis-
sentación del hilo conductor (Condemarin crimina con cierta precisión entre buenos y
y Milicic, 1990). La técnica aporta la venta- malos lectores, ofreciendo índices de vali-
ja de posibilitar una cierta evaluación del dez más elevados que otras pruebas objetivas
proceso de la comprensión, limitando en estandarizadas, como el mismo PROLEC-SE. Al
cierta medida la contaminación derivada mismo tiempo, el profesor puede obtener
de la capacidad de recuerdo o de las infe- una información cualitativa de gran inte-
rencias más globales que el sujeto genera rés para ofrecer las ayudas adecuadas al
al final de la lectura. Las inferencias semán- alumno y entrenar su actividad estratégica
ticas y «elaborativas» que posibilitan la e inferencial (González y Montanero,
jerarquización de las ideas del texto y la 2002).

418
PENSAMIENTO EN VOZ ALTA Y REGISTROS EVALUACIÓN DE LA COMPRENSIÓN
DE OBSERVACIÓN GLOBAL Y ESTRUCTURAL

La evaluación de proceso de la compren- Un segundo nivel de comprensión se fun-


sión resulta difícil si no se tiene en cuenta damenta en la actividad mental que el suje-
información cualitativa que puede obtener to desarrolla para asignar un significado
el evaluador demandando inferencias con- coherente de carácter global al texto leído.
cretas o incluso, suministrando ayudas Este proceso implica, en gran medida, infe-
para observar los comportamientos estraté- rencias aplazadas al final de la lectura del
gicos del sujeto. El análisis de los protoco- texto o de sus unidades temáticas, con
los orales de pensamiento en voz alta objeto de construir la denominada macro-
(thinking aloud) constituye una opción estructura del texto, es decir, una represen-
que permite fundamentalmente valorar tación mental, más o menos jerarquizada
inferencias referenciales durante la lectura. de las macroproposiciones del contenido
El procedimiento consiste en grabar (mag- de las proposiciones (Van Dijk y Kintsch,
netofónicamente o en vídeo) y analizar 1983).
posteriormente las reflexiones en voz alta
que los sujetos realizan durante la lectura
de un texto; razón por la cual algunos auto- PRUEBAS OBJETIVAS Y SEMIOBJETIVAS
res consideran más bien esta última técnica
como un caso particular de autoinforme. Al Los materiales más utilizados para evaluar
margen de las dificultades de cuantifica- este nivel de comprensión se basan de nue-
ción objetiva, propias de un procedimiento vo en la formulación de preguntas que
tan poco estructurado, el método presenta requieren la realización de inferencias
otras dificultades, como son la necesidad sobre el significado global del texto o la dis-
de un entrenamiento previo del sujeto o la tinción entre ideas jerárquicamente diferen-
posibilidad de que el propio procedimien- tes. En algunos estudios dichas preguntas
to interfiera, al realizarse simultáneamente se dirigen a suscitar la aplicación de las clá-
y en condiciones de demanda excesiva, en sicas macrorreglas del modelo de Kintsch y
los procesos y estrategias que se pretenden Van Dijk , supresión, generalización e inte-
evaluar. Los sujetos son estimulados para gración. Se trata de averiguar si el lector es
hablar acerca de la relación de cada frase capaz de reconocer información redundan-
con lo leído anteriormente, así como para te o ideas-detalle; o bien construir una idea
anticipar la información subsiguiente, por más general a partir de información más
lo que existe también el riesgo de que específica, recogida en el texto. En concre-
manifiesten más inferencias de las que to, la inducción de títulos se considera
harían en condiciones naturales. Beishui- como un buen indicador de la comprensión
zen y Cols. (1999) encontraron que los temática, es decir, del significado más glo-
resultados de este tipo de evaluación ape- bal que da sentido al texto (León y Martín,
nas «correlacionaba» con las puntuaciones 1993). Los distractores en las preguntas
obtenidas en pruebas objetivas que objetivas sobre el título deberían reflejar
demandan inferencias locales y globales, respuestas erróneas de cuatro tipos: títulos
aunque se utilicen los mismos textos. Sin imprecisos, demasiado generales, demasia-
embargo, no cabe duda de que el pensa- do particulares o alejados de la verdadera
miento en voz alta permite vislumbrar cier- temática. Igualmente, algunas preguntas
tos procesos que los sujetos desarrollan que requieren reconocer o parafrasear una
estratégicamente en su interacción con el idea esencial (sentence recognition) pue-
texto. den también constituir un indicador de este

419
segundo nivel de comprensión. En algunos Meyer, por el contrario, distingue entre
tests, como la Batería SURCO o el ya citado relaciones retóricas y léxicas. Las primeras
CL-4, se solicita explícitamente al sujeto, se basan en la taxonomía de superestructu-
que exprese o reconozca la idea principal ras propuesta por la autora, mientras que
del texto o la información más relevante las segundas se inspiran en la gramática de
que se deduce directamente del mismo casos de (Fillmore, 1968). Sobre este análi-
(shadow questions). sis, se pueden realizar hasta nueve tipos de
medida: recuerdo reproductivo, recuerdo
sustantivo de los contenidos tópicos, rela-
ANÁLISIS DEL CONTENIDO DE RESÚMENES ciones de rol, predicados léxicos, predica-
Y PROTOCOLOS DE RECUERDO dos retóricos, unidades de contenido que
no estaban en el texto, relaciones lógicas
El análisis de contenido de productos de la que no estaban en el texto, confusiones
actividad inferencial es una de las modali- intratextuales y puntuaciones de la estruc-
dades de evaluación más utilizada en los tura de alto nivel. Este tipo de evaluación
trabajos de investigación sobre compren- aporta una interesante información, tanto
sión de textos. Las técnicas más habituales cuantitativa como cualitativa, sobre la acti-
se basan en el análisis de resúmenes y pro- vidad estratégica e inferencial que lleva al
tocolos de recuerdo libre, inmediato o sujeto a reconstruir en un protocolo de
demorado. El objetivo principal es evaluar resumen (con recuerdo inmediato o demo-
el producto de la representación semántica rado) el significado original del texto.
generada por el sujeto, utilizando diversos Como contrapartida debemos citar la con-
métodos de análisis del contenido proposi- siderable complejidad del procedimiento,
cional del resumen que elabora, sin tener que repercute en su fiabilidad. Por ello
acceso al texto que se leyó. Algunos de muchos investigadores han optado por uti-
estos métodos se encuentran altamente for- lizar métodos mucho más simplificados y
malizados, de modo que permiten estable- con criterios de puntuación menos estric-
cer comparaciones cuantitativas con la tos.
representación proposicional del conteni- En este mismo sentido, para simplificar
do original. Para ello, es necesario fraccio- la valoración de «resúmenes» en tareas de
nar los protocolos en unidades proposicio- recuerdo inmediato, (Sánchez, 1989) utili-
nales, de modo que se puedan comparar zó un sencillo método de análisis cualitati-
con un texto-modelo, aunque tengan una vo, que ha sido posteriormente replicado
expresión lingüística diferente. El método en sucesivas investigaciones. Los criterios
de (Bovair y Kieras, 1985) y, sobre todo, el de categorización del resumen pretenden
de (Meyer, 1985) son los más conocidos. evaluar la utilización de estrategias semán-
El primero se basa en la aplicación de ticas de forma eficiente con textos breves,
algoritmos basados en el modelo ya refe- de carácter expositivo. La categoría C
renciado de Kintsch y Van Dijk. La regla (correcto) se asigna sólo a los resúmenes
fundamental para reconocer en un proto- que reflejan con precisión y de forma eco-
colo una proposición del texto original es nómica las macroproposiciones más
que aparezca el predicado de dicha propo- importantes. La categoría A (abstracción)
sición más uno de sus argumentos (tenien- incluye las respuestas que incorporan el
do en cuenta la sinonimia y que el sentido significado global del texto pero no las
general de la expresión tenga sentido). El características de precisión y economía. Se
método, sin embargo, tiene la limitación de puntúan así resúmenes que incluyen ideas
no reflejar el establecimiento de niveles demasiado generales o que presenten
jerárquicos entre las proposiciones. demasiados detalles que podrían haber

420
sido sustituidos por proposiciones más alumno es capaz de generar, o simplemen-
generales. En las categorías D (detalle) y S te reconocer, la organización retórica del
(secuencia) el resumen estaría construido a texto (especialmente si no se controla el
partir de uno de los detalles del párrafo, sesgo del azar).
con pérdida de información relevante, o Una alternativa, semejante al procedi-
como un simple listado de los mismos. miento cloze para este segundo nivel de
comprensión, consiste en ofrecer un
esquema mutilado que el sujeto debe relle-
ANÁLISIS DEL CONTENIDO DE ESQUEMAS nar con conceptos de un texto descriptivo
Y GRÁFICOS (Ramos y Cuetos, 1999). De esta manera, se
puede cuantificar si el sujeto es capaz de
La mayoría de los anteriores métodos pue- utilizar las claves jerárquicas del esquema
den adaptarse para evaluar la comprensión para recordar y clasificar la información
de textos narrativos o expositivos. Otro esencial que conforma la macroestructura
tipo de tareas, como la clasificación y jerar- del texto.
quización de conceptos (shorting of con- Sin embargo, hay que reseñar que nin-
cepts) o la construcción de un esquema guna de estas opciones evalúan realmente
que organice gráficamente las ideas del la capacidad del sujeto para reconocer o
texto, se centran en cambio, en evaluar el transformar la superestructura retórica que
uso de estrategias semánticas y estructura- vincula dichas ideas, más allá de relaciones
les con textos de naturaleza expositiva. estrictamente semánticas que caracterizan
Uno de los principales antecedente a los textos descriptivos. Una tarea mucho
puede verse en el diseño y evaluación de más exigente en este sentido consiste en
mapas conceptuales (Novak y Gowin, ofrecer un esquema, un diagrama o un cua-
1984). La construcción de mapas puede dro sinóptico vacío, de manera que el suje-
constituir en este caso un método para to seleccione y rellene uno de ellos con un
valorar cómo los sujetos representan la listado de las ideas de un texto académico.
macroestructura de textos expositivos. El procedimiento ofrece la posibilidad de
Además de una valoración cualitativa, la conseguir información cuantitativa o cuali-
cuantificación puede hacerse teniendo en tativa. Para cuantificar la capacidad del
cuenta tres criterios: la cantidad y calidad sujeto para representar la organización de
de las relaciones jerárquicas que el alumno las ideas del texto basta con contabilizar el
ha sido capaz de elaborar, comparándolo número de relaciones descriptivas, compa-
con un mapa-modelo; el número de nive- rativas o lógico-causales que el sujeto es
les de la representación jerárquica (los capaz de reflejar gráficamente. Este tipo de
mapas excesivamente horizontales suelen tareas presenta, no obstante, el riesgo de
revelar una clara dificultad para emplear resultar poco discriminatoria debido a su
estrategias semánticas de alto nivel); y el elevada dificultad, como se ha demostrado
número de nexos transversales que repre- en algunas investigaciones recientes (Mon-
senten las relaciones semánticas entre dife- tanero, 2002).
rentes ramas de conceptos.
En diversas investigaciones Alonso
Tapia y han utilizado una alternativa más EVALUACIÓN DE LA COMPRENSIÓN
simplificada que consiste en solicitar a los PRAGMÁTICA Y «ELABORATIVA»
sujetos que elijan el gráfico más adecuado
entre varias opciones que representan las El proceso de comprensión no se agota ni
ideas conectadas por flechas. Sin embargo, mucho menos en la representación mental
esta opción no permite discriminar si el de la base del texto. En paralelo, el lector

421
enriquece todas estas representaciones a incluso solicitar la interpretación de una
partir de su acerbo experiencial. Este tercer metáfora o la moraleja de un suceso (véa-
nivel lleva por tanto aparejado una dimen- se, por ejemplo, Lázaro, 1982). Este tipo de
sión pragmática y situacional: la construc- inferencias discriminan bastante bien la
ción de todo un mundo más allá del texto capacidad del lector para utilizar sus cono-
en sí, en el que se recogen las inferencias e cimientos previos y razonar sobre el conte-
incluso las vivencias, que el lector activa nido implícito del texto.
para interpretar la nueva información. En los pasajes expositivos no es tan
Algunas inferencias causales o intenciona- difícil deslindar la evaluación de las capaci-
les que permiten conectar localmente dos dades que intervienen en la construcción
proposiciones pueden considerarse tam- de un modelo situacional de aquellas que
bién como elaborativas. Sin embargo, las posibilitan la representación de la base del
inferencias más representativas de los nive- texto. Las preguntas de comprensión pro-
les profundos de la comprensión (al menos funda que requieren la participación de
en los textos expositivos) serían aquellas conocimientos temáticos (deep questions)
que operan sobre representaciones semán- o conectar información implícita más o
ticas más globales al final de la lectura. menos alejadas en el texto-base (bridging
inference question), son las tareas más
representativas de este nivel. Todas ellas
PRUEBAS OBJETIVAS Y SEMIOBJETIVAS tienen en común la necesidad de desplegar
inferencias «elaborativas» más allá del texto-
La comprensión pragmática se relaciona en base. Algunos trabajos recientes están
parte con la capacidad de articular enun- basados en diversos tipos de preguntas con
ciados en unidades lingüísticas muy esta orientación, (Orrantia y cols., 1998),
amplias, propias de diferentes «superes- por ejemplo, utilizaron preguntas «creati-
tructuras» y géneros textuales. Esta capaci- vas» para evaluar el uso personal de la
dad comienza a desarrollarse desde los 5 ó información en la construcción de modelos
6 años, cuando algunos niños son ya capa- situacionales más allá del contenido explí-
ces de identificar un tipo de texto o detec- cito del texto. Se demandaban esencial-
tar contradicciones que afectan a su com- mente respuestas explicativas, que requi-
prensión. De nuevo, la alternativa más uti- sieran desentrañar la trama causal de un
lizada se corresponde con materiales que fenómeno. La evaluación de inferencias
recogen preguntas breves, formuladas con referenciales, semánticas o estructurales no
posterioridad a la lectura. Algunos tests tiene por qué ser redundante con este tipo
presentan ítems acerca del género del de cuestiones. En principio, para reconocer
documento, las intenciones comunicativas la relación causal entre dos eventos es sufi-
o los recursos estilísticos del autor en dife- ciente con delimitar las causas y las conse-
rentes tipos de textos. En los textos de cuencias a partir de la representación
género no expositivo (narrativos, descripti- semántica de la base del texto, sin que ello
vos, periodísticos o literarios) las preguntas presuponga que se comprende por qué
suelen centrarse además en clarificar el esas causas generan esos efectos. La llama-
escenario situacional en que transcurre la da «trampa narrativa» (Duthie, 1987) es una
acción o las intenciones más o menos de los principales riesgos en este sentido,
implícitas de los personajes; inferencias al menos para un tipo de evaluación que
que resultan realmente difíciles de extrapo- pretenda abordar las comprensión profun-
lar de la actividad que hemos descrito en da de textos expositivos.
los niveles anteriores de comprensión. En uno de los estudios anteriores
Otras preguntas más «profundas» pueden hemos desarrollado también una propues-

422
ta para operativizar este tipo de preguntas más profundos de comprensión. Para res-
en función de la estructura organizativa de ponder correctamente las preguntas de
textos (Montanero y cols., 2002). En un tex- interpretación personal en textos narrati-
to causal las preguntas deberían solicitar vos se preguntaba sobre la identificación
información implícita acerca del nexo, las de personajes protagonistas y secundarios,
acciones o condiciones intermedias que ordenación temporal… En el análisis críti-
permiten explicar por qué un determinado co, se debe determinar la función del texto
episodio puede considerarse un factor y la intención del autor; clarificar la opi-
explicativo de otro suceso. Los sujetos que nión, la ironía, la ambigüedad o la falacia;
alcancen un nivel más profundo en la com- y valorar la línea argumental de contenidos
prensión de un texto expositivo, deberían implicativos. Este último tipo de preguntas
ser capaces de inferir o justificar los crite- se contestaban en presencia de textos
rios que permiten vincular las característi- «informativos», categoría a la que son asimi-
cas de diversos conceptos entre sí; así lables tanto los periodísticos como el resto
como las decisiones que justifican que una de los expositivos de carácter académico.
determinada respuesta se presente como Por último, hay que señalar que el
posible solución a un problema si el texto hecho de que el sujeto pueda releer o no el
presenta más bien una estructura procedi- texto, mientras responde a estas preguntas,
mental. Cuando se trata de un texto argu- no condicionaría tanto los resultados como
mental, finalmente, el lector debería poder en la evaluación del primer nivel referen-
inferir por qué unas razones fundamentan cial. Como hemos tenido ocasión de com-
determinadas deducciones o en qué medi- probar con una muestra de alumnos de la
da, las razones expuestas apoyan la con- ESO, las diferencias resultantes de respon-
clusión a la que llega el autor (explorando der con o sin el texto delante no resultan
por ejemplo, si se han tenido en cuenta los significativas (Montanero, 2000). Por su
contraargumentos que apoyan otras deci- parte, (Cain y Oakhill, 1999) constataron
siones o posiciones diferentes). que los alumnos de primaria mejoran rela-
Este último tipo de cuestiones se tivamente poco, ante preguntas sobre
corresponde en cierto modo con las tareas información implícita cuando se les da la
de análisis crítico que sirvieron de base oportunidad de revisar el texto leído. Ade-
para la evaluación de diversas capacidades más, las diferencias entre buenos y malos
de comprensión lectora en el conocido lectores se mantienen prácticamente cons-
«macroestudio» del INCE (1998). En el diseño tantes.
de la investigación se intentó en concreto
discriminar entre inferencias que permiten
comprender el significado literal del texto PENSAMIENTO EN VOZ ALTA Y TAREAS
y las que se dirigen a obtener una interpre- DE SOLUCIÓN DE PROBLEMAS CON TEXTOS
tación personal o realizar un análisis críti- INCONSISTENTES
co. Las primeras son asimilables a la cons-
trucción de lo que hemos denominado tex- En los niveles más profundos de la com-
to-base: inferencia del significado de las prensión, las relaciones que los lectores
palabras en su contexto, establecimiento deben establecer entre las ideas, tienen un
de conexiones referenciales y compren- carácter global: abarcan segmentos más
sión global a través de la identificación del amplios de información y una participa-
tema y la distinción entre la idea principal ción mayor de conocimientos previos. No
y las secundarias. Los dos grupos de pre- es de extrañar, por tanto, que cuando intro-
guntas restantes se refieren ya a inferencias ducimos información contradictoria en un
que supuestamente reflejarían los niveles texto, los chicos que no comprenden bien,

423
manifiesten muchos más problemas, no darizados que presentan un listado de acti-
sólo para resolverlas, sino incluso para vidades, generalmente relacionadas con
detectarlas. Este tipo de evaluación se basa tareas escolares, sobre las que el sujeto
en confeccionar textos que presenten afir- debe afirmar o negar (y en algunos casos
maciones contradictorias entre sí (inconsis- cuantificar) su uso. Casi todos introducen
tencias internas) o con respecto a los cono- además ítems dirigidos, no sólo a evaluar
cimientos previos que sabemos que tiene estrategias de apoyo, sino también la utili-
el sujeto (inconsistencias externas). La téc- zación de algunas de las «estrategias prima-
nica no se recoge en ninguna de las prue- rias» de carácter metacognitivo y técnicas
bas estandarizadas que hemos analizado. de estudio de textos expositivos. El proble-
El procedimiento de preguntas abiertas ma reside en que algunos componentes
(semiobjetivas), y sobre todo el autoinfor- que posibilitan el desarrollo de estas estra-
me oral de los sujetos durante la lectura, tegias metacognitivas están en parte auto-
son probablemente los que mejor se adap- matizados, y en consecuencia, no son
tan a este recurso. conscientes o al menos no directamente
accesibles a la propia observación del suje-
to. Además, la naturaleza claramente
EVALUACIÓN DE ESTRATEGIAS retrospectiva de estos cuestionarios conta-
DE REGULACIÓN METACOGNITIVA mina la objetividad de las supuestas valora-
Y APOYO A LA COMPRENSIÓN ciones de quien cumplimenta el cuestiona-
DE TEXTOS EXPOSITIVOS rio (aunque estén previstos ítems «residua-
les» como parte de una escala de sinceri-
Para terminar puede ser oportuno conside- dad). En suma, las preguntas directamente
rar un último ámbito de evaluación que tie- dirigidas a evaluar si el individuo aplica
ne una relación indirecta con la compren- estrategias de comprensión constituyen un
sión de textos académicos. Se trata de la porcentaje minoritario y difícilmente per-
evaluación del uso de estrategias de apoyo miten discriminar entre una utilización
al estudio, es decir, de las actividades rela- mecánica de técnicas de estudio y la coor-
cionadas con la preparación psicofísica, el dinación estratégica de operaciones menta-
control de estimular la planificación de les que posibilitan su eficacia.
intervalos de estudio, etc., que los estudian-
tes deberían realizar a partir de secundaria.
Estas estrategias tienen un efecto particular REGISTROS DE OBSERVACIÓN
sobre las capacidades de atención sosteni-
da que intervienen en la comprensión de Los métodos de observación constituyen de
texto expositivos. Las técnicas utilizadas nuevo una interesante alternativa para eva-
para su evaluación son sensiblemente dife- luar los procesos metacognitivos que inter-
rentes a las analizadas hasta ahora. Están vienen en la comprensión de un texto. Un
sobre todo basadas en métodos de autoin- ejemplo característico de observación direc-
forme, donde los sujetos proporcionan ta se recoge en el experimento de (Garner,
información sobre sus hábitos de estudio a Wagoner y Smith, 1983), en el que se pidió
partir de una serie de preguntas. a dos grupos de alumnos de diferente capa-
cidad, que explicara a otros compañeros, el
mejor método para comprender un texto.
AUTOINFORMES La información se grabó y analizó poste-
riormente. Sin embargo, al menos en este
Desde los años setenta han proliferado caso, difícilmente dicha valoración podría ir
múltiples cuestionarios e inventarios estan- más allá del conocimiento declarativo de

424
CUADRO I
Indicadores, instrumentos y materiales para evaluar la comprensión

los sujetos, por lo que una vez más la téc- valoración retrospectiva y generalmente
nica resulta limitada para valorar ciertos poco sistemática.
conocimientos estratégicos que los sujetos En conclusión, la panorámica actual
utilizan realmente durante el estudio de un sobre la evaluación de la comprensión lec-
texto. Esta limitación es más clara si cabe tora ofrece una amplia diversidad de técni-
en el caso de la observación indirecta a tra- cas e instrumentos, que se sintetizan en el
vés de escalas de apreciación de allegados, cuadro I. La mayoría de ellas tienen, como
muy extendida en la evaluación psicopeda- denominador común, el empeño en anali-
gógica de los alumnos con necesidades zar la actividad estratégica e inferencial
especiales, en las que el profesor debe durante la lectura como principal indicador
aportar esta información a partir de una del nivel de comprensión que alcanza el

425
sujeto. A menudo, sin embargo, dichos cri- Black (comps.), Understanding exposi-
terios se manejan sin una reflexión previa tory text. Hillsdale, LEA, 1985.
sobre los presupuestos teóricos que los jus- CAIN, K. y OAKHILL, J. V.: «Inference making
tifican. Esta limitación afecta particular- ability and its relation to comprehen-
mente a la evaluación de la comprensión sion failure in young children», en Rea-
profunda de textos expositivos en la Edu- ding and Writing, 11 (1999), pp. 489-
cación Secundaria, donde los lectores tie- 503.
nen que poner en juego capacidades y CARRIEDO, N. y ALONSO TAPIA, J.: ¿Cómo
conocimientos sensiblemente diferentes a enseñar a compr ender un texto?
los que se necesitan en otro tipo de textos. Madrid, ICE de la Universidad Autóno-
Un requisito que hemos tratado de funda- ma, 1995.
mentar, en este sentido, consiste en tratar CONDEMARIN, M. y MILICIC, N.: Test de Cloze.
de discriminar entre las capacidades que Aplicaciones psicopedagógicas.
intervienen en diferentes niveles de com- Madrid, Visor, 1990.
prensión e incluso entre textos de diferen- CUETOS, F., RODRÍGUEZ, B. y RUANO, E. (PRO-
te género. Por otro lado, es necesario dedi- LEC): Evaluación de los procesos lecto-
car más investigación a los procedimientos res. Madrid, TEA, 1996.
y análisis cualitativos que, como hemos vis- DUTHIE, J.: «The Web: a powerful tool for
to, pueden resultar de tanta o mayor utili- teaching and evaluation of the exposi-
dad para orientar una intervención psico- tory essay», en The history social scien-
pedagógica efectiva. ce teacher, 21 (1986), pp. 232-236.
FILLMORE, C. J.: «The case for case», en E.
Bach, y R. T. Harms (eds.), Universals
BIBLIOGRAFÍA in linguistic theory. Chicago, Holt,
Rinehart and Winston, 1968.
ALONSO TAPIA, J. y CARRIEDO, N.: Leer, com- GARCÍA VIDAL, J. y GONZÁLEZ MANJÓN, D.: EVA-
prender y pensar: desarrollo de estrate- LUA-4. Madrid, EOS, 1996.
gias y técnicas de evaluación. Madrid, GARNER, R.; WAGONER, S. y SMITH, T.: «Exter-
Servicio de publicaciones del MEC-CIDE, nalizing question answering of poor
1992. and good comprehender», en Reading
— «Problemas de comprensión lectora: Research Quaterly, 18 (1983), pp. 437-
evaluación e intervención», en C. 439.
Monereo, I. Solé (coord.), El asesora- GONZÁLEZ, L. y MONTANERO, M.: Evaluación
miento psicopedagógico: una perspecti- y entrenamiento de la comprensión
va pr ofesional y constructivista. lectora mediante textos «desordenados».
Madrid, Alianza, 1996. Dos estudios preliminares en el tercer
ALONSO TAPIA, J. y CORRAL, C.: Evaluación de ciclo de primaria. Memoria de investi-
la comprensión lectora al término de la gación no publicada. Universidad de
ESO Test CL-4. Madrid, UAM, 1994. Extremadura, 2002.
ARTOLA, T.: «El procedimiento cloze como INCE: Los resultados escolares. Diagnóstico
medida procesual de comprensión lec- del sistema educativo. 1997. Madrid,
tora», en Revista española de Pedago- MEC, 1998.
gía, 180 (1988), pp. 323-334. LÁZARO, A.: Prueba de comprensión lectora.
BAEZA, M.: Inventario de métodos de estu- Madrid, TEA, 1982.
dio. Madrid, Miñón, 1979. LEÓN, J. A. y MARTÍN, A.: «El título como
BOVAIR, S. y KIEBAS, D. E.: «A guide to pro- recurso didáctico», en Comunicación,
positional analysis for research on lenguaje y educación, 19-20 (1993),
technical prose», en B. K. Britton y J. B. pp. 159-170.

426
MEC:La evaluación psicopedagógica: Mode- PRESSLEY, M. y AFFLERBACH, P.: Verbal proto-
l o , o r i e n t a c i o n e s , i n s t r u m e n t o s. cols of reading. Hillsdale, N. J, Erl-
Madrid, MEC, 1996. baum, 1995.
MEYER, B. J. F.: «Prose analysis. puposes, RAMOS, J. L. y CUETOS, F.: Evaluación de pro-
procedures, and problems», en K. Brit- cesos lectores. PROLEC-SE. Madrid, TEA,
ton y J. B. Black (Eds), Understanding 1999.
expository text. Hillsdale, LEA, 1985. ROMÁN, J. M. y GALLEGO, S.: ACRA. Madrid,
MONTANERO, M.: La instrucción de estrate- TEA, 1994.
gias de comprensión en el ámbito socio- SÁNCHEZ, E.: Procedimientos para instruir
lingüístico del segundo ciclo de la ESO. en la compr ensión de los textos.
Una propuesta didáctica para enseñar Madrid, CIDE, 1989.
a comprender desde el currículo. Tesis VAN DIJK, T. A. y KINTSCH, W.: Strategies of
doctoral no publicada, Universidad de discourse comprehension. New York,
Extremadura, 2000. Academic Press, 1983.
MONTANERO, M., BLÁZQUEZ, F. y LEÓN, J. A.:
VIZCARRO, C.: «Development of an inven-
«Enfoques de intervención psicopeda-
tory to mesure learning strategies», en
gógica para la mejora de las capacida-
M. Birembaum y F. Dochy (eds.), Alter-
des de comprensión en la Educación
Secundaria», en Infancia y aprendiza- natives in assessment of achivements
je, 25 (2002), pp. 37-52. learning processes and prior knowled-
NOVAK, J. D. y GOWIN, D. B.: Aprendiendo a ge. Boston, Kluwer Academic Press,
aprender. Barcelona, Martínez Roca, 1996.
1988. WEINSTEIN, C.; GOEZTS, E. T. y ALEXANDER, P.
ORRANTIA, J.; ROSALES, J. y SÁNCHEZ, E.: «La A.: Learning and study strategies,
enseñanza de estrategias para identifi- issues in assessment, instruction and
car y reducir la información importante evaluation. New York, Academic
de un texto. Consecuencias para la Press, 1983.
construcción del modelo de la situa- YUILL, N. y OAKHILL, J. V.: «Understanding of
ción», en Infancia y aprendizaje, 83 anaphoric relatins in skilled and less-
(1998), pp. 29-57 . skilled comprehenders», en British
POZAR, F. F.: Inventario de hábitos de estu- Journal of Psychology, 79 (1988), pp.
dio. Madrid, TEA, 1972. 173-186.

427