EDUCACIÓN MÉDICA
Claves para la evaluación efectiva del Residente
Alberto E. Alves de Lima
INTRODUCCIÓN
La evaluación comienza con la identificación de los obje-
tivos de aprendizaje y finaliza con la determinación en
qué nivel esos objetivos fueron alcanzados. Debe ser un
proceso sistemático, que tiene un rol fundamental para una
enseñanza efectiva.
Para ello resulta imprescindible clarificar qué será evalua-
do, seleccionar el instrumento de evaluación adecuado y
conocer las limitaciones de cada instrumento que aplica-
mos. La evaluación es un medio hacia el final y no un
final en sí mismo1.
Michael Kane definió competencia clínica como el grado
en que un individuo puede usar sus conocimientos, habili-
dades y el criterio asociado a su profesión para llevar ade-
lante eficientemente en diferentes escenarios los proble-
mas de su práctica2.
Esta definición resalta elementos claves del concepto de
competencia clínica. Los evaluadores están interesados no
sólo en poder evaluar a los médicos Residentes en una
actividad definida, sino también poder generalizar en re-
lación a otras actividades en un rango de situaciones clíni-
cas similares.
Estimar la competencia clínica de un profesional requiere
tener en cuenta tres elementos centrales: a) evaluar la cali-
dad de la habilidad observada; b) describir una conclusión
general de la habilidad de la persona para desenvolverse en
un universo de situaciones similares y c), poder extrapolar
el desempeño observado en las prácticas a otras no obser-
vadas. Este último punto, entre lo que el estudiante puede
hacer y hace en situaciones no supervisadas, introduce va-
lores individuales (por ejemplo, razonabilidad, conceptos
éticos) a los factores (conocimientos, destrezas y habilida-
des) que definen su comportamiento en la práctica3.
Miller ilustra claramente en su modelo conceptual de com-
petencia clínica qué es lo que los educadores deben eva-
luar. Este autor concibe a la competencia clínica como una
pirámide: la base corresponde a la información o al cono-
cimiento fáctico, es decir el “saber”; en un nivel superior,
a la habilidad de uso del conocimiento en un contexto par-
ticular, es decir, el “saber cómo”. Esto está directamente
vinculado a la resolución de problemas y al razonamiento
clínico. En un nivel superior, refleja la habilidad de la per-
sona de actuar apropiadamente en situaciones prácticas,
es decir, el “mostrar cómo”. El nivel más alto refleja el
Recibido: 10 dic. 2005
Instituto Cardiovascular de Buenos Aires. Correspondencia: aealvesdelima@icba-cardiovascular.com.ar
URL:http://revista.hospitalitaliano.org.ar
desempeño actual en la práctica diaria, es decir, el ·"ha-
cer”. Cuanto más alto en la pirámide se encuentre la habi-
lidad evaluada, más autenticidad o realismo clínico debe-
rá poseer el examen4 (fig. 1).
CARACTERÍSTICAS DE LA COMPETENCIA CLÍNICA
MULTIDIMENSIONALIDAD
El término competencia clínica induce en algunos casos a
pensar en términos de capacidades focales o unitarias. Esto
es una simplificación inapropiada del término. La mayo-
ría de los encuentros entre médicos y pacientes obliga a
integrar y desempeñar por lo menos diez componentes: a)
clarificación del problema del paciente; b) recolección de
información en forma detallada y cronológica; c) integrar,
organizar e interpretar los datos obtenidos para alcanzar
una impresión diagnóstica e inclusive redefinirla a medi-
da que aparecen nuevos datos; d) definir objetivos de ma-
nejo; e) hacer procedimientos; f) comunicarnos y relacio-
narnos efectivamente con el paciente y su grupo familiar;
g) trabajar en equipo con otros profesionales; h) evaluar
críticamente la información disponible; i) monitorear las
destrezas y habilidades individuales y actualizarse en for-
ma sistemática; y j), desempeñarse en forma responsable5.
ESPECIFICIDAD DE CASO
Los datos de investigación en educación médica son con-
sistentes en demostrar que el desempeño clínico es espe-
cífico por caso. Es decir, los médicos que son exitosos en
el diagnóstico y manejo de una situación clínica no son
necesariamente competentes en otras, inclusive siendo
Figura 1.Pirámide de Miller
Hace Acción
Es capaz Desempeño
de hacer
Sabe cómo Competencia
Sabe Conocimiento
Aceptado: 22 dic. 2005
108 Rev. Hosp. Ital. B.Aires
éstas muy parecidas. Van der Vleuten y Swanson conclu-
yeron que la mayor fuente de variación de los puntajes en
29 exámenes de competencia clínica con pacientes estan-
darizados fue la variación del desempeño en diferentes
situaciones. Además, sugieren que son necesarias 16 ho-
ras de observación de desempeño a través de una gran
variedad de situaciones clínicas para obtener estimacio-
nes reproducibles de competencia clínica6. En una expe-
riencia llevada a cabo en la Sociedad Argentina de
Cardiología, se concluyó que se necesitan al menos 10
observaciones estructuradas al año para obtener resulta-
dos reproducibles de competencia clínica7.
CONTEXTO
En general, el contexto de evaluación es indefinido y no
controlado. La evaluación tradicional se caracteriza porque
un docente observa a un Residente mientras interroga y exa-
mina un paciente, hace la historia clínica y presenta su es-
trategia diagnóstica y terapéutica. Por otra parte, el evaluador
examina al Residente con ese paciente a lo largo de diferen-
tes dimensiones. El tiempo aproximado de esta acción no
es menor a 120 minutos8. En el mejor de los casos, la eva-
luación del desempeño es volcada en una escala “global”
con ítems más o menos definidos. El resultado de esto es
que el Residente es observado de la misma forma en casos
de variable complejidad. Los estándares usados para los
casos pueden variar porque en general un sólo experto ob-
serva el encuentro entre el Residente y el paciente y los
expertos rara vez estudian los casos en profundidad3,9.
PROBLEMAS EN LA CALIDAD DE LA EVALUACIÓN
FALTA DE DIRECTA OBSERVACIÓN
Probablemente, el mayor problema en la evaluación de
las habilidades clínicas es la falta de observación por parte
de los docentes a los Residentes. Por décadas, los docen-
tes han tomado como veraces las historias clínicas y los
resultados del examen físico informados por los Resi-
dentes en las recorridas de sala sin que el docente haya
visto al Residente efectuar dicho interrogatorio y exa-
men físico9.
EXACTITUD
En un estudio randomizado diseñado para evaluar la exac-
titud de los docentes en la evaluación de las habilidades
clínicas de los Residentes, Noel y col., solicitaron a 203
docentes que observaran a un Residente mientras desem-
peñaban un examen clínico en un paciente. Los docentes
evaluaron inmediatamente las habilidades clínicas del
Residente. El 50% de los evaluadores utilizó un formula-
rio abierto, y la otra mitad un formulario estructurado.
Observaron que cuando los formularios no eran estructu-
rados, una típica característica de los formularios de eva-
Vol. 25 Nº 3/4, diciembre 2005
luación que se utilizan en la práctica clínica, los docentes
detectaban sólo el 30% de las debilidades y fortalezas. Las
fortalezas fueron omitidas con mayor frecuencia que las
debilidades. La evaluación de estas fortalezas y debilida-
des aumentaron un 60% con los docentes que utilizaban
formularios estructurados10,14.
Para adquirir mayor exactitud, se requiere la utilización
de pacientes estandarizados o al menos el uso de escalas
específicas para el caso a observar. Por otra parte, existe
en general demora entre la observación y la trascripción
de las calificaciones obtenidas en el encuentro. La demora
introduce error en las calificaciones. En un estudio expe-
rimental con 180 participantes, Heneman demostró que
las calificaciones transcriptas por los evaluadores de 1 a 3
semanas más tarde eran de menor exactitud que las trans-
criptas inmediatamente11.
VARIACIONES INTER E INTRA OBSERVADORES
Existen variaciones intra-observador vinculadas a cambios
de la atención, de perspectiva, de estándares, de humor o
de estado de ánimo. Kalet y colaboradores le solicitaron a
un grupo de docentes que re-evaluaran entrevistas video-
grabadas luego de un período de 3 a 6 meses. Se observó
una bajísima correlación en las calificaciones asignadas al
proceso de la entrevista12.
Existen variaciones inter-observadores. Diferencias de cri-
terios, de puntos de vista, de rigor son algunas fuentes de
este problema.
Elliot y Hickam organizaron grupos de 3 docentes y ob-
servaron al mismo alumno mientras efectuaba el interro-
gatorio y examen físico a un paciente. Todos los docentes
estaban familiarizados con la tarea que tenían que hacer y
se creó un ámbito donde se evitaba todo tipo de interrup-
ciones. Todos utilizaron un formulario o guía de observa-
ción con una detallada lista de cotejo. Debían calificar cada
ítem con una escala predefinida. Los investigadores ob-
servaron en los evaluadores que el acuerdo fue malo en 17
de las 53 maniobras evaluadas, bueno en 18, y pobre en
18. El desacuerdo se presentó principalmente en manio-
bras de palpación y percusión, en donde la evaluación no
depende sólo de la observación13. Es importante destacar
también que la calidad de la observación es otro elemento
crucial. Existe una crítica concurrente en relación a los
métodos que evalúan la competencia clínica; es que los
evaluadores no distinguen en forma consistente diferentes
niveles de desempeño de los estudiantes. Noel y Herber,
en dos estudios sobre la evaluación de habilidades clíni-
cas a través del examen clínico tradicional con el pacien-
te, objetivaron una marcada discordancia en los puntajes
otorgados por los diferentes docentes frente al mismo pro-
blema. Además, demostraron que los docentes fallaron en
detectar el 68% de los errores cometidos por los Residen-
Alves de Lima AE. Claves para la educación efectiva del Residente 109

tes al observar un vídeo diseñado para evaluar desempe-
ños marginales10. Kalet y col. evaluaron la confiabilidad y
la reproducibilidad de la observación de los docentes du-
rante habilidades de comunicación a través de entrevistas
grabadas y observaron que los docentes eran inconsisten-
tes tanto en identificar el uso de preguntas abiertas o ce-
rradas, como en la evaluación de la empatía, y que el valor
predictivo positivo de las evaluaciones de los docentes no
era mayor al 12%12.
CONCLUSIONES FINALES
En conclusión, en base a lo antes expuesto, se proponen
las siguientes recomendaciones:
• Los estudiantes deben ser observados en un amplio
espectro de situaciones clínicas y procedimientos, y
por múltiples evaluadores. La bibliografía en general
sugiere al menos entre 7 a 11 observaciones para obte-
ner conclusiones razonables de la competencia clínica
global del estudiante o el Residente14-16.
• Utilizar formularios cortos y estructurados (anexo 1 y 2).
• Definir claramente las consignas.
• Dar tiempo para la evaluación.
• Maximizar el valor de devolución (feed-back) como
herramienta formativa.
• Solicitar la trascripción inmediata de las calificacio-
nes luego del examen.
• Complementar observaciones formales con informales.
• Considerar trabajar en grupo para tomar decisiones de
promoción.
• Entrenar y calibrar a los evaluadores.
• Chequear los instrumentos de evaluación.

BIBLIOGRAFÍA

1. Linn, R Gronlund N. Measurements and
assessment in teaching. USA: Prentice-Hall;
2000
2. Kane MT. The assessment of professional
competence. Evaluation and the Health
Professions 1992;15:163-82.
3. Williams RG, Klamen DA, McGaghie WC.
Cognitive, social and environmental sources of
bias in clinical performance ratings. Teach
Learn Med 2003; 15(4): 270-92.
4. Miller GE. The assessment of clinical skills/
competence/performance. Acad Med 1990;
65(9 Suppl): S63-7.
5. Alguire P, et al. Portfolio for internal
medicine residency programs [en línea], 2001-
2002. Disponible en: URL: http://www.im.org/
AAIM/Tools/Docs/Forms/competencies.pdf
[Consulta: 20/01/06].
6. Stillman P, Swanson D, Regan MB, et al.
Assessment of clinical skills of residents
utilizing standardized patients. A follow-up
study and recommendations for application.
Ann Intern Med 1991; 114(5): 393-401.
7. Castillo Costa Y, Alves de Lima A. Ejercicio
de examen clínico reducido (EECR): una
herramienta para evaluar la competencia
clínica. Resultados Preliminares. Rev Argent
Cardiol 2004; 72(Sup 3):174, Abstract 251.
8. Holmboe ES, Hawkins RE, Huot SJ. Effects
of training in direct observation of medical
residents’ clinical competence: a randomized
trial. Ann Intern Med 2004; 140(11): 874-81.
9. Holmboe ES. Faculty and the observation of
trainees’ clinical skills: problems and
opportunities. Acad Med 2004; 79(1): 16-22.
10. Noel GL, Herbers JE Jr, Caplow MP, et al.
How well do internal medicine faculty members
evaluate the clinical skills of residents? Ann
Intern Med 1992; 117(9): 757-65.
11. Heneman RL. The effects of time relay in
rating and amount of information observed on
performance rating accuracy. Acad Manag J
1983; 26:677-86.
12. Kalet A, Earp JA, Kowlowitz V. How well
do faculty evaluate the interviewing skills of
medical students? J Gen Intern Med 1992; 7(5):
499-505.
13. Elliot DL, Hickam DH. Evaluation of
physical examination skills. Reliability of
faculty observers and patient instructors. JAMA
1987; 258(23): 3405-8.
14. Alves de Lima A. Observación directa del
desempeño del residente: una práctica en
desuso. Rev Argent Cardiol 2005; 73(1):39-43.
15. Norcini JJ, Blank LL, Arnold GK, et al. The
mini-CEX (clinical evaluation exercise): a
preliminary investigation. Ann Intern Med
1995; 123(10): 795-9.
16. Alves de Lima A, Henquin R, Thierer J, et
al. A qualitative study of the impact on learning
of the mini clinical evaluation exercise in
postgraduate training. Med Teach 2005; 27(1):
46-52.
110 Rev. Hosp. Ital. B.Aires Vol. 25 Nº 3/4, diciembre 2005

ANEXO 1

PAUTAS PARA LA IMPLEMENTACIÓN DE EJERCICIO DE EXAMEN CLÍNICO REDUCIDO (EECR)

El EECR se centra en las habilidades básicas que los Residentes demuestran en el encuentro con el paciente. Los médicos
de planta pueden implementarlo fácilmente como una forma de evaluación de rutina, transparente, en cualquier ámbito. El
EECR proporciona un panorama general en 15-20 minutos de la interacción Residente/paciente. Desarrollado sobre la
base de múltiples encuentros a lo largo del tiempo, este método ofrece una medición válida y confiable del desempeño del
Residente. Se insta a los médicos de planta a realizar un EECR por Residente durante cada rotación.

Ámbitos para la Puesta en Marcha de EECR Examinadores de EECR

Área de Internación. Áreas Criticas (UTI/UCIC)
Área ambulatoria, Área emergencia Médicos de planta
Servicios de Consulta Externa o Internación Médicos jefes de Sección y/o Servicio
EECR, Ejercicio de Examen Clínico Reducido; UTI, Unidad de Terapia Intensiva; UCIC, Unidad de Cuidado Intensivos Coronarios.

Formularios y Escala de Puntuación: Una vez completado el formulario, se debe entregar el “original” al director del
programa y la “copia” al Residente. Se utiliza una escala de calificación de nueve puntos, definiéndose a la puntuación 4
como “marginal”, con la cual se expresa la posibilidad de que con un recuperatorio el Residente alcanzará los niveles
exigidos para obtener la aprobación.

DESCRIPTORES DE LAS COMPETENCIAS DEMOSTRADAS POR EL RESIDENTE DURANTE EL EECR

Habilidades para la Conducción de la Entrevista Médica: Facilita la explicación al paciente de su situación, usa eficazmente las
preguntas y da instrucciones precisas y adecuadas para obtener la información necesaria; responde apropiadamente a las
señales afectivas, verbales y no verbales.

Habilidades para la Conducción del Examen Físico: Sigue una secuencia efectiva y lógica; equilibrio entre los pasos de
detección/diagnóstico del problema; información al paciente; sensibilidad al bienestar y pudor del paciente.

Cualidades Humanísticas/profesionalismo: Muestra respeto, consideración, empatía; genera confianza; atiende las necesi-
dades del paciente en cuanto a bienestar, pudor, confidencialidad e innovación.

Criterio Clínico: Ordena, selecciona los estudios diagnóstico en forma apropiada, considera los riesgos, beneficios.

Habilidades para el Asesoramiento del Paciente: Explica los fundamentos del estudio/tratamiento, obtiene el consenti-
miento del paciente; instruye/aconseja con respecto a la conducta a seguir.

Organización/eficiencia: Prioriza; es oportuno; sucinto.

Competencia Clínica Global: Demuestra criterio, síntesis, atención y cuidado, eficacia y eficiencia.
Alves de Lima AE. Claves para la educación efectiva del Residente 111

EJERCICIO DE EXAMEN CLÍNICO REDUCIDO (EECR)

Examinador: ............................................................................................. Fecha: ................................................................................................................

Residente: ❍ R-1 ❍ R-2 ❍R-3

Problema del Paciente / diagnóstico: ...................................................................................................................................................................................

Ámbito: ❍ Ambulatorio ❍ Internación Gral. ❍ UTI ❍ UCIC ❍ Emergencia

Paciente: Edad: ............................... Sexo: ................................ ❍ Primera Vez ❍ Seguimiento

Complejidad: ❍ Baja ❍ Moderada ❍ Alta

Énfasis: ❍ Recopilación de Datos ❍ Diagnóstico ❍ Terapéutico ❍ Asesoramiento

1. Habilidades para la Conducción de la Entrevista Médica (❍ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

2. Habilidades para la Conducción del Examen Físico (❍ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

3. Cualidades Humanísticas / profesionalismo (❍ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

4. Criterio Clínico (❍ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

5. Habilidades para el Asesoramiento del Paciente (❍ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

6. Organización / eficiencia (❍ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

7. Competencia Clínica Global como Especialista de Consulta (❍ No se observan)

1 2 3 4 5 6 7 8 9
Insatisfactorio Satisfactorio Sobresaliente

Tiempo de Desarrollo del EECR: Observación ........ min. Devolución: ................. min.

Satisfacción del examinador con el EECR

BAJA 1 2 3 4 5 6 7 8 9 ALTA

Satisfacción del Residente con el EECR

BAJA 1 2 3 4 5 6 7 8 9 ALTA
COMENTARIOS:
...............................................................................................................................................................................................................................................

Firma del Residente Firma del Examinador