LA EVALUACIN DE COMPETENCIAS: UN MARCO METODOLGICO

Mtra. Mara Elena Rivera Heredia

Universidad Simn Bolvar
Mtro. Jose Alberto Bazaldua Zamarripa
Instituto de Estudios Superiores de Tamaulipas
Dr. Ivn Matthew Rovira Gutirrez
Instituto Universitario del Estado de Mxico
L.A.E. Rafael Gerardo Conde Camacho
Universidad Realstica de Mxico
Mtro. Jaime Rodrguez Gmez
Universidad de Montemorelos

Resumen
A partir de la necesidad de diversas IES de obtener retroalimentacin sobre la
formacin que imparten, se propone el modelo de competencias para realizar un
seguimiento de egresados. Primeramente se analizan los factores determinantes
de la formacin de profesionistas y se revisa el concepto de evaluacin para
estructurar una definicin de la evaluacin de competencias, sealando sus
ventajas sobre la evaluacin tradicional. Se enfatiza su fundamentacin en dos
tipos de evidencias, la directa y la indirecta,describiendo los pasos de
una estrategia y diversos mtodos para evaluar las competencias tales como la
simulacin, el anlisis de expediente, la evidencia extrada de situaciones de
trabajo y la entrevista evaluativa. Se describen las experiencias en Mxico de la
evaluacin de competencias laborales por CONOCER y de competencias
profesionales por el CENEVAL. Se revisan diversos instrumentos o metodologas
para la evaluacin de competencias profesionales o laborales utilizados en
diferentes pases, y el empleo de una escala de calificacin en la mayora de los
casos. Se concluye con un anlisis comparativo de las ventajas y desventajas del
autoreporte, la entrevista y la evaluacin de evidencias como alternativas para
dicha evaluacin, y se propone el uso del autoreporte para evaluar competencias
genricas en el seguimiento de egresados.


INTRODUCCIN
El reto educativo en Mxico es muy grande: proporcionar servicios
educativos de calidad, con equidad y pertinencia (Programa Nacional de
Desarrollo Educativo 2001-2006). Para lograr dicho reto son necesarios mltiples
procesos, uno de ellos, fundamental para la mejora continua es la evaluacin.
Heverly y Fitt (1994) sealan que las instituciones educativas que no estn
autoevaluando su efectividad sern evaluadas por agentes externos y que esto se
har en base a las competencias desarrolladas por sus egresados.
Ante esta demanda se considera necesario que las universidades realicen
un seguimiento de sus egresados en base a un esquema de competencias para
contar con una retroalimentacin a sus programas actuales y como insumo para
los programas a desarrollar. El uso del modelo de competencias para el
seguimiento de egresados resulta vlido aun cuando los planes de estudio no lo
tomen como base, ya que cualquier perfil de egreso incluye los principales
elementos que conforman las competencias: conocimientos, habilidades y
actitudes. Por lo tanto, el presente trabajo tiene como objetivo realizar una revisin
de las experiencias nacionales e internacionales en evaluacin de competencias
para proponer un esquema general de evaluacin que sirva de base para que
cada universidad interesada en este objetivo lo ajuste a sus propias necesidades.
Antes de considerar algunos fundamentos tericos en la evaluacin de
competencias, es necesario tener en mente que el proceso de formacin de los
egresados est influido por diversos factores contextuales, los cuales se pueden
observar en la figura 1.

Figura 1. Contexto para realizar la formacin de los egresados.

. Nota. Desarrollado por Rivera Heredia para el presente documento

Desde una perspectiva sistmica, las competencias educativas, profesionales y
laborales de los egresados de las distintas instituciones de educacin superior van
transformndose al paso del tiempo, por lo que stas pueden ser diferentes en sus
egresados de distintas generaciones. Son los planes y programas de estudio el
medio a travs del cual se van desarrollando los perfiles de conocimientos,
habilidades y actitudes que, en su conjunto, constituyen las competencias. Para la
construccin de dichos planes y programas de estudio, en su primer contexto se
contempla el Deber Ser de la Educacin, su interrelacin con el Plan Nacional
de Desarrollo y con las necesidades y requerimientos del Sector Laboral y
con la filosofa y misin de cada institucin de Educacin Superior aplicados en su
Modelo Educativo.
Con respecto a las necesidades del sector laboral es importante considerar las
diferentes expectativas que puedan tener las empresas pequeas y micros de las
medianas y grandes y el posicionamiento que puedan tener en ellas los egresados
de la propia universidad en relacin con los de otras universidades.

CONCEPTO DE EVALUACIN DE COMPETENCIAS
Conviene aclarar que medicin y evaluacin no se refieren a lo mismo.
Brown (2000) comenta que la medicin nicamente responde a la pregunta:
cunto?, proporcionando una descripcin de la ejecucin de una persona sin
brindar informacin sobre el valor de dicha ejecucin. Sin embargo, cuando la
medicin es interpretada, se le atribuye un cierto valor. En este punto se
llega ms all de la descripcin. Es as como al evaluar se intenta responder a la
pregunta: hasta qu punto es bueno? .
La evaluacin no es algo que se hace una vez y se acaba para
siempre. En muchos casos, es un proceso progresivo, incluso un proceso
cotidiano, para el conocimiento de la situacin actual, la toma de decisiones o para
la solucin de un problema (Trull y Phares, 2003).

Para los autores del presente trabajo, la evaluacin de competencias es un
proceso de recoleccin de evidencias explcitas sobre el desempeo profesional,
laboral o educativo, con el propsito de formarse un juicio a partir de un criterio o
referente estandarizado para identificar aquellas reas de desempeo que han
sido desarrolladas y aquellas que requieren ser fortalecidas.

Algunas diferencias con respecto a la evaluacin tradicional de acuerdo con
Vargas (2001) son:
Su base en el juicio competente o an no competente.
Su sustento en evidencias del desempeo real, no en preguntas sobre lo
que se sabe.
Su consideracin como un proceso ms que un momento.

El propsito de la evaluacin consiste en realizar juicios acerca del desempeo
individual (Whitear, 1997, p. 177). El conocimiento es slo un aspecto del
desempeo ya que el desempeo competente requiere la habilidad de aplicar el
conocimiento de manera adecuada. Para evaluar una competencia es necesario
evaluar lo que se sabe, lo que se hace y cmo se hace. Para desempear tareas
confiables, se debe entender el conocimiento que soporta sus acciones, y sus
acciones deben ser apropiadas para el establecimiento en el cual se aplican
(p.178), de ah que un sistema de evaluacin deber hacer juicios confiables sobre
si los individuos cumplen con las normas de desempeo en el rango requerido de
contextos o situaciones.
La evaluacin de competencias toma en cuenta criterios de desempeo, por
lo que no se compara al sujeto con otros, sino en funcin a si es competente o
todava no es competente para determinada tarea o funcin.

En Australia, al igual que en otros pases de habla inglesa, se han desarrollado
estndares de evaluacin basados en competencias, los cuales inicialmente se
pensaban que eran tiles nicamente para las ocupaciones de nivel medio, sin
embargo, Gonczi (1994) seala que stos se pueden utilizar tanto en ocupaciones
como en profesiones, llegando a ser evaluaciones mas vlidas que las de
aproximaciones tradicionales. Menciona las siguientes ventajas del enfoque de
competencias:
Permite incorporar un rango mayor de atributos en la descripcin de las
competencias de muchas profesiones
Se describe pblicamente lo que deben hacer los profesionistas
competentes y lo que se puede esperar de ellos
Proporciona metas mas claras para quienes imparten la educacin
profesional
Clarifica a los aprendices lo que se espera que logren
Da bases para elaborar procedimientos mas slidos de evaluacin de las
habilidades profesionales.

Para evaluar competencias se debe tener muy claro para qu se va a evaluar, qu
se va a evaluar y cmo se har.

TIPOS DE EVIDENCIA
La evaluacin exitosa depende de la evidencia presentada, la cual podra provenir
de su experiencia anterior, de su desempeo actual, o de un cuestionario. Los
criterios para evaluar la calidad de la evidencia son: validez, autenticidad,
confiabilidad, suficiencia, actualidad, transferibilidad y claridad de la
presentacin (Whitear, 1997).
Existen dos formas de evidencia a recolectar: evidencia directa (constituida
por bienes y servicios producidos por el candidato) y evidencia indirecta (evidencia
e informacin de apoyo respecto del candidato). La evidencia puede ser
recopilada en un ambiente real o en una situacin de formacin, capacitacin o
simulacin. Los productos de evidencia pueden ser videos, grabaciones,
ejercicios, reportes, proyectos terminados, entre otros (Fletcher, 2000).

Tabla 1. Tipos de evidencias para evaluar competencias

TIPOS DE EVIDENCIA EJEMPLOS
EVIDENCIA
DIRECTA
Evidencia de
desempeo
Ejemplos del trabajo
real
Observacin del
trabajo
Simulacin del trabajo
Productos o artefactos
producidos
Planes y programas de
trabajo
Informes o documentos
Diseos y dibujos
Programas de
computacin
Datos financieros
Cartas de clientes,
proveedores, etc.
Evaluaciones de
desempeo
Bitcoras
Evidencia
suplementaria
Cuestionarios
Pruebas fuera del
empleo
EVIDENCIA
INDIRECTA
Testimonios
Testimonio presencial
Material publicado
Certificaciones

ESTRATEGIAS PARA LA EVALUACIN DE COMPETENCIAS
No existe un mtodo exclusivo para evaluar las competencias, sealan
Norman, Watson, Murrells, Calman y Redfern (2002), sino una amplia estrategia
de medicin que incluye mltiples mtodos para asegurar que las personas hayan
adquirido el complejo repertorio de conocimientos, habilidades y actitudes que se
requieren para demostrar competencias.
Cuando se pone nfasis en la ejecucin, Gonczi (1994) recomienda tres
principios para la evaluacin de competencias:
Los mtodos de evaluacin deben ser usados en una forma integrada, es
decir, que combinen la evaluacin de conocimiento, comprensin, solucin de
problemas, habilidades tcnicas, actitudes y tica, aunque se reconoce que
en algunos casos los conocimientos se pueden evaluar independientemente
de la ejecucin.
Se deben elegir los mtodos que sean mas directos y relevantes para lo
que est siendo evaluado.
Mientras ms amplia es la evidencia de la que se infiere la competencia,
mas se podr generalizar la ejecucin a otras tareas.

Como estrategia para evaluar las competencias de una profesin plantea los
siguientes pasos:
1. Definir y agrupar los componentes de cada competencia y los
criterios de ejecucin, por ejemplo (ver tabla 2), la competencia
para recopilar, analizar y evaluar informacin que requiere desarrollar un
abogado.

Tabla 2. Ejemplo de definicin, componente y criterio de una competencia para un
abogado
COMPETENCIA COMPONENTE CRITERIO
Recopilar,
analizar y
evaluar
informacin
Tomar
instrucciones
del cliente
Ayuda al cliente a desarrollar una historia
y a obtener la declaracin inicial
Identifica la naturaleza del problema, lo
que el cliente desea lograr, el relato del
cliente de los hechos relevantes, el punto
de vista del opositor y de terceras partes
Seala al cliente vacos e inconsistencias

2. Analizar los mtodos de evaluacin disponibles para determinar
cuales pueden realizar una evaluacin mas integrada y directa
3. Valorar los mtodos de acuerdo a aspectos prcticos como tiempo y
costo
4. Establecer una tabla de especificacin con los mtodos
seleccionados y las competencias que cada uno de ellos evaluar para
asegurar que todos los elementos de todas las competencias estn
cubiertos por lo menos por una actividad.
5. Decidir cmo se va a juzgar a los candidatos, ya sea en forma
cuantitativa (calificaciones) o por cumplimiento de estndares o criterios
cualitativos, lo cual implica un juicio profesional, basado en la experiencia,
por parte de los asesores

El autor seala que para evaluar utilizando este esquema se requiere entrenar a
los evaluadores adems de que se les proporcione manuales y procedimientos de
evaluacin. Tambin implica una mayor necesidad de asegurar la confiabilidad
entre evaluadores que en una evaluacin centrada solo en la tarea.

De los diversos mtodos existentes para evaluar competencias, Gonczi (1994), al
estudiar los sistemas de evaluacin de competencias de los egresados en
Australia, habla en particular de dos mtodos que permiten la evaluacin directa e
integrada.
La simulacin, en la cual un actor entrenado se presenta como cliente
mientras se est videograbando la interaccin. Implica preparar diversos
escenarios o situaciones que plantean problemas distintos pero con la misma
estructura: una necesidad inmediata, asuntos a largo plazo, informacin no
revelada a menos que se pregunte, agendas ocultas del cliente, problemas
que requieren soluciones fuera de la profesin, aspectos culturales que
requieren un manejo con mucho tacto, aspectos ticos y arreglo de costo.
El archivo o expediente sobre un problema es una tarea que se lleva el
egresado a su casa, que implica un anlisis y presentacin del caso basado
en conocimiento de reglas y procedimientos y en la preparacin de
documentos, adems de una investigacin sobre lo que se sabe y lo que se
ha hecho en casos similares.

Tambin menciona otros mtodos tiles tales como: relatar la forma en que
abord los casos, un examen de conocimientos (opcin mltiple) de tres horas, la
interpretacin de datos de medicin, un estudio de casos en computadora, una
entrevista de diagnstico y otra de manejo, tres evaluaciones diferentes en un
caso, entre otros.

Otra estrategia para la evaluacin de competencias es la de Colardyn (2002) quien
enlista las siguientes acciones:
Preexistencia de estndares laborales y de aprendizaje o especificaciones
Especificacin de un contexto en el que se va a recopilar la evidencia del
desempeo. Implica definir cmo evaluar, con que herramienta y con qu
procedimiento.
Recopilacin de la evidencia. Las evidencias a recolectar deben ser
definidas antes de la prctica de la evaluacin. Menciona cinco tipos:
1. Examen: el evaluado contesta preguntas, ya sea orales o escritas,
cerradas o abiertas, relacionadas con su conocimiento y comprensin del
campo de estudio.
2. Declaracin y entrevista evaluativa: el candidato describe lo que
hace o ha hecho, en forma oral y escrita, fundamentando que lo que ha
hecho implica un dominio del aspecto evaluado. Los evaluadores formulan
preguntas acerca del contexto laboral, de las actividades que desempea,
de los resultados obtenidos y de la transferencia de competencias a otros
contextos.
3. Observacin: se registra el desempeo del candidato en un
escenario real, en una experiencia del pasado o en una situacin simulada.
Requiere una estructura metodolgica bien definida y una alta capacitacin a
los evaluadores para que recopilen informacin relevante y sus registros
sean confiables. En esta tcnica los evaluadores solo observan sin hacer
preguntas y califican el desempeo en base a indicadores predefinidos.
4. Simulaciones: el evaluado se desempea en una situacin muy
parecida al contexto real de trabajo. Su dificultad radica en realizar un
anlisis laboral adecuado para asegurar que la situacin es adecuada para
obtener informacin vlida y confiable.
5. Evidencia extrada de situaciones laborales: el evaluador observa
lo que hizo el evaluado y ste puede explicar sus acciones y decisiones
y describir los resultados que obtuvo.

Otra tcnica vlida y confiable en la evaluacin de competencias es la descrita por
McClelland (1994), entendida como la entrevista de eventos conductuales. En esta
entrevista el evaluado describe en sus propias palabras lo que dijo, hizo, pens y
sinti en seis situaciones de su trabajo (tres positivas y tres negativas). Se
establecen procedimientos estandarizados para asegurar que las entrevistas sean
comparables. Se definen las competencias y se codifican por su frecuencia y nivel
de complejidad o amplitud con que se observaron en la entrevista.

Por su parte, Bentez (2006) describe dos de las metodologas mas aplicadas para
evaluar las competencias.
a) Las tablas descriptivas: consisten en prrafos que describen las
conductas observables en cada nivel de dominio de la competencia en
orden ascendente. Para cada competencia se determina, segn el puesto,
en qunivel se debe poseer la competencia y se compara con el nivel en
que se ubica al empleado que ocupa dicho puesto.
b) Los Indicadores de dominio: consisten en frases cortas que describen
conductas observables y que, en conjunto, permiten evaluar el dominio de
la competencia determinando qu nivel tiene la persona en cada uno de
todo el conjunto de indicadores. Los niveles son: A (satisface plenamente o
supera las exigencias del puesto), B (satisface las exigencias mnimas) C
(requiere entrenamiento formativo para alcanzar el desempeo requerido).
A partir del nivel de cada uno de todos los indicadores de la competencia se
asigna una puntuacin. Esta se compara con lo esperado y se clasifica la
brecha como pequea, moderada, considerable o critica. La brecha
aceptable es menor en competencias importantes para el puesto que en las
competencias complementarias.
La evaluacin de las competencias con base en las Normas Tcnicas de
Competencia Laboral (NTCL), de acuerdo con Samperio (2002) incluye las
siguientes etapas:
Determinar las tcnicas e instrumentos para evaluar la competencia laboral
de candidatos
Determinar los planes de evaluacin de la competencia laboral en una
funcin especfica
Integrar portafolios de evidencias de los candidatos a certificar sus
competencias laborales.
Emitir juicios de competencia de candidatos para certificacin
Orientar a los candidatos en relacin con el resultado de la evaluacin de
su competencia laboral.

LA EVALUACIN DE COMPETENCIAS EN MXICO
A partir de la globalizacin de los mercados y de la acelerada innovacin
tecnolgica, se presentan para Mxico nuevos requerimientos hacia la fuerza
laboral en materia de capacitacin y educacin.
Medel y Flores (2002) relatan que, como respuesta a esta demanda, la Ley
General de Educacin, en su artculo 64 publicado en 1993, establece que se
podrn crear procedimientos para otorgar certificados o ttulos a personas que
acrediten los conocimientos que correspondan a cierto nivel educativo, adquiridos
ya sea por experiencia laboral o por medios autodidactas.

Con el fin de validar conocimientos y experiencias de trabajadores adquiridos por
medios no formales, surge el Consejo de Normalizacin y Certificacin de
Competencia Laboral conocido por sus siglas como CONOCER, el cual fue
establecido en agosto de 1995 como organizacin tripartita, no lucrativa, de
carcter nacional, integrada por seis representantes del sector empresarial, seis
del sector social y los titulares de seis secretaras de estado. Su funcin consiste
planear, operar, fomentar y actualizar el Sistema Normalizado y de Certificacin de
Competencia laboral mediante el desarrollo y establecimiento de metodologas y
procedimientos para la elaboracin de Normas Tcnicas de Competencia Laboral,
a travs de los comits de Normalizacin as como la definicin de los criterios
para el establecimiento y operacin de organismos certificadores e instancias de
evaluacin.

Para CONOCER, el concepto de competencia laboral implica el saber, el saber ser
y el saber hacer. Existen tres tipos de competencias laborales: las bsicas, las
genricas y las especficas. El trabajo de normalizacin se est llevando a cabo
mediante la aplicacin de una metodologa llamada anlisis funcional. Para iniciar
el proceso de normalizacin se usa como herramienta de trabajo el mapa
funcional La estrategia de CONOCER consisten en la definicin de 12 reas de
trabajo que abarcan todo el sector laboral. El objetivo final es contar con las
Normas Tcnicas de Competencia Laboral para cada sector y despus definir el
mecanismo para aplicarlas (CONOCER Y SAGAR, 1999).
Debido a que el proceso de establecimiento de una norma a nivel nacional
es prolongado, en la experiencia Chilena (SENCE, 2003) sealan que tener un
referencial de competencias no implica necesariamente contar con un marco
nacional de competencias, se trata de contar con un modo de evaluar las
competencias de los programas. Inicialmente es posible desarrollar una norma
provisoria que certifique estas competencias. Luego, esa norma
provisoria puede convertirse en un referencial de competencia. Esto es
especialmente til en materia de capacitacin, en donde se hacen normas
provisorias de competencias para responder a las demandas que en el tiempo son
ms urgentes, quizs una descripcin de funciones sera lo ms cercano, aunque
hacer una norma provisoria es mejor.

EXPERIENCIA EN MXICO DE EVALUACIN DE COMPETENCIAS A
EGRESADOS: EL CASO DEL EXAMEN GENERAL DE EGRESO DE LA
LICENCIATURA EN PSICOLOGA DE CENEVAL

Entre las experiencias que existen en Mxico para la evaluacin de competencias
profesionales en los egresados de licenciatura se encuentra el EGEL-
PSICOLOGA (Examen General para el Egreso de la licenciatura en Psicologa) el
cual es un instrumento de evaluacin especializado, cuyo objetivo es identificar la
medida en la que se tienen los conocimientos, las habilidades y los valores que
debe mostrar un recin egresado de sus estudios de licenciatura para iniciar su
vida profesional. Tiene como finalidad el ser un instrumento til, valido y confiable
para valorar las competencias necesarias para iniciar una prctica psicolgica de
buena calidad en todas las regiones geogrficas de Mxico. Se construy
tomando en cuenta el perfil referencial de validez establecido por los cuerpos
interinstitucionales, multirregionales y multisectoriales de acadmicos del
pas. Tambin pretende ser un instrumento complementario al currculo que
retroalimente y facilite la insercin laboral adecuada. El EGEL puede ser un
instrumento indicativo previo a la presentacin del examen profesional, o un
instrumento complementario a otros indicadores de las IES a lo largo de la
trayectoria acadmica del estudiante.
En la tabla 3 se observan los tres niveles de actividad intelectual
considerados por el CENEVAL para la evaluacin de competencias.

Tabla 3. Niveles de la actividad intelectual para evaluar las competencias logradas
en la formacin profesional
COMPETENCIAS COMPLEJIDAD HABILIDADES EVALUADAS
COMPRENDER
Y ORGANIZAR
LO APRENDIDO
Bsico
Evala la capacidad para identificar,
clasificar, ordenar y jerarquizar hechos,
conceptos, principios y fundamentos de
manera no literal a como aparecen en los
documentos originales.
APLICAR LO
APRENDIDO
Intermedio
Evala la capacidad para integrar la teora
con las habilidades tcnico-metodolgicas en
la prctica profesional. Se demuestran el
dominio y pericia en la comprensin y
utilizacin adecuada de conceptos, principios,
procedimientos, tcnicas, rutinas e
instrumentos.
RESOLVER
PROBLEMAS
Alto
Evala la capacidad para analizar, sintetizar y
evaluar conceptos, principios, mtodos,
tcnicas, procedimientos, estructuras de tarea
y de planes de accin, en funcin de los
principios de adecuacin, organizacin y
valores profesionales requeridos ante
situaciones problemticas diversas,
novedosas o rutinarias, as como para
identificar y corregir errores importantes y
proponer cursos de accin adecuados.
Adaptado de CENEVAL, p.13

Las estrategias que se siguieron para la construccin del examen fueron:
1) Diseo del objeto a evaluar a partir de la definicin de categoras de
anlisis derivadas de la informacin recabada y del debate de expertos.
Posteriormente se identificaron los criterios a partir de los cuales se
seleccionaran los cuales fueron: escencialidad, generalidad,
especificidad, diversidad, relevancia y calidad.
2) Elaboracin del perfil referencial de validez, que fue acordado
colectivamente por las instituciones participantes, y establecido por los
cuerpos colegiados interinsitucionales, intersectoriales y multirregionales
tanto de las IES pblicas como de las privadas. Se identific el deber
ser establecido en los planes y programas de estudio vigentes, as como
lo recomendado por especialistas. Se consideraron datos de
investigaciones y estudios realizados por agencias internas y externas
sobre la realidad de la enseanza de la profesin, el quehacer
profesional demandado, la opinin de los egresados y la satisfaccin de
necesidades que el profesionistas debe cubrir a la luz de las demandas
actuales y las emergentes previstas en un lapso de 5 aos.
3) Definicin de la naturaleza y estructura del examen.
4) Delimitacin de los contenidos.
5) Estrategias para la elaboracin, piloteo y calibracin de reactivos;
diseo de la gua y del examen.

De igual manera, a partir del 2000, se delega al CENEVAL la funcin de acreditar
conocimientos de niveles educativos y grados acadmicos adquiridos por medios
no formales, con base en el Acuerdo 286 de la Secretara de Educacin Pblica,.
Quien desea acreditar su experiencia profesional para obtener un ttulo de
licenciatura debe pasar por las siguientes etapas de evaluacin:
Presentar el EGEL (Examen General de Egreso de Licenciatura)
correspondiente a la carrera
Responder sobre su experiencia profesional en una entrevista con un
sinodal
Elaborar una tesina sobre sus conocimientos tericos y prcticos
Defender la tesina en rplica oral ante sinodales.
Presentar un examen prctico (en algunos casos)

Aclaran Medel y Flores (2002, p. 258) que solamente personas con una probada
capacidad para instrumentar conocimientos complejos en decisiones concretas y
verificables, se encuentran en condiciones de aprobar las evaluaciones descritas.

OTRAS EXPERIENCIAS EN EVALUACIN DE COMPETENCIAS
A lo largo del mundo se han tenido otras experiencias en evaluacin de
competencias profesionales, principalmente con estudiantes que estn terminando
el estudio de su carrera. McClelland (1994) describe la entrevista de eventos
conductuales como un mtodo vlido y confiable para evaluar competencias. En
esta entrevista el evaluado describe con sus propias palabras lo que dijo, hizo,
pens y sinti en seis situaciones de su trabajo (tres positivas y tres
negativas). Para el anlisis de las competencias, los evaluadores establecen
procedimientos estandarizados para asegurar que las entrevistas sean
comparables. Adems, definen las competencias y se codifican por su frecuencia
y nivel de complejidad o amplitud con la que stas se observaron en la entrevista.

Heverly y Fitt (1994) evalan las competencias de investigacin con una
autocalificacin del estudiante en una escala del 1 al 5. Por su parte, Harrington
(1995) describe tres formatos para la evaluacin de habilidades en base
a un autoreporte:
Una lista de habilidades con sus definiciones en las que el evaluado indica
en cules se siente mas fuerte
Una escala de Likert en la que el evaluado se compara con su grupo de
edad para indicar en qu nivel est en cada habilidad: excelente, arriba del
promedio, promedio, abajo del promedio o deficiente
Se presentan ejemplos de aplicaciones de cada habilidad en las cuales el
evaluado se ubica en un nivel de bajo a alto y se obtiene una suma total de
cada habilidad.

Tambin Warn y Tranter 2001 usaron un cuestionario con diversas preguntas para
cada competencia (algunas tomadas de otros instrumentos) para una
autoevaluacin, fundamentando la validez de este mtodo en que se ha
encontrado correspondencia con la evaluacin de calificadores independientes
(aunque en la autoevaluacin se califiquen un poco mejor). Para minimizar la
deseabilidad social, en este cuestionario se pidi a los egresadosque evaluaran en
qu grado haba contribuido su institucin educativa para que desarrollaran
las diferentes competencias evaluada. Se us una escala de 5 puntos: pobre
desarrollo, menos del adecuado, adecuado, mejor que el adecuado y buen
desarrollo.

Otros parmetros de evaluacin son los propuestos por Martha Alles
(2002) quien proporciona 160 competencias laborales que pueden ser evaluadas
en uno de cuatro niveles:
1) Alto
2) Bueno, por encima del promedio
3) Mnimo necesario para el puesto (de acuerdo al perfil requerido). No implica una
subvalorizacin de la competencia
4) Insatisfactorio
Considera que cada empresa debe elaborar su propio diccionario de
competencias y definir sus propios niveles de evaluacin, ya que algunas
empresas establecen el nivel cuatro como el mnimo satisfactorio. De su
diccionario se reproducen en la tabla 4 los niveles para una de sus competencias.

Tabla 4. Ejemplo de los niveles de desarrollo de la Competencia Analtica
COMPETENCIA ANALTICA(anlisis de prioridad, criterio lgico, sentido comn)
Este tipo de competencia tiene que ver con el tipo y alcance de razonamiento y la
forma en que un candidato organiza cognitivamente un trabajo. Es la capacidad
general que tiene una persona para realizar un anlisis lgico, la capacidad de
identificar los problemas, reconocer la informacin significativa, buscar y coordinar
los datos relevantes. Se puede incluir aqu la habilidad para analizar, organizar y
presentar datos financieros y estadsticos y para establecer conexiones relevantes
entre datos numricos.
A Realiza anlisis lgicos, identifica problemas, reconoce informacin
significativa, busca y coordina datos relevantes. Tiene mucha capacidad y
habilidad para analizar, organizar y presentar datos financieros y estadsticos y
para establecer conexiones relevantes entre datos numricos.
B Analiza informacin e identifica problemas coordinando datos relevantes.
Tiene mucha capacidad y habilidad para analizar, organizar y presentar datos
y para establecer conexiones relevantes entre datos numricos.
C Puede analizar e identificar problemas, coordinar datos relevantes, organizar y
presentar datos numricos.
D Tiene escasa capacidad para el anlisis y para identificar problemas y
coordinar los datos relevantes.
Alles(2002, p. 142)

En otra publicacin, la misma autora describe el uso de la entrevista para
ubicar a los candidatos en los niveles de evaluacin de cada competencia. Para
mostrar un ejemplo se reproducen en la tabla 5 las preguntas para evaluar la
competencia analtica mencionada anteriormente.

Tabla 5. Ejemplo de preguntas para evaluar la Competencia Analtica
COMPETENCIA ANALTICA
Preguntas asociadas
1 Conseguir la resolucin de una asignacin implica recoger informacin y datos
de otros. Cmo lo hace usted?. Deme ejemplos.
2 Recuerda alguna situacin problemtica que haya tenido que solucionar
recientemente?Qu pas?Cmo la identific? Cmo la analiz?Cmo la
resolvi?Cmo organiz el trabajo suyo y el de sus colaboradores?
3 Cunteme una decisin importante que haya tenido que tomar recientemente
en su trabajo. Cul era la situacin?Porqu escogi esa alternativa?
4 Describa un desafo importante que usted haya asumido en los ltimos meses.
Qu elementos consider para hacer frente a la situacin?Cules de stos
consider prioritarios?Cmo manej la situacin?
5 Alguna vez tuvo un producto o servicio que estuviera en problemas?Cules
eran las causas del problema?Qu decisiones tom?Qu consecuencias
previ que podran suscitarse al tomar esos cursos de accin?Cul fue el
resultado final?
6 Cmo identifica problemas potenciales en su sector?
7 Descrbame una situacin compleja por la que haya atravesado su
departamento en los ltimos aos. Cmo analiz la situacin? Qu
decisiones tuvo que tomar?Cmo coordin su equipo de trabajo?
8 Utiliza datos financieros en su trabajo?Qu estadsticas presenta en sus
informes?
9 Considera usted que las tareas que realiza son relevantes para la
organizacin?Cul es su grado de importancia y porqu?
(Alles, 2003, p.149)

Dados los grandes avances tecnolgicos, existe un nuevo grupo de cuatro
competencias bsicas que permiten clasificar a las personas como alfabetos o
analfabetas tecnolgicos.(Graham, 2003, citada en Gaide, 2004), las cuales son:
Creacin de documentos electrnicos (procesador de palabras y
publicaciones electrnicas)
Organizacin de datos (administracin de hojas de datos y bases de datos,
elaboracin de tablas y grficas)
Presentacin para comunicar ideas y pensamientos
Comunicacin electrnica (correo electrnico, mensajera instantnea y
navegacin en Internet)
Ubica cada competencia en dos niveles: 1, que corresponde a habilidades bsicas
y 2 que hace referencia a habilidades avanzadas. Agrega que las universidades
deben considerar estas competencias como centrales y que deben evaluar no solo
lo que ensean sino tambin lo que aprenden los alumnos. Considera que las
universidades deben proponerse que por lo menos el 80% de sus alumnos
manejen estas habilidades en el nivel 2.

En el estudio de la OCDE conocido como PISA (Kjaernsli y Lie, 2004), se
evaluaron las competencias en estudiantes de secundaria presentando textos
reales, como artculos de peridicos o revistas, y formulando preguntas de opcin
mltiple o de respuesta construida.. En un ejemplo que proporcionan, partir del
texto se peda a los estudiantes que dieran una explicacin para diversas
situaciones del texto (para evaluar el proceso intelectual de valorar crticamente
datos cientficos, el conocimiento de hechos y la comprensin conceptual).

Por su parte, Kersh y Evans (2005) describen un proceso de autoevaluacin de
habilidades y competencias que fue utilizado para evaluar el aprendizaje de
adultos y promover el aprendizaje posterior, no para certificar ni acreditar
competencias

Bentez (2006) diferencia la perspectiva gerencial de la curricular sobre las
competencias. Desde el punto de vista curricular o educativo competencia es la
aptitud para desempear idneamente un oficio u ocupacin (p.1) y el concepto
se utiliza para certificar la competencia. Por lo tanto, la competencia se considera
una variable discreta y binaria que solo puede tener dos valores: competente o no
competente. Para proporcionar el juicio anterior se puede utilizar una variable
continua que ubica el 100 como la competencia requerida pero proporciona cierto
margen de error de modo que establece un punto de corte indicando que de 92
puntos en adelante la persona se considera competente.
Desde el punto de vista gerencial, el desempeo adecuado de cada puesto
requiere la aplicacin de cierto nmero de competencias, entendiendo stas como
caractersticas personales subyacentes que soportan el desempeo superior (p.
2). Aunque dos o ms puestos compartan como requisito una misma
competencia, no necesariamente en cada puesto se requiere un nivel de dominio
del 100 por ciento. Por lo tanto, se establecen, generalmente, de 1 a 4 niveles de
dominio que varan desde bsico hasta intermedio, avanzado y maestra.
Posteriormente, este nivel se interpreta en base a lo requerido por el puesto en los
niveles de por debajo de, a nivel de o por encima de las exigencias del cargo.


CONCLUSIONES
Aunque la evaluacin de competencias se basa en el principio de la
evidencia del desempeo, para el seguimiento de egresados con base en este
enfoque se propone el uso de un instrumento de auto-reporte en el cual los
egresados evalen, de acuerdo a su percepcin, el grado en el cual su institucin
educativa les proporcion las competencias evaluadas.
Para ello es posible retomar las definiciones utilizadas por Alles (2002 y 2003) y
adaptarlas al esquema de autoreporte en donde stas sean calificadas con una
escala tipo Likert, con el nfasis en la instruccin, de evaluar el grado en el cual su
institucin educativa promovi el desarrollo de cada competencia, tal como fue
indicado por Warn y Tranter (2001)

Tabla 6. Propuesta
SEGUIMIENTO DE EGRESADOS
(Nombre de la Universidad)
Con el fin de determinar en que grado nuestros planes de estudio estn
cumpliendo con su objetivo, te pedimos que indiques en qu grado contribuy
tu universidad, a lo largo del estudio de tu carrera, al desarrollo de las
siguientes competencias profesionales de acuerdo a la siguiente escala:
A.- No me proporcionaron ninguna experiencia relacionada con el desarrollo de
esta competencia
B.- Me proporcionaron algunas experiencias aisladas relacionadas con el
desarrollo de esta competencia
C.-Me proporcionaron pocos experiencias, bien organizadas y supervisadas,
relacionadas con el desarrollo de esta competencia
D.- Me proporcionaron muchas experiencias, bien organizadas y supervisadas,
relacionadas con el desarrollo de esta competencia

COMPETENCIAS A B C D
HABILIDAD ANALTICA
Es la capacidad general que tiene una persona para
realizar un anlisis lgico, la capacidad de identificar los
problemas, reconocer la informacin significativa, buscar y
coordinar los datos relevantes.



Para que sta evaluacin pueda ser comn a todos los planes y programas
de estudio se recomienda considerar solo las competencias profesionales
genricas, es decir, las comunes a todas las profesiones como trabajo en equipo,
anlisis, integracin, organizacin, etc., (en particular, a las indicadas en la
filosofa institucional y en el perfil de egreso de cada universidad) sin entrar a las
especficas de cada profesin (ya stas estn siendo evaluadas por otras
instancias como el CENEVAL).
Para la evaluacin de competencias genricas se puede elaborar un instrumento
que contenga un mximo de veinte competencias de modo que se pueda
responder en poco tiempo y que se pueda ajustar a un formato electrnico para
ser contestada en el portal de la universidad.

Los esquemas alternativos de entrevistas y evaluacin de evidencias resultan ms
difciles de elaborar, implican entrenamiento a los evaluadores, son ms costosos
y los beneficios no compensan todos estos costos. (Ver tabla7)
Entre las ventajas del esquema de autoreporte estn su viabilidad,
sencillez, rapidez y menor costo econmico.
:
Adems, autores como Hollon y Bemis (1981) indican que la precisin de los
autoreportes (entendida como el grado en que lo que se reporta concuerda con lo
que realmente ha ocurrido) puede ser alta y confiable, sobre todo cuando se est
enfocando la atencin en evaluar a la institucin educativa ( y no a s mismo).

Tabla 7. Comparacin de ventajas y desventajas de las alternativas de evaluacin
de competencias
AUTOREPORTE ENTREVISTA EVALUACION DE
EVIDENCIAS
Ventajas:
Elaboracin
sencilla
Aplicacin fcil y
Ventajas:
Basada en un
nmero limitado
deevidencias
Ventajas:
Evaluacin integral
Basada
en diversasevidencias
rpida
Rapidez al
calificar
Bajo costo
Confiabilidad
aceptable
Evaluacin que
considera
conocimientos,
actitudes y
valores
Se basa en
pocos casos
reales e
hipotticos
Combina informacin
de diversas fuentes:
examen, entrevista,
expedientes, portafolios,
casos trabajados, casos
simulados o hipotticos,
etc.
Desventajas:
No es integral
No se apega a la
recoleccin de
evidencias
Desventajas:
Solo evala
parcialmente
habilidades
Necesidad de
definir criterios de
calificacin
Desventajas:
Dependencia de la
disponibilidad del
evaluado
Alto costo
Elaboracin
complicada(definicin de
estndares y elaboracin
de tcnicas)
Ocupa mas tiempode
evaluado y evaluadora
Necesidad de
sistematizar
laaplicacin conmanuales
y entrenamiento)
Necesidad de asegurar
la confiabilidad en la
calificacin

Aunque se recomienda la primera alternativa (autoreporte) por ser la mas viable
para aplicar con egresados que ya tengan tiempo de haber terminado sus
estudios, siguen existiendo las dos opciones restantes con un nivel intermedio y
alto de elaboracin (entrevista y evidencias) para cuando la universidad pueda
disponer de los recursos y facilidad de contacto con los egresados.

Para completar esta propuesta, se plantean una serie de preguntas que debern
ser contestadas por cada IES: cul es el nivel de cercana al que se puede tener
acceso en torno a sus egresados?, en qu momentos puede evaluar
sus competencias?, cundo estn prximos a salir?, un ao despus?, cinco,
diez o ms aos?, de qu manera se puede evaluar a los egresados?, cules
seran los beneficios de realizar una investigacin sobre los egresados basados en
un modelo de competencias?, qu limitaciones tendra este tipo de abordaje?
cul sera su unidad de estudio: un egresado, una empresa en particular o
ambos?, podrn ser las instituciones certificadoras de los distintos campos o
reas profesionales las que proporcionen informacin sobre sus egresados?, de
que manera es posible retroalimentar la formacin en cada institucin educativa?.

Las respuestas a estos cuestionamientos abren una serie de posibilidades
respecto a la postura de cada institucin en torno a la formacin de sus
estudiantes y del grado de cercana en el seguimiento de egresados. Incorporar el
modelo de educacin por competencias profesionales o evaluar el desarrollo de
las mismas durante su formacin profesional o aos despus del egreso, es una
decisin particular y respetable de cada Institucin Educativa, sin embargo, en
ste momento, es el modelo con el que se construyen los nuevos planes y
programas de educacin bsica en Mxico (de preescolar a secundaria) y es el
modelo de seleccin de personal de las empresas trasnacionales y de varios
pases desarrollados (Inglaterra, Francia, Canad, Australia, Estados Unidos).
Incorporar este esquema permitira compartir el lenguaje comn cada vez mas
globalizado de formar y evaluar por competencias (demostrando, con
acciones, que se tienen las habilidades, actitudes, conocimientos y valores para
realizar determinada tarea), que se est formando en competencias profesionales
y laborales, pero sobre todo en competencias para la vida: para saber, saber ser,
saber hacer y saber convivir.

Referencias
Alles, M. (2002). Gestin por competencias: El diccionario. Buenos Aires: Granica.
Alles, M. (2003). Elija al mejor. Como entrevistar por competencias. Buenos Aires:
Granica.
Benitez, J.(2006). Medicin, evaluacin y diagnstico de competencias. Accesado el 21
de febrero de 2006 en www.gestiopolis.com/canales5/rrhh/medivay. htmI
Brown, F.G. (2000). Principios de la medicin en Psicologa y educacin. Primera edicin
9. Reimpresin. Mxico: Manual Moderno, 1976.
Centro Nacional de Evaluacin para la Educacin Superior, A.C. (1999). Gua del
Examen General para el egreso de la licenciatura en Psicologa,
Mxico: CENEVAL
Colardyn, D. (2002). La evaluacin basada en competencias. Documento
conceptual. Accesado el 21 de febrero de 2006 en www.ons.org/udse/
secondary/documentos/1-Trad%20ASSESSMENT20%base-1.DOC
CONOCER Y SAGAR. (1999). La competencia laboral y la inocuidad alimentaria. Mxico:
Nacional Financiera, SNC, Fiduciaria del fideicomiso de los Sistemas Normalizado
de Competencia laboral y de Certificacin de competencia laboral.
Fletcher, S. (2000). Diseo de Capacitacin basada en Competencias laborales. Mxico;
Panorama.
Gaide, S. (2004). Are technical skills core competencies? How do we measure
them?. Distance education Report, november 15.
Gonczi, A. (1994). Competency based assessment in the professions
in Australia. Assessment in Education: Principles, Policy and Practice, 1(1), pp. 27-
41
Harrington, T.(1995). Assessment of abilities (ERIC Digest). Greensboro, NC: ERIC
Clearinghouse on Counseling and Student Services [ED 389960]
Herverly, M y Fitt, D. X. (1994) Classroom assessment of student
competencies. Assessment and Evaluation on higher education, 19(3). pp.215-
224.
Hollon, S. D. y Bemis, K. M. (1981 ) Self-report and the assessment of cognitive
functions. En: M. Hersen y A.S. Bellack. Behavioral Assessment. A practical
handbook.(2nd Edition). New York: Pergamon Press.
Kersch, N y Evans, K. (2005). Self evaluation of tacit skills and competences of adult
learning. European Education, 37(2), pp. 87-98.
Kjaernsli , M y Lie, S. (2004). PISA and Scientific Literacy: similarities and differences
between the Nordic countries. Scandinavian Journal of Educational Research,
48(4), pp. 271-286.
McClelland, D. (1998). Identifying competencies with behavioral-event
interview. Psychological science, 9(5), pp. 331-339
Medel, J. O. y Flores, C. A. (2002). Acuerdo 286: La experiencia del CENEVAL en la
acreditacin de competencias profesionales. Memorias del Quinto Foro de
Evaluacin Educativa.
Norman, I. J., Watson, R. Murrells, T, Calman, L. & Redfern, S. (2002). The validity and
reliability of methods to assess the competence to practise of pre-registration
nursing and midwifery students. International Journal of Nursing Studies, 39(2),
133-145.
Samperio, L. M. (2002). Reflexiones sobre la evaluacin de las competencias
laborales. Memorias del Quinto Foro de Evaluacin Educativa
SENCE (2003). Enfoque de Capacitacin por competencias, Innovacin y
Desarrollo. Subdepartamento de Estudios. Apuntes Tcnicos. Recuperado el 2
de enero de 2006 de http://www.sence.cl/CAPACITxCOMPETENCIA/
ApunteTEcnicoCapacitaciOnbasadAenCompetencias2.pdf
SEP (2001). Programa Nacional de Educacin 2001-2006. D. F. Mxico: Secretaria de
Educacin Pblica.
Trull, T. T. y Phares, E. J. (2003). Psicologa clnica. Conceptos, mtodos y aspectos
prcticos de la profesin. 5. Edicin. Mxico: Thompson.
Vargas, F. (2001). La evaluacin basada en competencias. Una breve gua ilustrada con
un caso de aplicacin prctica. Documento CINTERFOR
Warn, J. y Tranter, P. (2001). Measuring Quality in Higher Education: a competency
approach. Quality in Higher Education, 7(3). pp. 191-
Whitear, G. (1997). Para entender la evaluacin. Competencia laboral. Normalizacin,
certificacin, educacin y capacitacin. Antologa de lecturas, tomo 1. Mxico:
Conocer y Alambra Mexicana.

1