Comisin de Acreditacin de Pregrado

MANUAL DE PARES EVALUADORES

GUA PARA LA EVALUACIN EXTERNA CON FINES DE ACREDITACIN

Libro

 Comisin Nacional de Acreditacin de Pregrado, Ministerio de Educacin. 2002 Diseo: Carlos Gatica Diagramacin: Marcelo Canales ISBN: 956 - 292 - 014 - 3 Impreso en Santiago, Chile por Ograma S.A.

NDICE LIBRO 1

SECCIN 1 EVALUACIN Y ACREDITACIN DE LA CALIDAD La Comisin Nacional de Acreditacin de Pregrado Acreditacin en el marco de un sistema de aseguramiento de la calidad El proceso de acreditacin de la CNAP Las etapas del proceso de acreditacin SECCIN 2 LOS PARES EVALUADORES Quines son los pares evaluadores Compromisos y responsabilidades de los pares Composicin del Comit de Pares El Presidente del Comit de Pares evaluadores

5 5 7 13 16 23 24 25 28 31

SECCIN 1

Evaluacin y acreditacin de la calidad

La Comisin Nacional de Acreditacin de Pregrado, CNAP
al vez el desafo ms importantes de la educacin superior sea el de promover y asegurar permanentemente su calidad, y uno de los medios para ello es el establecimiento de sistemas de evaluacin y acreditacin. Con ese fin se constituy, en marzo de 1999, la Comisin Nacional de Acreditacin de Pregrado, CNAP. Su accin se vincula al Componente de Aseguramiento de la Calidad, del Programa de Mejoramiento de la Calidad y la Equidad
Manual de Pares Evaluadores / libro 1 / pgina 5

de la Educacin Superior, MECESUP, que es llevado a cabo por el Ministerio de Educacin con el apoyo del Banco Mundial. La Comisin es presidida por don Ivn Lavados Montes y est integrada por los seores Jorge Allende, Jos Joaqun Brunner, Eugenio Cantuarias, Bernardo Domnguez, Bernardo Donoso, Mario Letelier, Fernando Lolas, Mario Maturana, ngel Mauln, Ivn Navarro, Ricardo Reich, Mara Teresa Ruiz, Moiss Silva y Paulina Veloso. La seora Mara Jos Lemaitre es su Secretaria Tcnica.

Las principales funciones de la Comisin son:

desarrollar procedimientos experimentales de acreditacin de carreras profesionales y tcnicas, y elaborar una propuesta acerca de un sistema permanente de acreditacin.

Para llevar a cabo estas funciones, la Comisin ha estudiado detenidamente tanto la experiencia nacional, centrada en el trabajo que las instituciones de educacin superior han realizado en el pas, como los antecedentes emanados de los procesos de acreditacin y aseguramiento de la calidad desarrollados en diversos pases de Amrica Latina y otros continentes. Sobre esa base, ha adoptado un conjunto de acuerdos destinados a promover y facilitar el desarrollo de procesos de acreditacin en diversas carreras profesionales y tcnicas, a travs de los cuales se identifiquen los elementos que deberan considerarse en la propuesta de un sistema permanente de acreditacin. Por otra parte, la Comisin ha desarrollado dos funciones complementarias a las anteriores: las de proporcionar capacitacin y asistencia tcnica a las instituciones de educacin superior y trabajar en el diseo de un sistema de informacin pblica.

Manual de Pares Evaluadores / libro 1 / pgina 6

La primera de estas funciones se ha traducido en un conjunto de acciones tendientes a colaborar con la formacin de las capacidades necesarias para que las propias instituciones se hagan cargo de supervisar y mejorar la calidad del trabajo que realizan en el mbito de la autoevaluacin y acreditacin. La segunda pretende responder a la necesidad de mayor transparencia en la informacin de la educacin superior expresada por diversos actores y usuarios del sistema.

El trabajo de la Comisin tiene como principal objetivo fomentar y mejorar la calidad de la educacin superior, mediante el desarrollo de procedimientos sistemticos de evaluacin y acreditacin. Se trata de un trabajo compartido, que necesariamente ha comprometido no slo a consultores expertos, sino tambin, y principalmente, a acadmicos y profesionales de las instituciones de educacin superior, a las asociaciones profesionales y gremiales, a los usuarios del sistema en general, a los empleadores y a los estudiantes.

Acreditacin en el marco de un sistema de aseguramiento de la calidad

A fin de comprender cabalmente el concepto de acreditacin, es conveniente analizarlo en el contexto de un sistema para asegurar la calidad. El conjunto de todos los procedimientos, actividades, mecanismos e instrumentos destinados a asegurar la calidad, constituyen lo que diversos autores denominan regulacin del sistema de educacin superior. As, es posible considerar la regulacin como un proceso informado y peridico mediante el cual un sistema, una institucin, un programa o una unidad se ajusta a las expectativas

Manual de Pares Evaluadores / libro 1 / pgina 7

establecidas, a travs de acciones de mejoramiento que se implementen como fruto de la evaluacin (Kells, 1997). La regulacin puede ser: Ejercida por la propia institucin, en cuyo caso se denomina autorregulacin, o bien, Conducida y dirigida por una agencia externa, que aplica normas y criterios y que, finalmente, otorga una certificacin pblica de calidad, en cuyo caso nos encontramos frente a una regulacin extra institucional. Las dos formas de regular la calidad fortalecen a la institucin y apoyan su desarrollo cualitativo. Sin embargo, tomadas individualmente presentan limitaciones que es preciso considerar. Por una parte, es evidente que la capacidad de autorregulacin pone en manos de la institucin un instrumento extremadamente eficaz que le permite conocer las condiciones en que desempea su trabajo y organizarse para avanzar en el logro de los objetivos planteados. Sin embargo, salvo en casos excepcionales, una regulacin conducida internamente corre el riesgo de evolucionar hacia un cierto grado de autocomplacencia, que puede evitarse recurriendo a una instancia de validacin externa. Por otra parte, un proceso de regulacin enteramente entregado a una agencia externa conlleva el riesgo de que se desarrolle una cultura de la obediencia, en que los cambios se hacen por imposicin externa y por tanto, no se incorporan debidamente al quehacer institucional en forma estable. Por consiguiente, parece ser que la forma ms adecuada de asegurar un modelo pertinente y eficaz es a travs de la integracin y complementacin de ambas modalidades. El modelo de un proceso integrado de regulacin vincula los mecanismos de autorregulacin institucional y las normas y criterios de evaluacin, con la accin de un organismo externo cuya funManual de Pares Evaluadores / libro 1 / pgina 8

cin es la de otorgar garanta pblica del cumplimiento de dichas normas y criterios, tal como puede verse en la siguiente figura.
Figura1

Componentes de un sistema de aseguramiento de la Calidad

Certificado de Acreditacin. Informacin al pblico Informacin a usuarios Evaluacin externa y validacin de resultados de la autoevaluacin y de los mecanismos de autorregulacin. Evaluacin de insumos, procesos y resultados, a la luz de los criterios de evaluacin y los propsitos internos Informacin: recoleccin, procesamiento y anlisis Cambios inmediatos a medida que se detecta su necesidad Planificacin y organizacin del cambio. Control y seguimiento EVALUACIN

ACREDITACIN (garanta de calidad)

AJUSTE DE CALIDAD (gestin del cambio)

Evaluacin
El corazn del proceso de regulacin es la evaluacin. Por ella entendemos la actividad sistemtica de recoleccin, procesamiento y anlisis de informacin y su contraste con propsitos y criterios de evaluacin previamente definidos, para apoyar la toma de decisiones. Es comn que en las instituciones de educacin superior las decisiones se adopten con informacin parcial, recogida en forma espordica y ad hoc para la oportunidad, o que la informacin que las instituciones asiduamente recogen no se utilice para tomar decisiones relevantes.Por el contrario, cuando se desarrollan procesos de
Manual de Pares Evaluadores / libro 1 / pgina 9

evaluacin sistemticos, las decisiones cuentan con una base slida que las legitima y fundamenta. Adicionalmente, una evaluacin con esas caractersticas, permite ir formando una base de antecedentes disponibles para la gestin. Al organizar la evaluacin hay diferentes elementos que es preciso considerar: Niveles de anlisis: la evaluacin puede realizarse en distintos niveles, tales como personas, programas o carreras, unidades acadmicas, instituciones o incluso el sistema en su conjunto. Objeto de estudio: para cada nivel de anlisis, es posible referir la evaluacin a distintos objetos, que pueden clasificarse de mltiples formas. A modo de ejemplo, la evaluacin puede centrarse en insumos tales como recursos humanos, recursos didcticos, as como metas o propsitos institucionales; procesos tales como actividades de docencia, de investigacin o de extensin, las relaciones entre ellas, la vinculacin con el medio externo, y los procesos administrativos; o productos, es decir, resultados del proceso de formacin, satisfaccin de los graduados y empleadores, y eficiencia del proceso formativo. Foco: al mismo tiempo, es posible centrar la evaluacin en algunos de estos aspectos, por ejemplo, la evaluacin focalizada en la docencia, o en la biblioteca, o considerar la institucin o programa en su totalidad, es decir la evaluacin integral. Las decisiones que se adopten respecto de cada uno de estos elementos definirn las caractersticas especficas del proceso que se lleve a cabo. Ahora bien, la evaluacin organizada sobre la base de las opciones sealadas ms arriba genera antecedentes de distinto tipo: datos cuantitativos, informacin cualitativa, opiniones, etc. Sea cual sea el tipo de datos obtenido, al ser considerado en un proceso evaluativo requiere de un patrn de comparacin, es decir, de un
Manual de Pares Evaluadores / libro 1 / pgina 10

estado deseable con el cual se contrasta el desempeo de la unidad objeto de evaluacin. En un proceso de evaluacin, el patrn puede ser: Interno, referido a los propsitos (misin, objetivos y metas) definidos por la propia unidad de anlisis, o Externo, en cuyo caso se utilizan criterios y estndares generales definidos por la comunidad. Es posible, sin embargo, usar una combinacin de ambos patrones, de modo tal que se verifique el logro de los elementos generales dejando espacio a las especificaciones particulares que cada institucin o carrera quiera introducir. Por ejemplo, al aplicar los criterios de evaluacin de una carrera o programa, es posible ajustar la evaluacin a los propsitos definidos por cada institucin a travs de su perfil propio, pero en el marco ms global de ciertos criterios correspondientes al mbito profesional o disciplinario de que se trate. En los casos en que la propia unidad rene y analiza informacin sustantiva sobre s misma en base a los criterios de evaluacin pertinentes, con el fin de generar mecanismos de control y garanta de calidad de sus propios procesos, se est en presencia de una autoevaluacin. Se hace esta observacin porque es importante destacar que no todo proceso interno de evaluacin es una autoevaluacin. Una institucin puede evaluar una de sus carreras o una unidad acadmica puede evaluar a sus miembros, y en estos casos, desde el punto de vista del objeto de evaluacin, es claramente una evaluacin externa1 . A menudo se consideran ambos procesos en forma secuencial: la institucin o programa realiza una evaluacin interna y luego se realiza una evaluacin externa, destinada a validar, complementar o completar la evaluacin interna, segn sea el caso.
Manual de Pares Evaluadores / libro 1 / pgina 11

1.- Un ejemplo de lo anterior puede apreciarse en la experiencia real de una Facultad. La rectora decidi evaluar las distintas unidades, para lo cual design un equipo de expertos dependiente de la Direccin de Planificacin que procedi a desarrollar el proceso de evaluacin. El resultado final fue presentado a la agencia acreditadora como un Informe de auto-evaluacin. Sin embargo, el Decano de la Facultad concurri a la agencia acreditadora a hacer presente que l consideraba que su Facultad haba sido autoevaluada externamen-te, por lo que no asuma los resultados del informe presentado. En efecto, los miembros de la Facultad en cuestin slo haban participado emitiendo algunas opiniones a travs de respuestas a un cuestionario. Por tanto, en trminos sustantivos, la evaluacin realizada fue tan externa como si la hubiera efectuado una agencia sin ninguna vinculacin con la Universidad.

Si el proceso de evaluacin externa es organizado por una agencia acreditadora, sta usualmente lo encomienda a pares evaluadores de reconocido prestigio, quienes visitan y evalan en terreno la unidad en cuestin.

Ajuste de calidad y la gestin del cambio

El proceso de evaluacin requiere de esfuerzo y dedicacin; suele ser costoso e incluso puede ser doloroso. Si no se traduce en efectos positivos para la unidad en evaluacin, no tiene sentido haberlo realizado. Regular la calidad de la educacin superior tiene como objetivo final mejorarla y, en consecuencia, no se avanza en esa direccin si se detectan debilidades, pero no hay un esfuerzo concreto y sustantivo por superarlas. Es por eso que un componente esencial del proceso de regulacin es lo que hemos llamado ajuste de calidad, que se refiere al conjunto de acciones de control y mejora de la calidad que surgen de la evaluacin y para el cual es esencial desarrollar una capacidad institucional de gestin del cambio. Habitualmente, los cambios se dan en dos momentos: Unos se producen durante el proceso de evaluacin, como ajustes efectuados a medida que se detecta su necesidad. Se trata, en general, de modificaciones que no requieren de inversiones adicionales, o decisiones de poltica, pero que pueden tener un impacto significativo en la calidad del servicio prestado. Otros requieren de un proceso ms complejo, que pone en juego la capacidad de gestin de la institucin. Estos se refieren a acciones de cambio planificado, que se incorporan a un plan de accin de mediano y largo plazo, que involucran modificaciones ms sustantivas o ms complejas y que, en la mayora de los casos, requieren de un esfuerzo de priorizacin y negociacin para organizar los cambios en el tiempo.
Manual de Pares Evaluadores / libro 1 / pgina 12

La evaluacin externa debe considerar como un elemento importante para el anlisis de una carrera la forma en que sta aborda sus fortalezas y debilidades identificadas, y las acciones efectivamente realizadas o propuestas para hacerse cargo del diagnstico efectuado.

Acreditacin o garanta pblica de la calidad

Hasta aqu, el proceso puede darse ntegramente al interior de las instituciones, an en aquellos casos en que las mismas contratan y organizan un proceso de evaluacin externa. La acreditacin agrega un componente diferente: consiste en la certificacin pblica de que la institucin, la carrera o programa, o el objeto de evaluacin de que se trate, rene las condiciones correspondientes al rango al que aspira. Es un proceso esencialmente externo a la institucin, que contar con mayor validez y legitimidad social cuanto ms externo se perciba. Volviendo a la figura1, en sta se puede ver que la acreditacin no puede darse desconectada de la evaluacin; la certificacin que se extiende se basa en la evaluacin, considerando tanto aquella referida al cumplimiento de los criterios o estndares definidos como patrn de comparacin, como la que resulta del anlisis de los procesos de autoevaluacin o, en otras palabras, la evaluacin de la capacidad de autorregulacin de la institucin. Asimismo, considera necesariamente la validacin de los resultados de la autoevaluacin efectuada por pares evaluadores externos.

El proceso de acreditacin de la CNAP

La acreditacin de la CNAP est dirigida a programas o carreras de pregrado pertenecientes a instituciones autnomas de educacin superior. Se trata de procesos voluntarios, y su principal objetivo es mejorar la calidad, a travs de ejercicios sistemticos de evaluacin.
Manual de Pares Evaluadores / libro 1 / pgina 13

La Comisin Nacional de Acreditacin de Pregrado ha convocado a acadmicos, profesionales y personas provenientes del medio externo a la educacin superior para definir criterios de evaluacin, revisar los procedimientos aplicados e identificar la informacin necesaria para los procesos de evaluacin. Sobre esa base, invita a las carreras que cumplen con los requisitos de elegibilidad establecidos a presentarse voluntariamente a la acreditacin. Resulta particularmente interesante comprobar la acogida que esta invitacin ha tenido en el mbito de la formacin profesional y tcnica: diversas instituciones, tanto pblicas como privadas, se han integrado a los procesos de diseo de criterios y procedimientos, y una amplia gama de carreras se encuentra trabajando en las diversas etapas de los procesos conducentes a la acreditacin.

Diseo de criterios y procedimientos de evaluacin

El proceso de acreditacin se ha organizado fundamentalmente en respuesta a las demandas de agrupaciones profesionales o disciplinarias. Para ello, la Comisin ha tomado contacto con diversas organizaciones acadmicas, profesionales, gremiales, productivas y de otros usuarios, de modo de organizar de la manera ms participativa y eficaz los procesos experimentales de aseguramiento de la calidad. El primer paso es el diseo y desarrollo de los criterios e instrumentos necesarios para conducir la evaluacin. Para ello, la Comisin ha creado Comits Tcnicos de especialistas, a los que se integran los principales actores del mbito acadmico, profesional y de usuarios, con el fin de asegurar una participacin relevante y representativa del rea o carrera. Los Comits Tcnicos han tenido por funcin definir un perfil de egreso bsico correspondiente al ttulo o grado ofrecido, as como los criterios de evaluacin aplicables a las carreras o programas, considerando estndares nacionales e internacionales. Los Comits Tcnicos proponen tambin una nmina de expertos en el rea
Manual de Pares Evaluadores / libro 1 / pgina 14

(pares evaluadores) que puedan desarrollar los procesos de evaluacin externa conducentes a la acreditacin. Se han conformado Comits Tcnicos para Agronoma, Arquitectura, Bioqumica, Contabilidad, Derecho, Educacin, Enfermera, Formacin de Tcnicos de Nivel Superior, Ingeniera, Medicina, Medicina Veterinaria, Psicologa y Qumica y Farmacia. Asimismo, se form un Comit Tcnico para la evaluacin y acreditacin de programas de formacin de directivos pblicos, en el contexto del Proyecto de Reforma y Modernizacin del Estado. Actualmente, la gran mayora de los Comits Tcnicos de la Comisin han finalizado su trabajo de definicin de perfiles de egreso, criterios de evaluacin y nminas de pares evaluadores. Una vez que la CNAP ha aprobado los criterios de evaluacin para una carrera o rea particular, su secretara difunde al conjunto de instituciones autnomas que la ofrecen, toda la informacin relativa al proceso de acreditacin, invitndolas a incorporarse.

Incorporacin al proceso de acreditacin

Pueden participar en el proceso de acreditacin las carreras o programas ofrecidos por instituciones autnomas de educacin superior que tengan al menos una promocin de titulados. Para ello deben presentar una solicitud escrita refrendada por el Rector o autoridad superior de la institucin, en la que se manifieste el inters de la carrera en presentarse al proceso, comprometindose a cumplir con sus etapas y tomar en consideracin sus resultados en la planificacin futura de la unidad. La Comisin por su parte, acoge la solicitud mediante un Acuerdo, que define los plazos para las diferentes etapas de la acreditacin y detalla las responsabilidades asumidas por las partes para asegurar el xito del proceso de acreditacin: La institucin se compromete a:
Manual de Pares Evaluadores / libro 1 / pgina 15

 llevar a cabo, en la respectiva carrera, el procedimiento de autoevaluacin y someterla a la evaluacin externa por pares, en los trminos aprobados por la Comisin; entregar la informacin requerida, incluyendo una descripcin de los procesos de autorregulacin y control internos de la calidad; y, hacer un seguimiento a partir de los resultados de la acreditacin practicada y facilitar los mejoramientos sugeridos en el informe de acreditacin. La Comisin se compromete a: practicar los procedimientos de evaluacin con integridad e independencia; respetar la confidencialidad de la informacin que tenga carcter reservado; y, facilitar, desde el punto de vista tcnico, el desarrollo de los procedimientos de acreditacin y apoyar su aplicacin.

Las etapas del proceso de acreditacin

A continuacin, se presentan en forma sinttica las diversas etapas del proceso de evaluacin conducente a la acreditacin.

Etapa 1. Autoevaluacin2
La autoevaluacin es el proceso mediante el cual una carrera rene y analiza informacin sobre s misma, a partir de criterios y patrones de evaluacin definidos, con el fin de generar mecanismos de control de su calidad.
2.- La CNAP ha elaborado un Manual para el desarrollo de procesos de autoevaluacin que describe y explica en detalle el sentido y los alcances del proceso.

Para que el desarrollo de este proceso sea provechoso y til, deben garantizarse un conjunto de condiciones y requisitos. Se trata de aquellos aspectos que deben estar presentes antes de iniciar un proceso autoevaluativo para asegurar su adecuado desarrollo. Estos son, la comprensin cabal del sentido y alcances del proceso, la motivacin interna, la aceptacin de la evaluacin externa, el
Manual de Pares Evaluadores / libro 1 / pgina 16

apoyo explcito y autntico de las autoridades, el liderazgo y competencias del equipo conductor del proceso y la disponibilidad de recursos humanos y materiales. Garantizada la existencia de los requisitos, puede iniciarse el proceso. ste considera el desarrollo de las siguientes etapas sucesivas: conformacin de un equipo conductor, recoleccin de datos y generacin de informacin, desarrollo de reuniones de trabajo y formulacin de juicios preliminares acerca de las fortalezas y debilidades de la carrera, socializacin y discusin amplia de dichos juicios, elaboracin del informe de autoevaluacin. El informe de autoevaluacin merece una mencin aparte, por su importancia para la evaluacin externa. El proceso de autoevaluacin debe culminar en un informe, que sirva de base para el proceso de evaluacin externa que validar sus resultados, pero que a la vez, constituya un instrumento til, que pueda ser consultado en diversos momentos del desarrollo del plan de trabajo y que proporcione una base confiable para el desarrollo de futuros procesos de autoevaluacin. En esta etapa inicial de desarrollo de los procesos de aseguramiento de la calidad, es posible que los informes de autoevaluacin no sean todo lo completos y analticos que sera de desear. Sin embargo, una tarea importante de los evaluadores externos es ir ms all del texto del informe e intentar descubrir la riqueza del proceso de autoevaluacin, que suele ser mucho mayor.

Etapa 2. Evaluacin externa o visita de pares evaluadores3

El proceso de autoevaluacin se encuentra incompleto hasta que es validado por pares evaluadores externos. Los pares aportan la mirada externa y un juicio calificado; por su experiencia y trayectoria, constituyen un aporte sustantivo y complementario al proceso de evaluacin desarrollado al interior de la unidad. Esta evaluacin externa debe ser realizada por un equipo de acadmicos o profesionales calificados que observan la unidad desde fuera de la misma. Pueden ser evaluadores internacionales,
Manual de Pares Evaluadores / libro 1 / pgina 17

El detalle de cada uno de los puntos contenidos en esta seccin se encuentra en los captulos siguientes del presente Manual.
2

evaluadores provenientes de otras instituciones o, incluso, de otras unidades de la misma institucin. Cuando el proceso est vinculado a la acreditacin, usualmente la visita de pares est a cargo de acadmicos o profesionales designados por el organismo acreditador (en este caso, la CNAP), cuya idoneidad e independencia se encuentra debidamente garantizada a travs de los procedimientos de identificacin y designacin de pares de dicho organismo. Por ello, la evaluacin externa requiere contar con un grupo de evaluadores adecuadamente calificados. Para tal efecto, la Comisin Nacional de Acreditacin de Pregrado, a partir de las propuestas de sus Comits Tcnicos, ha elaborado un primer registro de expertos para cada carrera o rea de carreras en las que se ha iniciado el trabajo y desarrolla actividades de capacitacin de quienes actuarn como pares evaluadores. Una vez que la Comisin ha concordado con la institucin la fecha de entrega del informe de evaluacin, designa al Comit de Pares, con consulta a la institucin que ser visitada. Esta incluso puede objetar a alguno de los pares designados, indicando las razones que tiene para ello. El Comit de Pares est compuesto de tres o ms evaluadores, uno de los cuales lo preside por designacin de la CNAP. A este comit se agrega un profesional de la Secretara Tcnica de la Comisin, quien acta como secretario y ministro de fe (pero sin funciones evaluadoras).

Funciones del Comit de Pares : Evaluar el grado en que la carrera o programa se ajusta a los criterios y parmetros establecidos; Evaluar el grado de cumplimiento de los propsitos que la carrera o programa se ha definido; y, Validar el informe de autoevaluacin.
Manual de Pares Evaluadores / libro 1 / pgina 18

Los integrantes del Comit de Pares deben estar familiarizados con las normas de acreditacin establecidas por la Comisin y los patrones de evaluacin que se aplican a la carrera evaluada. Asimismo, deben analizar en detalle el informe de autoevaluacin, as como la documentacin complementaria presentada por la institucin. Durante la visita, el Comit de Pares sostiene entrevistas con los principales actores asociados a la carrera o programa. Puede tambin reunirse con directivos o administradores de la institucin a la que pertenece la carrera, cuando considere que ello es necesario para completar la informacin relevante para la evaluacin de la carrera. Al trmino de la visita, el Comit de Pares debe presentar a la CNAP un informe escrito, cuya redaccin integrada es responsabilidad del Presidente, pero que se construye con los aportes de cada uno de los evaluadores. El informe del Comit debe pronunciarse respecto de cada uno de los criterios, dejando claramente establecida su opinin en cuanto al grado en que la carrera satisface las exigencias planteadas. Asimismo, debe pronunciarse acerca de la calidad del proceso de autoevaluacin desarrollado por la institucin, considerando las pautas establecidas en el presente Manual. Por ltimo, debe hacer una recomendacin a la Comisin en cuanto al resultado global del proceso de acreditacin.

Etapa 3. La decisin de acreditacin

El proceso culmina con la decisin de la CNAP, que se adopta considerando los siguientes aspectos: Las conclusiones del Informe de Autoevaluacin; Las conclusiones del Comit de Pares con relacin al cumplimiento de los criterios y parmetros de evaluacin y al logro de las metas y objetivos institucionales; La opinin del Comit de Pares acerca del proceso de autoevaluacin seguido por la carrera;
Manual de Pares Evaluadores / libro 1 / pgina 19

 La recomendacin del Comit de Pares acerca del resultado global de acreditacin; El resultado de otros procesos de acreditacin, nacionales o extranjeros, a que se haya sometido la carrera o programa. La Comisin Nacional de Acreditacin de Pregrado podr emitir uno de los siguientes dictmenes: En caso de que la carrera cumpla satisfactoriamente con los criterios y parmetros, y con sus metas y objetivos, se declara la carrera acreditada por el plazo mximo de vigencia establecido; En caso de que la carrera no cumpla satisfactoriamente con algunos criterios, metas u objetivos, pero presente como resultado del proceso de autoevaluacin un plan razonable y realista para superar las deficiencias identificadas, se acredita provisoriamente por un plazo definido por la CNAP. La institucin, en ese plazo, debe presentar evidencia de que se encuentra desarrollando las medidas necesarias para responder satisfactoriamente a las observaciones formuladas, en cuyo caso se extiende un certificado de acreditacin por el plazo mximo de vigencia de la acreditacin. En caso de que no se obtenga una respuesta satisfactoria, se aplica la disposicin contenida en el siguiente punto; En caso de que la carrera no cumpla satisfactoriamente con alguno de los criterios y no presente un plan de mejoramiento considerado aceptable, o no cumpla satisfactoriamente con la mayora de los criterios o con sus metas y objetivos, no se acredita la carrera o programa. La institucin no podr presentar nuevamente la misma carrera a la acreditacin antes de transcurrido un plazo de dos aos.

Durante el perodo de vigencia de la acreditacin, la institucin debe informar acerca de cualquier cambio sustantivo en su organizacin o estructura.

Manual de Pares Evaluadores / libro 1 / pgina 20

Las decisiones de acreditacin de la CNAP adoptan la forma de un Acuerdo de Acreditacin. ste es un documento escueto pero sustantivo, de carcter pblico, que, junto a la decisin, informa a la comunidad acerca de las principales fortalezas y debilidades detectadas en la unidad acreditada, respaldando de este modo la decisin. Los acuerdos adoptados se encuentran en la pgina web de la Comisin (www.cnap.cl). Durante el perodo experimental, la CNAP ha acordado que slo difundir aquellos acuerdos que acrediten una carrera, ya sea total o parcialmente. En el caso de que su decisin fuera de no acreditar, slo se emitir un informe privado, dirigido a las autoridades de la carrera, cuyo objetivo es aportar los antecedentes necesarios para que la unidad pueda corregir las deficiencias observadas. Si bien el proceso de acreditacin concluye formalmente con el juicio de la Comisin, el aseguramiento de la calidad exige mantener el control y seguimiento de las acciones de mejoramiento que ha planificado. Esta etapa, a la que muchas veces no se presta suficiente atencin, es crtica, puesto que de ella depende que el proceso est efectivamente orientado al Planificacin mejoramiento concreto y permanente de la calidad. Por otra parte, es importante recordar que los procesos de Gestin de la autoevaluacin y acreditacalidad cin son cclicos y es preciso comprenderlos en un contexto de gestin: evaluacin, planif icacin, implemenImplementacin tacin de medidas, control y de medidas seguimiento y nuevamente, evaluacin y control de la calidad, como se muestra en la figura 2.
Manual de Pares Evaluadores / libro 1 / pgina 21

Figura 2

Evaluacin y control de la calidad

Control y seguimiento

Manual de Pares Evaluadores / libro 1 / pgina 22

SECCIN 2

Los pares evaluadores

n los procesos de acreditacin que conduce la CNAP, la visi ta de pares externos a una carrera que ha concluido su proceso de autoevaluacin es una etapa fundamental de la evaluacin. Como se indica en la seccin Evaluacin y Acreditacin, el proceso de autoevaluacin se encuentra incompleto si no ha sido validado por pares evaluadores externos. Los pares aportan una mirada externa y un juicio calificado; por su experiencia y trayectoria, constituyen un aporte sustantivo y complementario al proceso de evaluacin desarrollado al interior de la unidad.

Manual de Pares Evaluadores / libro 1 / pgina 23

En esta seccin se presenta a los potenciales pares evaluadores, cul es su papel en el proceso: quines son, para qu se los convoca y qu se espera de ellos.

Quines son los pares evaluadores

Los pares evaluadores son acadmicos y profesionales experimentados, que cuentan con reconocida autoridad como docentes, investigadores, profesionales o administradores. Han sido seleccionados por la Comisin, a travs de sus Comits Tcnicos, para integrar los equipos externos que evalan las carreras voluntariamente sometidas a la acreditacin. Los pares son quienes conducen la evaluacin externa de la carrera o programa. Para tal efecto, en primer lugar deben estudiar y analizar detenidamente el proceso de autoevaluacin y el informe preparado por la unidad y despus visitar y evaluar en terreno la carrera. Se les denomina pares pues se trata de personas que comparten entre ellos y con los profesionales, docentes y acadmicos que se desempean en la carrera, los cdigos propios de la disciplina o profesin, y por tanto estn familiarizados con el lenguaje y el estilo de la carrera. Pertenecen a la comunidad acadmica o profesional nacional o internacional y tienen una reconocida experiencia en materia de gestin y en el quehacer acadmico docente, equivalente a la desarrollada en la carrera en acreditacin. Su importancia para la acreditacin es clave, puesto que complementan los resultados del proceso de autoevaluacin, aportando a ste una opinin fundada, externa e independiente, acerca de la calidad de la carrera, que permite a la Comisin contar con una perspectiva ms completa al momento de adoptar el juicio correspondiente. Los pares se seleccionan de un registro pblico de evaluadores, que mantiene la CNAP. Esta, a partir de las propuestas de sus Comits Tcnicos, ha elaborado un primer registro de expertos para cada carrera o rea de carreras en las que se ha iniciado el trabajo.
Manual de Pares Evaluadores / libro 1 / pgina 24

Dicho registro considera, en trminos generales, las siguientes categoras: Especialidades o mbitos de formacin, de acuerdo a lo sealado por los Comits Tcnicos respectivos; Expertos provenientes del medio profesional; Expertos en gestin acadmica, no necesariamente ligados a la disciplina o profesin; Especialistas y expertos extranjeros, pertenecientes a una de las dos primeras categoras. La incorporacin al registro se hace por invitacin, completando una ficha con los principales antecedentes. Posteriormente, los especialistas que acepten la invitacin debern participar en talleres ad hoc, con el fin de familiarizarlos con los procedimientos de acreditacin de la CNAP y con los materiales que debern utilizar en su trabajo. El registro est disponible en las oficinas de la Comisin para su consulta por las instituciones de educacin superior y en el sitio web www.cnap.cl

Compromisos y responsabilidades de los pares evaluadores

La tarea de los pares evaluadores es compleja y delicada. Pertenecen a la disciplina o profesin que evalan, y en ese sentido, son cercanos a los miembros de la unidad que visitan. Pero al mismo tiempo, son externos a ella, y la visitan con el fin de verificar la validez del informe de autoevaluacin, lo que los pone ms bien en un rol evaluador, siempre difcil de asumir y sobre todo, de aceptar por parte de los evaluados. Para que sus conclusiones sean aceptadas y valoradas por la institucin visitada, es esencial que el Comit de Pares y cada uno de sus integrantes sea percibido como un acadmico o profesional comprometido con la tarea, capaz de darse el tiempo necesario para conocer la historia de la unidad o la carrera, de conocer los antecedentes
Manual de Pares Evaluadores / libro 1 / pgina 25

preparados durante el proceso de autoevaluacin y de actuar con respeto durante toda la visita y las acciones relacionadas con ella.

Compromisos que suscribe el par evaluador: a. Conocer y realizar todas las acciones contempladas en orden a alcanzar los objetivos del proceso de evaluacin; b. Estar dispuesto a aplicar y cumplir con los procedimientos y exigencias del proceso de acreditacin conducido por la Comisin; c. Conocer los patrones y criterios de evaluacin correspondientes.

La CNAP, por tanto, espera que los pares evaluadores se comprometan a: a) Conocer y realizar todas las acciones contempladas en orden a alcanzar los objetivos del proceso de evaluacin. Esto exige: Conocer el proceso de evaluacin definido y conducido por la CNAP, familiarizndose con las orientaciones generales, los criterios de evaluacin y los materiales disponibles; Estar dispuestos a participar en las instancias de entrenamiento o capacitacin que sean requeridas. Participar en todas las actividades establecidas para la preparacin y desarrollo de la visita; Estar dispuesto a formar parte de un equipo de trabajo que se constituye bajo la coordinacin del Presidente, cuando forme parte de un Comit de Pares; Mantener la confidencialidad de todo el material que reciba en relacin a la visita, as como de toda informacin que reciba en el curso de la misma; b) Estar dispuestos a aplicar y cumplir con los procedimientos y exigencias del proceso de acreditacin conducido por la Comisin. Lo anterior significa:
Manual de Pares Evaluadores / libro 1 / pgina 26

 Leer y estudiar detenidamente el informe de autoevaluacin y los antecedentes documentales presentados por la carrera; Aplicar los criterios de evaluacin de la CNAP, ya sean los correspondientes a carreras especficas o bien los criterios generales de evaluacin; Completar los formularios de preparacin de la visita y participar en la reunin preparatoria, contribuyendo a la formulacin del programa de la visita; Destinar a la visita el tiempo establecido en la programacin, participando en todas las actividades definidas por el Comit de Pares; Evaluar y validar el proceso de autoevaluacin desarrollado por la unidad que voluntariamente se ha sometido a la acreditacin, considerando las caractersticas que tuvo el proceso, la participacin de la comunidad, la pertinencia del diagnstico efectuado, las medidas inmediatas de mejora que se hayan aplicado, si fuera el caso, y las conclusiones y proyecciones de la carrera derivadas del diagnstico; Contribuir oportunamente a la elaboracin del informe escrito que se presentar a la CNAP, en la forma concordada por el Comit de Pares; c) Conocer los patrones y criterios de evaluacin correspondientes, lo cual requiere de un estudio acabado de stos, poniendo especial ciudado en cautelar durante la evaluacin el sentido que la Comisin y los Comits Tcnicos tuvieron en mente al acordarlos. Para tal efecto, es necesario estudiarlos tomando en consideracin los contenidos de la seccin 3 de este Manual.

Requisitos adicionales que debe cumplir el evaluador

Para poder integrar un comit de evaluacin externa, los pares evaluadores deben cumplir con los siguientes requisitos:
Manual de Pares Evaluadores / libro 1 / pgina 27

a) Haber participado en un taller de formacin para pares evaluadores de la Comisin o bien tener experiencia previa en procesos de evaluacin externa que satisfaga los requerimientos de la CNAP. b) No tener conflictos de inters, tales como vinculacin laboral o acadmica reciente con la institucin visitada o relaciones de parentesco cercana con directivos o acadmicos de la carrera o institucin. La CNAP espera que si un evaluador se encuentra en una situacin que potencialmente pudiera representar un conflicto de inters, lo haga saber a la Secretara Tcnica cuanto antes, con el fin de analizar su situacin y evaluar si es conveniente que participe en la visita o si es preferible asignarlo a otra carrera o programa. c) Tener, como norma general, a lo menos 10 aos de ejercicio profesional.

Composicin del Comit de Pares

El Comit de Pares es el equipo de acadmicos y profesionales designado por la Comisin para efectuar la evaluacin externa de una carrera o programa determinado. Durante la visita, el Comit de Pares debe cumplir las siguientes funciones: Evaluar y validar el proceso de autoevaluacin desarrollado por la unidad que voluntariamente se ha sometido a la acreditacin, considerando las caractersticas que tuvo el proceso, la participacin de la comunidad, la pertinencia del anlisis efectuado, las medidas inmediatas de mejora que se hayan aplicado, si fuera el caso, y las conclusiones y proyecciones de la carrera derivadas del diagnstico;

Manual de Pares Evaluadores / libro 1 / pgina 28

 Juzgar la calidad del informe de autoevaluacin, considerando si ste recoge adecuadamente el diagnstico que realiz la unidad y permite una evaluacin realista de la carrera; Evaluar si el informe puede ser utilizado por las autoridades directivas de la carrera como un instrumento para la gestin de la misma.

Para planificar una visita de evaluacin externa, la secretara tcnica de la CNAP, junto al Comit Tcnico correspondiente, identifica del registro, tres o cuatro posibles evaluadores externos. Los criterios para conformar un Comit de Pares son similares en las distintas carreras, aunque con algunas diferencias menores entre s. Se considera prioritariamente el perfil de la carrera en evaluacin, de tal modo que al menos uno de los evaluadores sea especialista en las reas de mayor importancia del programa de estudios de la carrera. Adems de considerar el perfil de la carrera, la secretara analiza la ubicacin geogrfica de la misma, la eventual existencia de sedes, la jornada en la que se dicta el programa, el nmero de alumnos, la conformacin del cuerpo directivo y docente, entre otros aspectos. La Comisin analiza la propuesta de la secretara, aprobndola o bien introducindole algunas modificaciones. Una vez aprobada, la secretara se pone en contacto con los evaluadores designados, invitndolos formalmente a participar en la visita. La designacin de los miembros de un Comit de Pares se efecta de acuerdo a las siguientes consideraciones: El Comit de Pares est constituido a lo menos por tres personas, una de las cuales debe ser designada Presidente; Como norma general se privilegia la participacin de, a lo menos, un evaluador extranjero en el Comit; Las caractersticas y orientaciones de la carrera deben tomarse en cuenta a travs de las especialidades de los integrantes del Comit de Pares;
Manual de Pares Evaluadores / libro 1 / pgina 29

 Las autoridades de la carrera que se visitar pueden opinar sobre el Comit de Pares propuesto, tanto en lo que se refiere a su conformacin como a la posibilidad de recusar alguno de los nombres propuestos, introduciendo cambios o ajustes. Los Comits de Pares cuentan adems con la participacin de un profesional de la Secretara Tcnica de la Comisin, quin desempea la funcin de ministro de fe de la visita y de Secretario del Comit. El profesional de la Secretara Tcnica que integra un Comit no es un par, ni est facultado para evaluar. Es responsabilidad de la CNAP designar a uno de los miembros del Comit como Presidente del mismo. El Presidente est encargado de coordinar el grupo, hablar en su representacin, y asumir algunas responsabilidades adicionales, segn se detalla ms adelante. Los miembros del Comit, en el cumplimiento de su labor, deben conducirse con profesionalismo y con pleno respeto a las siguientes exigencias ticas asociadas a su misin: Liberarse de prejuicios y de sesgos, antes de iniciar la evalucin; Esforzarse por comprender los principales aspectos relativos a la cultura, principios y estilos de la institucin visitada, de modo que sean stos los que proporcionen el marco de referencia de la evaluacin, y no las caractersticas de la institucin de origen o trabajo del evaluador; Respetar a los directivos, acadmicos y funcionarios de la carrera o programa que les corresponde evaluar. Emitir juicios exclusivamente sobre la base de los patrones de evaluacin definidos: los criterios y estndares de evaluacin y los propsitos definidos por la carrera; No emitir juicios acerca de personas individuales; Abstenerse de efectuar recomendaciones a la carrera; si esto ocurre, debe quedar claro que dichas recomendaciones slo se hacen a ttulo personal y no comprometen de manera alguna el juicio que posteriormente realice la CNAP;

Manual de Pares Evaluadores / libro 1 / pgina 30

 Abstenerse de adelantar juicios relativos a la decisin de acreditacin que la CNAP debe adoptar; Guardar reserva de todos los antecedentes relativos a la carrera e institucin que la Comisin les proporcione; Guardar reserva de los antecedentes que la carrera o algn miembro del grupo proporcione durante la visita. La obligacin de guardar reserva subsiste indefinidamente, an cuando una vez que es presentado el informe de la visita a la Comisin cesa la relacin entre sta y los pares, y entre stos y la institucin visitada; Devolver a la Secretara los documentos utilizados que tengan relacin con el proceso.

El Presidente del Comit de Pares evaluadores

La CNAP designa a uno de los pares nominados como Presidente del Comit. La presidencia es ocupada generalmente por el acadmico con mayor experiencia en el rea a que pertenece la carrera y en procesos evaluativos de este tipo. El Presidente, adems de cumplir con las condiciones y requisitos sealados ms arriba, tiene funciones especiales. Estas incluyen: Colaborar con la Secretara Tcnica en la organizacin del proceso de evaluacin externa y, en particular, de la visita de pares; Establecer una buena relacin de trabajo con los directivos superiores de la carrera y de la institucin; Cautelar el cumplimiento de los objetivos del proceso; Asignar funciones especficas al resto del Comit de Pares si es necesario; Monitorear el trabajo del Comit, ayudar a hacer ajustes, facilitar los consensos entre los pares y asegurar que el trabajo se mantenga ajustado a los objetivos de la visita y a los criterios de evaluacin definidos;

Manual de Pares Evaluadores / libro 1 / pgina 31

 Organizar con el resto del Comit de Pares el informe oral y el escrito; Emitir el informe oral de la visita ante las autoridades de la carrera; Redactar el informe escrito a partir de las conclusiones acordadas entre los miembros del Comit durante la visita e inmediatamente despus de ella; Preparar el informe escrito, trabajando con la Secretara Tcnica, y entregarlo dentro de los plazos establecidos.

Para los efectos de elaborar el informe escrito, cada miembro del Comit de Pares deber hacer llegar al Presidente su contribucin. Es responsabilidad del Presidente elaborar el informe del Comit, que una vez aprobado por los integrantes es enviado a la Comisin Nacional de Acreditacin de Pregrado en un plazo mximo de 30 das luego de finalizada la visita. Durante todo el proceso de evaluacin externa, el trabajo del Comit de Pares ser apoyado tcnicamente por el profesional de la CNAP que acompaa la visita en calidad de secretario del Comit. Las dudas sobre procedimientos, interpretacin de Criterios de Evaluacin, fuentes de informacin, y cualquier otra materia relacionada con la aplicacin del proceso, debern ser resueltas por el secretario del Comit, o en caso de necesidad, por la Secretara Tcnica de la CNAP.

Manual de Pares Evaluadores / libro 1 / pgina 32