BENCHMARKING EN EL MBITO EDUCATIVO A NIVEL INTERNACIONAL
ALVARO DIEGO AGUDELO ARREDONDO MARIA PAULINA PINO PALACIO
UNIVERSIDAD PONTIFICIA BOLIVARIANA POSTGRADOS EN INGENIERA ESPECIALIZACIN EN GESTIN DE LA INNOVACIN TECNOLGICA MEDELLIN 2013
IDENTIFICACIN Y COMPARACIN DE METODOLOGAS DE BENCHMARKING EN EL MBITO EDUCATIVO A NIVEL INTERNACIONAL
ALVARO DIEGO AGUDELO ARREDONDO MARIA PAULINA PINO PALACIO
Monografa
DIRECTOR Msc. Jhon Wilder Zartha Sossa
UNIVERSIDAD PONTIFICIA BOLIVARIANA POSTGRADOS EN INGENIERA ESPECIALIZACIN EN GESTIN DE LA INNOVACIN TECNOLGICA MEDELLIN 2013
Nota de aceptacin: _______________________________ _______________________________ _______________________________ _______________________________ _______________________________
_______________________________ Firma del presidente del jurado
_______________________________ Firma del jurado
_______________________________ Firma del jurado
Medelln, abril 6 de 2013
CONTENIDO
Pg.
INTRODUCCIN 0
1. MARCO TERICO 1
1.1 ORIGEN DEL MTODO BENCHMARKING 1
1.2 DEFINICIONES Y ETAPAS DEL BENCHMARKING 2
1.3 EL MTODO DE BENCHMARKING EN LA EDUCACIN 5
1.3.1 Tipos de benchmarking desde el punto de vista acadmico 7
2. CARACTERIZACIN DE METODOLOGAS 8
2.1 BENCHMARKING DE INGENIERA ELCTRICA EN FINLANDIA (Niiranen, 2006) 9
2.3 BENCHMARKING DE PREGRADO EN ECONOMA EN ESTADOS UNIDOS Y EUROPA (Monteiro & Lopes, 2005) 20
2.3.1 Metodologa 20
2.3.2 Herramientas 21
2.3.3 Conclusiones del ejercicio 22
2.4 BENCHMARKING DE INGENIERA INDUSTRIAL EN EL CONTINENTE AMERICANO 22
2.4.1 Metodologa 22
2.4.1.1 Diagnstico inicial 22
2.4.1.2 Diseo, aplicacin y anlisis de la encuesta 23
2.4.2 Conclusiones del ejercicio 24
3. COMPARACIN DE COMPONENTES Y PROPUESTA DE MODELO 25
3.1 PLANEACIN DEL BENCHMARKING 25
3.1.1 Objetivos del benchmarking educativo. 25
3.1.2 Seleccin de pares a comparar 25
3.1.3 Cantidad de pares a comparar 26
CONTENIDO
Pg.
3.1.4 Procesos, indicadores o actividades a comparar 27
3.1.5 Recopilacin de informacin 27
3.2 ANLISIS DEL BENCHMARKING 28
3.2.1 Mtodos de anlisis estadstico 28
3.2.2 Mtodo Delphi y evaluacin de tercera parte 28
4. CONCLUSIONES 31
BIBLIOGRAFA 35
LISTA DE TABLAS
Pg.
Tabla 1. Metodologa del Manual Australiano para Benchmarking. 16
LISTA DE FIGURAS
Pg.
Figura 1. Etapas del benchmarking segn Robert C. Camp. 4
INTRODUCCIN
La gestin y planeacin estratgica de la educacin superior no es un tema nuevo, a travs de los aos se ha avanzado sistemticamente en el mejoramiento continuo de los procesos, los programas y todas las actividades encaminadas al aseguramiento de la calidad; tambin se han desarrollado criterios de acreditacin a nivel internacional, lo que ha impulsado la competencia por la excelencia.
Gracias a este creciente inters por el mejoramiento, se han desarrollado tcnicas y herramientas de administracin y planeacin que permiten complementar el anlisis de las organizaciones. Es en este campo donde se encuentra el benchmarking, mtodo de comparacin que ha probado ser til en respuesta a las necesidades del mundo de los negocios, en el cual la competencia por el mercado impone la constante presin de conocimiento del estado actual y de las tendencias a nivel global.
Es as como el benchmarking es aprovechado como herramienta de gestin ms all de las organizaciones industriales y empieza a aplicarse en otros mbitos, en este caso, el educativo, en el cual el diagnstico por comparacin requiere de criterios especficos tanto de medicin como de anlisis para su aplicacin. Por lo tanto se hace necesaria una definicin del benchmarking ms especfica para dicho mbito, en la cual se tengan en cuenta todos aquellos criterios que permitan aplicar la herramienta de diagnstico de manera adecuada, para as obtener de ella los resultados esperados.
Por tal razn, esta monografa busca aprovechar la experiencia adquirida despus de la participacin en el proyecto denominado Diagnstico por comparacin (benchmarking) aplicado a programas de Ingeniera Industrial, realizado por el Grupo de Poltica y Gestin Tecnolgica de la Universidad Pontificia Bolivariana (UPB), en el marco del programa Ingeniera para las Amricas (EftA) de la Organizacin de Estados Americanos (OEA); donde se evidenci la necesidad de observar el panorama general de este tipo de ejercicios a nivel mundial, para encontrar tanto aquellos aspectos comunes, como las dificultades presentadas durante su realizacin, y as identificar una propuesta general de benchmarking aplicado a la educacin superior. Para tal efecto se analiz informacin secundaria de 3 ejercicios de benchmarking universitario alrededor del mundo, enfocndose en los elementos clave, o benchmarks, seleccionados como prioritarios para adelantar la comparacin. De
esta forma, contrastando dicha informacin con los componentes identificados en el ejercicio realizado por la Universidad Pontificia Bolivariana, se logr un compendio de buenas prcticas en cuanto a benchmarking universitario, que puede servir de complementacin y posible gua a ejercicios posteriores realizados no solo por la UPB sino por otras entidades educativas en cualquier parte del globo. Este ejercicio se centra especialmente en los resultados de estudios de benchmarking universitario para Ingeniera, identificando elementos tanto organizacionales como de infraestructura y medios, que puedan ser discernibles mediante una revisin de factores y resultados obtenidos en las experiencias de benchmarking por comparacin. A manera de resultado se presentan las principales conclusiones abstradas de la revisin, donde se condensan los elementos clave extractados, teniendo en cuenta que los documentos levantados mediante Vigilancia Documental presentan los resultados finales de cada estudio, sin mostrar los datos originales de las investigaciones, datos que hacen parte del historial de construccin del benchmarking, no de sus resultados. 1
1. MARCO TERICO
El mtodo de comparacin conocido como benchmarking tiene su origen en el mundo de los negocios, como una herramienta que permite evaluar la calidad de las compaas, en comparacin con otras. Dada su popularidad, ha sido definido por muchos autores y en variadas formas, por tal razn, a continuacin se presentan las definiciones que se consideran ms cercanas a su origen y a su aplicacin en el mbito de la educacin.
1.1 ORIGEN DEL MTODO BENCHMARKING
El benchmarking tiene su origen en los Estados Unidos, como herramienta de gestin empresarial durante la dcada de 1980, cuando la corporacin Xerox empez a verse vulnerable ante la intensa competencia, tanto a nivel local, como ante sus competidores japoneses. Su administracin haba ignorado la entrada de nuevos jugadores en su mercado, como Ricoh o Canon, los costos de operacin eran altos, por lo tanto sus productos tambin eran costosos en comparacin y su calidad era relativamente inferior.
Ante esta situacin, implement un programa llamado Leadership through quality (Liderazgo a travs de la calidad), el cual impuls a Xerox a encontrar formas de disminuir sus costos de produccin. Al compararse frente a sus competidores japoneses, pudieron determinar que les tomaba el doble del tiempo que su competencia el lanzar un producto al mercado, 5 ingenieros ms, 4 veces ms de cambios en diseo y 3 veces ms en costos de diseo. Al aceptar esta realidad, la compaa inici todo un plan de mejora, en el que incluy aquellos aspectos diferenciadores, aquellos que sobresalieron por ser mejores prcticas en todas las etapas que representa lanzar un producto al mercado, de esta experiencia, Xerox defini el benchmarking como: el proceso de medir los productos, servicios y prcticas frente a los competidores ms fuertes, identificando brechas y estableciendo metas. Nuestra meta es siempre alcanzar superioridad en calidad y costo y confianza de producto (Moore, 2008)
Con esta propuesta de modelo, ya a principios de la dcada de 1990, las grandes compaas de Estados Unidos haban implementado en alguna medida, un diagnstico por benchmarking, esperando obtener los beneficios que represent inicialmente para Xerox. Segn una investigacin realizada por el International 2
Benchmarking Clearinghouse, una divisin del American Productivity & Quality Center (APQC) (Bartol & David C., 1994), en 1994 ms de 30 empresas reportaron un retorno de aproximadamente $76 millones de dlares en el primer ao de implementacin de un benchmarking, entre estas compaas se cuentan empresas como Ford, IBM, Motorola, entre otras.
1.2 DEFINICIONES Y ETAPAS DEL BENCHMARKING
El benchmarking es, en general, la aplicacin de una metodologa para el levantamiento y anlisis de diferentes Benchmarks, los que, segn el International Network for Quality Assurance Agencies in Higher Education 1 (INQAAHE, 2004), corresponden a los puntos de referencia para algo que debe ser medido. Como se ha mencionado anteriormente, este mtodo tiene una gran variedad de definiciones, sin embargo, los principales autores en la materia coinciden en que es una herramienta til de comparacin, mejoramiento y definicin de mejores prcticas, as:
Segn Robert Camp (1993), quien fue el responsable de crear el programa de benchmarking en Xerox, es la bsqueda de las mejores prcticas de la industria que conducen a un desempeo excelente. Es el proceso sistemtico y continuo para evaluar los productos, servicios y procesos de trabajo de las organizaciones que son reconocidas como representantes de las mejores prcticas, con el propsito de realizar mejoras organizaciones. (Spendolini, 2005) Es el proceso continuo de medir productos, servicios y prcticas contra los competidores ms duros o aquellas compaas reconocidas como lderes en la industria. (David T. Kearns, director general de Xerox Corporation) Es la prctica de ser suficientemente humilde para admitir que alguien siempre puede ser mejor en algo y a la vez ser suficientemente sabio para aprender cmo competir y poder superarlo (American Productivity and Quality Center) Es el proceso formal y estructurado de bsqueda de aquellas prcticas que llevan a un excelente desempeo, la observacin y el intercambio de informacin sobre estas, su adaptacin para cumplir con las necesidades de la propia
1 INQAAHE 3
organizacin, y su implementacin en la mejora de las prcticas propias (Meade, 1998) Es una herramienta de excelencia para encontrar, adaptar e implementar prcticas extraordinarias en orden de lograr un desempeo superior. El benchmarking compromete medicin (el que) y las prcticas (el cmo). Adems nos muestra cun bien nos desempeamos, define cun buenos debemos ser (en una forma prctica), cmo lograr llegar all (una hoja de ruta) y debe estar vinculado a nuestra misin, visin y valores (Benc, 2003) Es un mtodo de comparacin y medida de procesos y resultados con los lderes reconocidos, con la intencin de mejorar el desempeo (ABEF, 2007) Es un proceso de mejora donde una organizacin es capaz de medir su desempeo contra otras organizaciones de mejor rango, para determinar cmo esas organizaciones lograron sus niveles de desempeo y de esta forma usar la informacin recopilada para mejorar su propio desempeo (ASQ, 2004) Es un proceso que habilita la comparacin de entradas y salidas entre instituciones (o parte de estas) o en una sola institucin a travs del tiempo (INQAAHE, 2004) Corresponde a un proceso de aprendizaje estructurado que hace que todos los involucrados en el proceso puedan comparar sus servicios / actividades / productos en orden de identificar sus fortalezas comparativas y debilidades, y aprender cmo mejorarlas. El benchmarking es una forma de encontrar y adoptar mejores prcticas (Jackson & Lund, 2004) Es una herramienta de auto mejoramiento para organizaciones, que permite su comparacin con otros, para identificar sus fortalezas comparativas y debilidades, y aprender cmo mejorar. Benchmarking es una forma de encontrar y adoptar mejores prcticas (ACU, 2010) Benchmarking es una herramienta de excelencia en los negocios, para encontrar, adaptar e implementar practicas extraordinarias en aras de lograr un desempeo superior. El benchmarking compromete la priorizacin de necesidades de mejoramiento estratgico (el por qu), medicin (el qu) y prcticas (el cmo). La constante medicin traza el mejoramiento del desempeo. Benchmarking no significa simplemente recolectar y comparar puntos de referencia u otras figuras de desempeo (p.e. la rotacin de personal o los das en saldo rojo). El desempeo es medido invariablemente de distintas formas por distintas organizaciones, y las figuras de desempeo por s solas no son un medio confiable de comparacin. Aun as, puede ser muy valioso el asociarse con otras organizaciones de manera regular para comparar figuras de desempeo y discutir 4
los mritos de prcticas y sistemas alternativos de administracin. (Benchmarking Partnerships, 2011)
Como se puede observar, los diferentes autores coinciden en que corresponde a un mtodo de comparacin y evaluacin, en el cual se reconocen las fortalezas y debilidades de una institucin cualquiera, en bsqueda del mejoramiento continuo. A partir de lo anterior, el benchmarking puede ser definido en 5 etapas: planeacin, anlisis, integracin, accin y maduracin (ver Error! No se encuentra el origen de la referencia.).
Figura 1. Etapas del benchmarking segn Robert C. Camp.
Estas 5 etapas se definieron en la aplicacin de un benchmarking competitivo a nivel de industria, en el cual el objetivo es comparar y alcanzar las mejores prcticas de los competidores, sin embargo, esta herramienta tambin puede verse desde el punto de vista colaborativo, en el cual el inters de todos los participantes es el mejoramiento, sin generar competencia, por el contrario, Planeacin Identificar qu se va a comparar Identificar organizaciones comparables Seleccionar el mtodo de recoleccin de informacin Anlisis Determinar las brechas con las mejores prcticas Definir el desempeo deseado Integracin Ajustar las metas al desempeo deseado Comunicar a la organizacin Accin Implementar planes de accin y realizarles seguimiento Implementar las mejores prcticas Evaluar la efectividad de la implementacin Maduracin Mejores prcticas integradas definitivamente a los procesos 5
aportando para el mejoramiento de la calidad; este nuevo enfoque no aplica para industrias que estn en constante lucha por una porcin de su mercado, pero, por ejemplo, en el mbito educativo, s puede aplicarse de esta manera, como se puede observar a continuacin, en lo que se puede describir como el benchmarking educativo.
1.3 EL MTODO DE BENCHMARKING EN LA EDUCACIN
Cuando se habla del mtodo de comparacin benchmarking, en el mbito educativo, es importante destacar el origen de su aplicacin y sus definiciones iniciales, que van ms all de conceptos como evaluacin o aseguramiento de la calidad, temas que han tomado gran relevancia en los ltimos aos, en cuanto a que se presenta a nivel mundial una tendencia, sobretodo en la educacin superior, a disear y mantener sistemas de acreditacin con los que se puedan mejorar los mecanismos de evaluacin de las instituciones.
Buscando dar un punto de referencia en cuanto a trminos y definiciones, tanto para la acreditacin en la educacin como el aseguramiento de la calidad, entre otros, en el ao 2007 el Centro Europeo para la Educacin Superior de la UNESCO (UNESCO-CEPES) public un glosario de trminos bsicos, en el cual se define el benchmarking como:
Mtodo estandarizado para recolectar y reportar informacin organizacional crtica, en una forma que permite comparaciones frente al desempeo de diferentes organizaciones o programas, usualmente con el fin de establecer buenas prcticas, diagnosticar problemas de desempeo e identificar fortalezas. El benchmarking provee a la organizacin (o al programa) las referencias externas y las mejores prcticas sobre las cuales puede basar su evaluacin y disear sus procesos. (Vlasceanu, 2007)
Para hacer un recuento del uso de la herramienta de diagnstico por comparacin en la educacin superior, es importante resaltar que su uso inici en la dcada de 1990 en los Estados Unidos, cuando la asociacin NACUBO (National Association of Colleges and University Business Officers), comenz un proyecto de benchmarking con nfasis estadstico y financiero entre sus miembros, que an se sigue aplicando y mediante el cual apoya a sus miembros con asesoras, software dedicado y bases de datos. Unos aos ms tarde, en el Reino Unido la asociacin ACU (The Association of Commonwealth Universities) tambin reconoci en ste mtodo una herramienta til para apoyar el aseguramiento de la calidad en la 6
educacin superior. A partir de all, el inters por este tipo de ejercicios fue incremental a nivel mundial y como se ver ms adelante, aun cuando su aplicacin y metodologa vara y no ha sido estandarizada, sus beneficios se ven reflejados en instituciones y programas educativos comprometidos con la calidad en la educacin.
Continuando con otros ejercicios de benchmarking universitario, el realizado por el extinto "Commonwealth Higher Education Management Service" 2 , es uno de los primeros en abordar la comparacin universitaria entre instituciones educativas de diferentes naciones angloparlantes como un medio de potenciar y mejorar sus programas. En este, se plantearon los 4 tipos principales de benchmarking a partir del ejercicio realizado por Alstete (1996), dicho autor clasifica los ejercicios basado en la voluntad de participacin y proactividad por parte de las instituciones, en el documento, se incluye adems un quinto elemento llamado benchmarking interno, que aparece como resultado de una revisin en las instituciones para recolectar datos que estas puedan comparar ms adelante con las dems.
Es as como la Universidad Pontificia Bolivariana (UPB) se vincula al programa Ingeniera para las Amricas (EftA), en el marco del Plan de Accin de Mxico 2008, y las lneas de accin de la Oficina de Ciencia, Tecnologa e Innovacin (OSTI) de la Organizacin de Estados Americanos (OEA) cuya iniciativa propende por el desarrollo de la excelencia en las Ingenieras buscando incrementar los beneficios socioeconmicos en Amrica Latina y el Caribe, la productividad y competitividad (CEE). Esta iniciativa busca la actualizacin de los programas de Ingeniera y la implementacin de tecnologas de avanzada, mtodos de enseanza y mejores prcticas para la mejora curricular. 3
Con este objetivo, se desarroll el proyecto denominado Diagnstico por comparacin (benchmarking) aplicado a programas de Ingeniera Industrial, con el cual se busc obtener informacin pertinente sobre los elementos comunes y diferenciadores de universidades de toda Amrica, como se ver ms adelante.
2 CHEMS (por sus siglas en ingles), inici en 1993 como parte de la mancomunidad para el apoyo de la educacin secundaria a travs del secretariado mancomunado, hasta el ao 2000; en el 2001 cambi a CHEMS Consulting, como organizacin consultora especializada. http://chemsconsulting.com/index.htm 3 Tomado de oficio enviado por Oscar Harasic de la OEA a Monseor Luis Fernando Rodrguez Velsquez, rector de la UPB, en Septiembre 5 de 2011. 7
1.3.1 Tipos de benchmarking desde el punto de vista acadmico. Como se mencion anteriormente, el glosario publicado por UNESCO-CEPES (Vlasceanu, 2007) y las definiciones aportadas por el Consortium for Excellence in Higher Education (2003) unifica de manera global los conceptos relacionados al benchmarking en la educacin y relaciona los diferentes tipos que existen, segn su objetivo, metodologa o voluntad de participacin, as:
Benchmarking interno: donde la comparacin se realiza entre diferentes departamentos, campus o sitios de una universidad, o centro de educacin especfico, para identificar cules son las mejores prcticas dentro de la institucin, sin acogerse necesariamente a uno u otro estndar con el cual comparar resultados. Jackson y Lund (2000) consideran que el benchmarking interno es un proceso utilizado, por lo general, en organizaciones descentralizadas donde los desempeos tienen procesos similares y pueden ser comparados entre distintas unidades, tales como diferentes campus o incluso franquicias.
Benchmarking competitivo (externo): corresponde a la comparacin del desempeo en reas clave en trminos cuantitativos, basada en informacin recolectada de instituciones que se consideran competidores. Busca medir funciones, procesos, actividades, productos o servicios comparndolos con los de sus competidores y de esta forma mejorar los propios de manera que sean, en el caso ideal, los mejores en su clase, o por lo menos, mejores que los de sus competidores (Finnigan, 1997). Es el mtodo de evaluacin comparativa ms ampliamente comprendido y aplicado; pero, tambin, es la forma de benchmarking, ms difcil de llevar a la prctica, porque las organizaciones de comparacin normalmente no estn dispuestas a compartir su informacin.
Benchmarking funcional (externo colaborativo): involucra comparaciones de procesos, de prcticas y de desempeo con instituciones similares, elegidas de un grupo an mayor de instituciones en el mismo campo, que no se consideran competidores directos. Se caracterizan por ser ejercicios abiertos y colaborativos. Por lo general son ejecutados por instituciones con lazos previos, oficinas centrales o consultores especializados
Benchmarking trans-institucional: comparacin entre mltiples instituciones, en bsqueda de nuevas e innovadoras prcticas.
8
Benchmarking externo "mejores de su tipo": mira entre mltiples industrias, entidades o instituciones en bsqueda de nuevas prcticas innovadoras, sin importar su fuente. Entre algunos especialistas esta aparece como el mejor tipo de benchmarking, puesto que decanta en mejoras en el desempeo de las instituciones. Aunque requiere de un gran esfuerzo para movilizar las diferentes participantes y para analizar la informacin en bsqueda de elementos que puedan aportar a las instituciones.
Benchmarking genrico: comparacin de instituciones en trminos de una prctica bsica en un proceso o servicio, con esto se puede comparar el nivel bsico de una actividad, con procesos en otras instituciones que realizan la misma actividad.
Benchmarking implcito: ocurre cuando agencias gubernamentales o agencias de fondos centrales buscan aplicar benchmarking a universidades
Benchmarking por procesos: va ms all de la comparacin de indicadores de desempeo convencionales y busca los procesos a travs de los cuales se consiguen los resultados.
9
2. LEVANTAMIENTO DE INFORMACIN
El levantamiento de la base documental necesaria para realizar la comparacin de benchmarkings universitarios, requiri de la utilizacin de tcnicas de rastreo e identificacin de informacin en internet comnmente aplicadas a la Vigilancia Tecnolgica, en su fase documental, debido precisamente al universo de ejercicios relacionados que se identificaron como posibles candidatos a anlisis, que podan abarcar empresas, productos, metodologas y dems elementos susceptibles de ser comparados.
La vigilancia tecnolgica podemos definirla como el procedimiento sistemtico de captura, anlisis y explotacin de informacin tiles para la toma de decisiones estratgicas de una empresa u organizacin. La vigilancia tecnolgica "consiste en realizar de forma sistemtica la captura, el anlisis, la difusin y la explotacin de las informaciones tcnicas tiles para la supervivencia y el crecimiento de la empresa. La vigilancia debe alertar sobre cualquier innovacin cientfica o tcnica susceptible de crear oportunidades o amenazas". (Escorsa, 2001a)
Para tomar decisiones no es suficiente tener la informacin adecuada, hay que evaluarla y analizarla para seleccionar aquella que es ms pertinente y presentarla de manera comprensible. No sirve de nada la obtencin de grandes cantidades de datos si luego no somos capaces de procesarlos para su uso. En este caso, fue necesario filtrar los resultados obtenidos, evitando aquellos que no dispusieran de la suficiente informacin como para realizar un anlisis comparativo de resultados, pero aun as, aprovechando las caractersticas de estos documentos para identificar nuevas fuentes de informacin que resultaran promisorias para el estudio.
Con el fin de identificar estos reportes se pusieron en prctica las siguientes estrategias:
Utilizacin de fuentes abiertas de informacin (White Information), donde se identifican los principales candidatos a revisin documental. Una estrecha observacin bibliogrfica, no slo de reportes como tal, sino tambin de notas de prensa y resmenes ejecutivos, que nos dieran luces sobre las fuentes primarias de informacin sobre benchmarking universitario. Investigacin bibliogrfica retrospectiva a travs de la interrogacin a bases de datos bibliogrficas tales como Springer, EBSCO y Scopus, entre otras. 10
Recopilacin y anlisis de resultados obtenidos para identificar de esta forma los ejercicios ms promisorios partiendo de criterios como: o Disponibilidad de acceso a la informacin. o Nivel de actualizacin. o Comparacin de carreras de pregrado. o Caractersticas geogrficas de la muestra (mundial, continental, regional, etc). Este ejercicio dej como resultado los documentos que se convertirn en el insumo principal para la identificacin de factores clave de comparacin entre ejercicios de benchmarking, estos son: Niiranen, H. (2006). Benchmarking project of the department of Electrical Engineering of Lappeenranta University of Technology. Lappeenranta University of Technology. McKinnon, K. R., Walker, S. H., & Davis, D. (2000). A manual for Australian Universities. Department of Education, Training and Youth Affairs. Monteiro, H., & Lopes, A. F. (2005). A Benchmarking of the Undergraduate Economics Major in Europe and in the United States. International Review of Economics Education. Stella, A., & Woodhouse, D. (2007). Benchmarking in Australian higher education: a thematic analysis of AUQA audit reports. Australian Universities Quality Agency. Jackson, N., & Lund, H. (2004). Benchmarking for Higher Education. Society for Research into Higher Education & Open University Press.
11
3. CARACTERIZACIN DE METODOLOGAS
Con el objeto de recopilar informacin acerca de ejercicios de benchmarking realizados en el mbito educativo a nivel internacional y con ellos tener un punto de partida para identificar metodologas comunes, dificultades presentadas y buenas prcticas en su aplicacin, se utilizaron los documentos identificados en el captulo anterior.
A continuacin se presenta una descripcin de cada benchmarking identificado, con la informacin disponible respecto a su objetivo, temporalidad, mbito de aplicacin, herramientas utilizadas y tipos de anlisis.
2.1 BENCHMARKING DE INGENIERA ELCTRICA EN FINLANDIA (Niiranen, 2006)
El objetivo del proyecto de benchmarking en ingeniera elctrica realizado por la universidad finlandesa Lappeenranta University of Technology LUT, fue encontrar las mejores prcticas posibles para los procesos usados en la enseanza de la ingeniera elctrica.
Fue realizado por Lappeenranta University of Technology LUT de Finlandia y en la comparacin participaron los departamentos de ingeniera elctrica de las universidades: Lappeenranta University of Technology (LUT) de Finlandia Technical University of Lodz (TUL) de Polonia Universit Claude Bernard Lyon 1 (UCLB) de Francia
2.1.1 Etapas de implementacin. Este ejercicio de benchmarking fue realizado en tres etapas, las cuales se describen a continuacin:
2.1.1.1 Benchmarking general. En esta etapa se reuni informacin de varias universidades europeas mediante la revisin de pginas web.
12
En total se compararon 52 universidades, la informacin consolidada incluy: duracin del programa, estructura de estudios, perfil educacional, especializaciones, internacionalizacin y campos de investigacin. Resultado principal de esta etapa: Se confirm la posibilidad de comparacin de la educacin y la investigacin del Departamento de Ingeniera elctrica de la LUT con otras universidades europeas. Sin embargo, siendo imposible comparar a fondo las 52 universidades, se encontraron puntos interesantes de comparacin con tres instituciones: Technical University of Lodz (TUL) de Polonia Technical University of Mnchen (TUM) de Alemania Royal Institute of Technology (KTH) de Suecia
Principales dificultades encontradas: La falta de guas recientes para realizar este tipo de estudios comparativos. Para un anlisis de este tipo en Europa se encuentra que algunas universidades solo presentan sus programas en los idiomas nativos, sin traduccin al ingls.
2.1.1.2 Benchmarking detallado. Para las tres universidades elegidas, se recopil informacin para realizar una comparacin especfica, concentrndose en las ramas de estudio o nfasis: matemticas, fsica, tecnologa de la informacin, electrnica. De esta comparacin se gener un reporte donde se resumen las diferencias y similitudes entre las universidades bajo observacin.
Sin embargo, dado que para elegir las universidades a comparar, adems de encontrar puntos en comn, es importante que stas estn igualmente interesadas en el mejoramiento continuo, definicin de buenas prcticas, similitudes y diferencias con el entorno, es decir, la eleccin de los participantes en la comparacin depende tanto de los hallazgos de la etapa preliminar del benchmarking, como de la voluntad e inters de stos en participar.
Por esta razn la LUT decidi enviar el reporte a las universidades elegidas, donde present los resultados de esta etapa y solicit la participacin en la etapa siguiente del benchmarking. Dicho documento fue enviado tambin a la Universit Claude Bernard Lyon 1 (UCBL). 13
A la propuesta de LUT respondieron las universidades TUL y UCBL, las cuales fueron finalmente las elegidas para continuar con la tercera etapa del benchmarking.
2.1.1.3 Benchmarking especfico. El principio bsico de la tercera etapa fue encontrar buenas prcticas para cada una de las universidades participantes, sin generar competencia entre ellas.
Para determinar las buenas prcticas se quiso evaluar todo el proceso de enseanza, incluyendo la opinin tanto de docentes como de estudiantes, dado que son los directamente involucrados en el proceso y por lo tanto, quienes tienen los criterios para evaluarlo. Cada uno de los participantes diligenci un cuestionario, cuyo posterior anlisis estuvo a cargo del equipo evaluador definido por LUT.
2.1.2 Metodologa. El proyecto de benchmarking para ingeniera elctrica se bas en aquellos mtodos que permitieran determinar las mejores prcticas, partiendo de un amplio rango de universidades hasta una comparacin especfica con otras dos universidades, sin dar a los participantes calificaciones en orden de superioridad.
Partiendo del concepto bsico del proceso de la educacin, se defini una herramienta de anlisis basada en el mtodo PHVA, dndole un orden secuencial a las relaciones entre cada funcin educacional, tales como planear el curso, dictar las clases y lograr el conocimiento bsico en el estudiante. Esta herramienta es til ya que apoya el aseguramiento de la calidad: mantener y mejorar la calidad del programa de ingeniera elctrica y mejorar la movilidad de los estudiantes y de los investigadores.
Por tal razn el benchmarking especfico se concentr en el sistema de calidad del programa, para recopilar informacin de autoevaluacin que pueda ser usada para auditar la enseanza de la ingeniera elctrica en Europa, con nfasis en tres aspectos: Mtodos de enseanza, evaluacin y retroalimentacin. Hbitos de estudio de los estudiantes y sus resultados, asesoras. Planeacin y desarrollo de la enseanza. 14
Las herramientas bsicas en este benchmarking fueron los cuestionarios y las reuniones posteriores de anlisis y organizacin de la informacin.
En cuanto a los cuestionarios, stos fueron cuidadosamente planeados, claros y sus preguntas eran en su mayora cerradas. stos fueron enviados a la lista de contactos de estudiantes y empleados previamente solicitada a las universidades participantes. Inicialmente se envi en formato PDF, con el fin de que conocieran y se familiarizaran con las preguntas antes del envo oficial del cuestionario.
Para obtener el mayor beneficio de dichos cuestionarios y sus respuestas, fue necesario organizar reuniones, tanto en cada universidad por separado, como con las tres universidades. Un punto importante a tener en cuenta por la universidad que convoc el benchmarking, en este caso LUT, fue asegurarse que todos los participantes vieran en este ejercicio las mismas ventajas y beneficios que los que ella podra obtener.
2.1.2.1 Cuestionarios. Segn los autores del ejercicio, en el mbito acadmico se pueden definir las formas de evaluar la enseanza en 3 categoras: Evaluacin de diagnstico: Parte de la evaluacin del nivel inicial del estudiante al empezar el proceso educativo. El objetivo es evaluar el aprendizaje, experiencias y expectativas. Evaluacin de la formacin: Provee informacin al docente y al estudiante acerca del proceso de acompaamiento. El objetivo es determinar fortalezas y debilidades en el proceso educativo. Evaluacin resumen: Evala los resultados al final del proceso de enseanza, expresa a qu nivel el estudiante ha logrado los objetivos educativos. Para el proyecto de benchmarking en ingeniera elctrica, el diseo de los cuestionarios se bas en la evaluacin de la formacin, aun cuando tambin se incluyeron preguntas de diagnstico y de resumen, el principal objetivo era definir el proceso formativo. Se disearon tres tipos de cuestionarios, uno para el personal docente, otro para los estudiantes de pregrado y maestra y uno ms para el personal administrativo. Cuestionario para el personal administrativo: Este cuestionario contena las preguntas relativas al pensum, planeacin de los mdulos de estudio, admisin de 15
estudiantes y asesora, contenidos del programa de ingeniera elctrica, docencia y aseguramiento de la calidad. Con este cuestionario se solicit la misma informacin que en los diseados para los estudiantes y docentes, ampliando los temas referentes a la administracin. Estos puntos de vista respecto a la administracin fueron comparados con las respuestas dadas por los estudiantes y profesores.
Cuestionario de opinin al personal docente y estudiantes: Este cuestionario contena preguntas relativas a: informacin personal, planeacin y organizacin del estudio, retroalimentacin y asesoras, motivacin y hbitos de estudio, historial y admisin de estudiantes. En la seccin de informacin personal no solicit la identidad de quien responde y solo fue usada con el propsito de categorizacin de las respuestas. Ambos cuestionarios para docentes y estudiantes fueron similares, se podan diferenciar al momento de analizar las respuestas.
2.1.3 Hallazgos. Los hallazgos fueron el resultado del anlisis de las respuestas a los cuestionarios. La informacin se examin partiendo del cuestionario para el personal administrativo. Con los resultados de los cuestionarios de opinin diligenciados por docentes y estudiantes, se reforz dicha informacin. Dichos hallazgos se presentaron bajo las siguientes categoras:
Experiencia de las facultades Personal y estudiantes Contenido del pensum Mtodos de enseanza Evaluacin estudiantil
A todas las facultades se les solicit diligenciar los cuestionarios administrativos y proveer una cantidad suficiente de contactos de profesores y estudiantes para reunir diferentes opiniones. El nmero de participantes requerido por cada universidad fue de aproximadamente 30 estudiantes y profesores. Sin embargo, el nmero de respuestas fue variable, para el caso de la UCBL las respuestas de profesores y estudiantes fue tan poca que no permiti dar conclusiones generales, por lo tanto, esta universidad slo fue comparada con la informacin de los cuestionarios del personal administrativo. 16
2.1.4 Conclusiones del ejercicio. Con este ejercicio, se pudo determinar una amplia variedad de diferencias y similitudes entre las facultades participantes, como en el pensum, en el cual se evidenci que se tienen las mismas materias bsicas; la similitud en los mtodos de enseanza, la diferencia en la utilizacin de ambientes basados en la web, entre muchos otros aspectos que fueron analizados a fondo.
Para recopilar la informacin se usaron cuestionarios, los cuales se podrn modificar y ajustar para cualquier otra facultad u otro tema a ser considerado en un benchmarking.
La distribucin inequitativa de la cantidad de respuestas afect el benchmarking, causando deficiencias en la informacin de contexto requerida. Por tal razn, para este caso se concluy que la cantidad de respuestas debe asegurarse desde el inicio del benchmarking, definiendo con anterioridad cuntas y quines sern las personas a encuestar, sin embargo, con estas medidas no se puede garantizar el nmero de respuestas que se recibirn.
Otro aspecto importante es el tiempo de respuesta del cuestionario, si no se determina una fecha lmite para su diligenciamiento, es posible que sea necesario contactar a los encuestados en repetidas ocasiones para obtener su respuesta, en el caso de este ejercicio se determin que un mes era el tiempo suficiente para los participantes.
De la experiencia de enviar tres cuestionarios diferentes, en este ejercicio se pudo evidenciar que las pequeas diferencias o uso de sinnimos puede cambiar las respuestas o influenciar al encuestado de formas diferentes, por lo tanto se concluy que puede ser preferible disear un solo cuestionario o hacer una revisin exhaustiva para que las preguntas y sus posibles respuestas sean comparables.
Este ejercicio mostr que cuando se tiene una gran cantidad de encuestados, es preferible usar preguntas cerradas de seleccin mltiple, sin embargo, es una deficiencia no tener ninguna pregunta abierta que permita opiniones generales. Esta deficiencia se puede superar si se realizan talleres y trabajos en grupo entre las universidades encuestadas despus del anlisis del cuestionario, con una participacin equitativa por parte de cada una de ellas. Es as como se logra 17
profundizar en los resultados del benchmarking y que cada uno de los participantes compruebe el beneficio resultante del ejercicio. Dado que la etapa de benchmarking especfico para este caso se realiz entre tres universidades, pero la participacin no fue equitativa, se concluy que un benchmarking que se realice entre dos universidades asegura an ms un ambiente de confidencialidad y apertura, permitiendo que la recoleccin de informacin sea ms productiva, adicionalmente, esto conducira a una relacin de cooperacin duradera.
El objetivo de este ejercicio desarrollado por el Departamento de Empleo, Educacin, Capacitacin y Asuntos Juveniles de Australia, es el de desarrollar un manual de benchmarking robusto y con las suficientes bases como para ser utilizado tanto por universidades australianas como a nivel internacional. Esto a travs de la identificacin de los aspectos ms importantes en la vida contempornea de las universidades, asumiendo la excelencia y el valor agregado como metas previstas por todas las universidades.
2.2.1 mbito de aplicacin. El ejercicio tiene en esencia tres potenciales usos, proveer a las directivas con herramientas para legitimar las tendencias de desempeo en las universidades y para iniciar actividades de auto mejora. En segundo lugar puede ser usado por grupos de universidades que quieren comparar su desempeo en una o varias reas cubiertas. Por ltimo, las universidades pueden utilizar este tipo de benchmarking para legitimar su posicin relativa con respecto a las dems. En general, dependiendo del uso requerido, se puede aplicar tanto a nivel internacional como nacional, comparando diferentes universidades como un todo o programas especficos de las mismas.
2.2.2 Metodologa. Este manual fue dividido inicialmente en las reas que se identificaron como relevantes para las universidades, luego para cada una de estas reas se present un elemento a evaluar, como se puede observar en la tabla 1:
18
Tabla 1. Metodologa del Manual Australiano para Benchmarking.
REA ELEMENTO Gobierno, planeacin y administracin Gobierno y liderazgo Planeacin universitaria Iniciativas de cambio estratgico Gestin del riesgo Clima organizacional Impacto externo Reputacin Competitividad Cualificacin del personal docente Servicio comunitario Finanzas e infraestructura fsica Liquidez Deuda externa Mantenimiento de instalaciones Infraestructura de TI Aprendizaje y docencia Planeacin de cursos Ambiente de aprendizaje Procesos de revisin acadmica Satisfaccin estudiantil Acompaamiento al estudiante Servicios administrativos para estudiantes Investigacin Apoyo a la industria Experiencia estudiantil en investigacin Ingresos por investigacin Publicaciones Biblioteca y servicios Contribuciones a la docencia y aprendizaje Soporte a la investigacin Internacionalizacin Estrategia Financiacin Conexiones internacionales Personal Planeacin estratgica del recurso humano Plan de ascensos
Basado en estas reas y sus respectivos elementos, el manual presenta el resultado de un benchmarking por cada elemento identificado, en un formato predefinido, el cual contiene los siguientes elementos bsicos: rea y elemento: identificadores esenciales del benchmarking 19
Tipo: identifica si el benchmarking es un indicador retrospectivo (indicador del desempeo anterior que podra continuar en el futuro), un indicador lder (indicador de las tendencias de desempeo presentes y futuras) o un indicador de aprendizaje (indicador de la tendencia al cambio). Importancia: descripcin del porqu el elemento es importante y debe ser evaluado Fuentes de informacin: lista fuentes existentes o por el contrario, fuentes donde la disponibilidad o correspondencia de la informacin no fue certera. Buena prctica: descripcin de una buena prctica identificada en el respectivo elemento. La intencin es definir las mejores prcticas observables, ms all de un ideal terico. Niveles: en esta seccin del benchmarking, el usuario del manual califica su propio desempeo en una escala de 1 a 5, donde 5 es la mejor prctica. Autoevaluacin: es un espacio para la universidad o institucin que usa el manual, hacer una autoevaluacin respecto al benchmarking presentado. Evaluacin de terceros: En este espacio puede diligenciar su calificacin aquella entidad de tercera parte (de haberla) que la universidad haya invitado para apoyar la evaluacin. Bajo estas definiciones el manual presenta 67 benchmarking, de los cuales las universidades pueden definir cules representan mejor sus intereses y compararse frente a stos.
2.2.3 Parmetros. En el desarrollo del manual y de cada uno de los benchmarking que presenta como herramientas para las universidades, se tuvieron en cuenta los siguientes parmetros: Procesos y resultados Generalmente, las universidades prefieren concentrarse ms en los procesos y no tanto en los resultados, para este manual se defini que los resultados tambin son importantes. Dichos resultados pueden ser tendencias de cambio o etapas de mejoramiento, as como tambin pueden ser calificaciones cuantitativas. Por esta razn, en el manual se presentan benchmarking de procesos slo cuando no es posible una medicin y comparacin directa de los resultados o cuando dichos benchmarking proveen una gua importante de mejoramiento en proceso.
Buenas prcticas 20
Para este manual, se defini usar el trmino buenas prcticas, ya que hay quienes sostienen que una mejor prctica es imposible de identificar. Para la mayora de los casos, el mayor nivel de una prctica identificado en el benchmarking ser la mejor prctica entre las universidades australianas. Mejoramiento continuo Dado que se espera que las universidades estn comprometidas con el mejoramiento continuo en temas como resultados de investigacin, cursos o marcos de actuacin organizacional, los benchmarking tienen en cuenta este parmetro de medicin.
Ajuste de las diferencias Teniendo en cuenta la diversidad en tamao, antigedad y otras caractersticas de las universidades, el manual trata de definir benchmarking que permita la comparacin, al describirlos en trminos de proporcin, por ejemplo, total de inversin en investigacin en proporcin a la cantidad de investigadores.
Sedes Muchas de las universidades cuentan con varias sedes, las cuales probablemente tienen diferentes niveles de evolucin y sus funciones tambin difieren. Por esta razn, en los benchmarking presentados en el manual, se especifica si el resultado se refiere a una sede especfica o a la universidad como un todo, con el fin de dar consistencia en la informacin.
Facultades o departamentos Los benchmarking que ofrece el manual tienen aplicacin a nivel de escuelas, facultades o universidades. Para reas como enseanza, aprendizaje o investigacin s debe hacerse la comparacin a nivel de escuelas o facultades.
Mtodos de medicin Las universidades tienen una bsqueda constante por la excelencia, por lo cual, los estndares cambian como consecuencia de una profundizacin y una mejora en las herramientas de medicin o, en los casos en que la medicin es indirecta, una mejora en las definiciones. Por tal razn, para el uso del manual, se debe tener en cuenta que siempre habr necesidad de una revisin continua los benchmarking para mejorar la informacin recolectada y la forma de recolectarla.
Validacin El desarrollo de un benchmarking implica que se deban hacer juicios respecto a qu medir y cmo debe ser medido. Por esta razn, cada benchmarking 21
presentado en el manual tiene una justificacin con la importancia de la respectiva rea en la evaluacin de una universidad.
Opinin de expertos Como se ha mencionado anteriormente, para llevar a cabo el benchmarking se debe decidir qu medir y cmo hacerlo, por esta razn para los benchmarking presentados en el manual fue necesario involucrar a las directivas de 33 de las 36 universidades pblicas en Australia, ms de 200 personas participaron.
2.2.4 Conclusiones del ejercicio. Cada benchmarking del manual presenta fuentes de datos que se encuentran disponibles al momento de su publicacin, sin embargo, durante la recoleccin y anlisis de stos se presentaron problemas que pueden ser resumidos en 3 tipos: La informacin no es comparable, debido a que los esquemas de reporte usados en cada Estado australiano son diferentes, incluso para la informacin financiera. Faltan instrumentos que puedan producir informacin comparable. Por ejemplo, las encuestas de opinin a estudiantes son realizadas en diferentes formas, aunque en ocasiones hay preguntas similares, en general, entre las universidades prefieren resaltar sus diferencias que sus puntos en comn. An las universidades no dimensionan los beneficios de tener informacin comn comparable. Aun cuando la calidad de la informacin estadstica acerca de las universidades australianas es buena, las mismas universidades no confan en ella y por lo tanto, dudan de su veracidad y de su utilidad para este tipo de ejercicios.
Durante la realizacin de los benchmarking se hizo evidente la necesidad de crear en Australia un ente independiente de las universidades y del gobierno, el cual pueda auditar como tercera parte, con autonoma e independencia la calidad acadmica. Esta entidad tendra funciones tales como: definir las categoras relevantes a evaluar, definir cmo debe ser recolectada e interpretada la informacin y ms importante an, darle un uso apropiado a la misma. Con todo esto, se garantizaran los aspectos ms relevantes del aseguramiento de la calidad acadmica, mediante revisin de los procesos acadmicos de manera rigurosa, sistemtica, objetiva y efectiva, todo con el nico fin de asegurar la ms alta calidad en la docencia y el aprendizaje. 22
El manual presenta 67 benchmarking en diferentes temas y categoras, con la intencin de cubrir todos los aspectos relevantes a ser monitoreados por las universidades, sin embargo, desde el aspecto prctico hay aspectos que pueden ser de ms inters para una universidad o facultad y por lo tanto deben priorizarse, aun as, sus autores enfatizan en la importancia de tener una visin amplia, tomando la totalidad de los benchmarking para no sesgar la evaluacin de los procesos.
Teniendo en cuenta que los benchmarking sern usados para evaluar internamente la universidad, el manual recomienda que no solo se mida el desempeo alcanzado en cada rea o tema, sino cmo la universidad puede mejorar ese aspecto. Para este fin, tambin recomienda que siempre se tenga en cuenta la opinin de un tercero independiente, que mantenga la imparcialidad.
Las universidades tienen el reto de mejorar aquellos aspectos que, con ayuda de la comparacin, encuentren por debajo del promedio, pero al mismo tiempo, deben descubrir aquellas reas en las cuales es necesario replantear la estrategia o aspectos relevantes de la administracin para mantener los niveles de calidad necesarios.
2.3 BENCHMARKING DE PREGRADO EN ECONOMA EN ESTADOS UNIDOS Y EUROPA (Monteiro & Lopes, 2005)
El objetivo de este ejercicio es comparar los programas de pregrado en economa y su estructura, para as identificar los cursos fundamentales, cules de ellos son electivos u obligatorios y determinar las principales diferencias entre los programas en Estados Unidos y Europa.
Histricamente las universidades norteamericanas han ocupado los primeros lugares en los ranking mundiales para educacin superior, en el caso del programa de economa han ocupado 18 de las primeras 20 posiciones. Por tal razn, para este ejercicio se tomaron los primeros 40 lugares, donde se encontraron 6 instituciones europeas.
2.3.1 Metodologa. Este ejercicio tena dos resultados esperados, el primero de ellos era identificar los principales cursos que constituyen el pregrado en 23
economa y el segundo, comparar la mejor prctica en Europa y en Estados Unidos en este aspecto.
En consecuencia, se estableci como criterio de calidad para elegir las instituciones que seran objeto de anlisis, el ranking de facultades de economa: Rankings of Academic Journals and Institutions realizado por Kalaitzidakis (2003),; dicho ranking est basado en la cantidad de artculos publicados y citados en las 30 principales revistas cientficas en economa.
Despus de seleccionar las mejores 20 universidades en cada regin (Europa y Estados Unidos), se analizaron los planes de estudio para el perodo 2004-2005. Esta informacin fue recopilada de las pginas web de las universidades. Como resultado se obtuvo una topologa de 118 cursos, con la cual se cubren todas las posibles opciones dadas a los estudiantes.
Para cada una de las regiones se recolect informacin en tres dimensiones bsicas: la existencia del curso, su obligatoriedad y el nmero de semestres requeridos. Para aquellas universidades que no presentan su programa en semestres, se hizo la conversin de los perodos requeridos a su equivalente semestral. En lugar de la duracin por semestres, se quiso optar por tomar el nmero de crditos, sin embargo, esta informacin no estaba disponible para todas las universidades y no era coherente, as que no permita su comparacin.
Al tener la informacin en las tres dimensiones mencionadas, se definieron cuatro variables para cada regin: Porcentaje promedio de universidades que ofrecen el curso Porcentaje promedio de universidades en las que el curso es obligatorio Promedio de semestres de duracin en aquellas universidades en que el curso es obligatorio. Promedio de semestres de duracin considerando todas las universidades.
2.3.2 Herramientas. Con esta agrupacin se logr una distribucin homognea que permiti? determinar qu cursos son esenciales en las mejores universidades. Se realiz un anlisis clster 4 , dando menos margen para la subjetividad en la agrupacin y con esto dar soporte a los resultados. Utilizando SPSS (software estadstico de aplicacin en las ciencias sociales), no solo se realiz un anlisis clster (para toda la informacin), sino que tambin se realiz un anlisis clster
4 Mtodo jerrquico para la agrupacin de datos en conjuntos homogneos 24
parcial para cada regin y cada dimensin, para explorar completamente sus diferencias.
2.3.3. Conclusiones del ejercicio. Los resultados de este benchmarking, con el uso del mtodo estadstico conocido como anlisis clster mostraron claramente los principales cursos incluidos en los departamentos de economa de las principales universidades en Europa y Estados Unidos. Posteriormente, fue posible distinguir aquellos obligatorios de aquellos que usualmente se ofrecen como electivas.
Ms all de una muestra al azar de programas de pregrado en economa, con este ejercicio se quiso investigar la estructura curricular en las universidades lderes, las ms prestigiosas, esperando con esto que los resultados pudieran proveer una gua para una reestructuracin, especialmente en Europa, cuyas universidades no sobresalan en el mbito mundial al momento de realizar el ejercicio.
Este benchmarking tiene como un punto en contra el haber tomado como base rankings de universidades en el mbito investigativo y no las mejores en la calidad de la docencia, sin embargo, sus autores sostienen que no conocieron este tipo de ranking a nivel mundial al momento de realizar el ejercicio.
2.4 BENCHMARKING DE INGENIERA INDUSTRIAL EN EL CONTINENTE AMERICANO
El objetivo principal del anlisis comparativo de los programas de pregrado de Ingeniera Industrial en algunos pases miembros de la Organizacin de Estados Americanos (OEA) fue identificar las mejores prcticas y promover la cooperacin entre las escuelas de ingeniera del continente, este ejercicio fue realizado por el Grupo de Poltica y Gestin Tecnolgica de la Universidad Pontificia Bolivariana y la Oficina de Ciencia, Tecnologa e Innovacin (OSTI) de la Organizacin de Estados Americanos (OEA), en su programa Ingeniera para las Amricas (EftA) .
2.4.1 Metodologa. Este ejercicio fue realizado en dos etapas principales, como se describe a continuacin:
25
2.4.1.1 Diagnstico inicial. Como primer paso, se eligieron, bajo tres criterios principales, 19 programas de ingeniera industrial de 10 pases del continente as: 8 universidades y programas de pregrado en Ingeniera Industrial de Norte Amrica, 4 de Amrica Central y del Caribe y 7 de Amrica del Sur. Dichos criterios de seleccin fueron:
Ser universidades con buen ranking a nivel nacional. Universidades con quienes la OEA vena desarrollando otros programas de inters comn. En el caso de las universidades de Estados Unidos, tambin se tuvo en cuenta que tuvieran la acreditacin ABET (Best U.S. News Rankings: industrial/manufacturing ranking).
Para cada uno de los 19 programas se consolid informacin preliminar obtenida de las pginas web de cada universidad. Esta informacin preliminar incluy: resea histrica, duracin del programa, estructura curricular, propsito de formacin, perfil profesional y ocupacional, internacionalizacin, entre otros.
2.4.1.2 Diseo, aplicacin y anlisis de la encuesta. La encuesta realizada se dise con 39 preguntas, tanto cerradas de seleccin mltiple, como preguntas abiertas para diligenciamiento de opiniones o de cifras; enfocadas en diferentes lineamientos para medir la calidad de programas que sugieren algunas entidades acreditadoras. sta se dividi en 9 secciones principales as: Informacin general Aspectos especficos del plan de estudios Flexibilidad y multidisciplinariedad del plan de estudios Mtodos y estrategias de enseanza Internacionalizacin del programa Infraestructura institucional Relacin con el entorno Mujeres en la ingeniera Desercin en la ingeniera
Esta encuesta fue enviada a los jefes del departamento de ingeniera o directores de carrera, dejando a su consideracin el conocedor del proceso que deba responderla. De los 19 programas encuestados, solo 2 no la contestaron.
26
Despus de recibir las respuestas, se realiz un anlisis estadstico teniendo en cuenta las siguientes tcnicas: Anlisis descriptivo. Estimacin de modelos lineales generalizados. Estimacin de Anlisis de componentes principales. Anlisis de Clster. Anlisis de Medias.
2.4.2 Conclusiones del ejercicio. Dada la cantidad de universidades (17), la cantidad de preguntas de la encuesta (39) y de mtodos estadsticos utilizados (5), se obtuvo una matriz muy amplia de posibilidades de combinacin, comparacin y anlisis, lo cual puede ser positivo si se dispone de suficiente tiempo y recursos para explorar todas las opciones, sin embargo, su presentacin y posterior aplicacin se pueden dificultar, por tal razn, es primordial definir dentro de los objetivos del ejercicio los parmetros esperados, para evitar el reproceso de la informacin y la inversin excesiva de tiempo y recursos cuando stos son limitados.
En cuanto a la fase preliminar de recoleccin de informacin en Internet, de este ejercicio se puede resaltar la importancia de determinar la comparabilidad entre los participantes y principalmente estandarizar la forma de presentacin de la informacin, con esto se garantiza su posterior anlisis y se sintetizan ms fcilmente los aspectos a encuestar posteriormente.
Para este benchmarking se tenan claramente definidos los tres criterios para la eleccin de los participantes, de esto se puede concluir que para este tipo de ejercicios no tiene que existir un criterio nico (como el listado en un ranking sea nacional o internacional), lo importante es que la eleccin de las universidades, instituciones o programas participantes corresponda con el inters final de quien lo realiza.
El diseo de la encuesta es un punto crtico para el xito del diagnstico por comparacin, se deben tener en cuenta aspectos como la redaccin clara, la total equivalencia de trminos cuando se utilicen dos idiomas o ms, la cantidad de preguntas y de stas, cuntas deben ser preguntas abiertas o de opinin. Una vez sea enviada, se debe disponer de canales de comunicacin que permitan al encuestado aclarar cualquier inquietud durante su diligenciamiento para as obtener informacin confiable.
El complementar los resultados con otros mtodos que permitan ampliar el anlisis ms all del diagnstico actual y darle una proyeccin de tendencias o prospectiva, tal como la metodologa DELPHI, enriquece el ejercicio tanto para todas las partes interesadas como para el sistema educativo en general.
27
3. COMPARACIN DE COMPONENTES Y PROPUESTA DE MODELO
Al analizar los ejercicios de benchmarking en sus diferentes aspectos, se pueden encontrar componentes operacionales y de implementacin que permiten destacar los beneficios, identificar las dificultades y determinar una posible metodologa generalizada para las instituciones de educacin superior que deseen implementarlos, por tal razn, a continuacin se destacan los componentes similares en los cuatro ejercicios presentados anteriormente, teniendo en cuenta, que por definicin como herramienta de gestin el benchmarking tiene 5 etapas (planeacin, anlisis, integracin, accin y maduracin), pero para efectos del presente documento, se analizarn las dos primeras etapas de planeacin y anlisis.
3.1 PLANEACIN DEL BENCHMARKING
3.1.1 Objetivos del benchmarking educativo. Partiendo de la definicin y propsito mismo del benchmarking, en cualquier mbito que ste sea aplicado, se debe iniciar por la etapa de planeacin, en la cual los objetivos y resultados esperados deben estar claros y siempre deben estar enfocados al mejoramiento ya sea de la calidad, de los procesos, etc.
Este aspecto se puede evidenciar claramente en los 4 ejercicios analizados, en los cuales, el principal objetivo es el de identificar las mejores prcticas en la enseanza, lo que en consecuencia, permite posteriormente legitimar las tendencias de desempeo de las universidades y determinar su posicin relativa con respecto a las dems, en otras palabras, captar la realidad de las instituciones y del sistema educativo en general, sin limitarse a conocer, diagnosticar y comparar, sino mejorar todos aquellos aspectos que redunden en la calidad en la educacin.
3.1.2 Seleccin de pares a comparar. Continuando con la etapa inicial del benchmarking, la planeacin, se observa que la seleccin de qu y cmo comparar es crtica y esencial para el resultado esperado en el ejercicio de diagnstico por comparacin en el mbito educativo, ya que a diferencia del mbito industrial y empresarial, la diversidad de factores que involucra el proceso 28
educativo hace ms difcil la determinacin de puntos comunes o indicadores medibles y comparables.
Como se puede observar en los 4 ejercicios analizados, cobra gran relevancia que las universidades se encuentren dentro de los rankings, ya sea nacionales o internacionales, para ser consideradas para una comparacin. Esto en un principio puede parecer obvio, pero ante la existencia en el medio de tantas y tan variadas formas de medicin, la decisin de qu instituciones se compararn debe partir de razones concretas y bien fundamentadas desde el inters y objetivo mismo del benchmarking a realizar para as determinar los indicadores medibles y comparables. Se hace nfasis en este punto, porque pueden existir en el medio, rankings que slo tengan intereses comerciales o publicitarios y que sus fuentes no sean completamente confiables y esto dara una base poco slida para iniciar la comparacin.
Sin embargo, tambin pueden existir intereses puntuales y particulares de comparacin con ciertas universidades, lo cual no le resta validez al ejercicio, como en el ejemplo visto en Australia, en el cual se quiso incluir a la totalidad de las universidades pblicas o en el ejercicio de ingeniera industrial, en el cual la OEA deseaba dar continuidad a otros proyectos paralelos al benchmarking en s.
Aun cuando la singularidad de cada ejercicio y lo que se espera de ste determinan los objetivos y resultados esperados, con los 4 ejemplos analizados se puede resaltar en general la importancia de realizar las comparaciones ms all del mbito local, ya que la verdadera competencia y el mejoramiento continuo en la actualidad, deben partir del estado del arte a nivel internacional.
3.1.3 Cantidad de pares a comparar. Ahora bien, aun cuando los criterios de con quin se quiere comparar estn claros, el siguiente factor a tener en cuenta es la cantidad. No es posible determinar la cantidad ideal de instituciones a comparar, ya que como se ha observado, depende de muchas variables, como la informacin disponible y la disposicin a participar, pero por el manejo de la informacin y la permanente retroalimentacin necesaria entre los participantes, se podra decir que comparar y analizar ms de 15 instituciones o programas implica una inversin de tiempo y recursos que complica en alto grado el ejercicio.
En este aspecto, se puede observar que lo ideal ser realizar una primera seleccin con la informacin disponible en la web y luego depurar la cantidad de 29
participantes para que se logre el objetivo esperado, contando siempre con la disposicin a participar.
3.1.4 Procesos, indicadores o actividades a comparar. En este aspecto existen 2 variables a tener en cuenta: qu procesos se desean comparar y si stos son medibles y comparables. Por su relevancia en el proceso educativo, la opcin ms comn ser evaluar qu, para qu y cmo se ensea: el plan de estudios, el nmero de crditos, mtodos de enseanza, son las variables en que las instituciones de educacin superior concentran sus esfuerzos por la calidad. Sin embargo, existen otros procesos e indicadores que aun cuando pueden ser un poco ms complejos en su medicin y comparabilidad, pueden tener calificaciones cuantitativas o representar tendencias de cambio importantes, entre estos se encuentran por ejemplo: infraestructura de la institucin, gestin del talento humano, gestin del riesgo, finanzas. Tales aspectos complementan ms all de lo bsico, el benchmarking entre instituciones de educacin superior.
3.1.5 Recopilacin de informacin. En los ltimos aos, cuando la principal fuente de informacin es la Internet (se refiere a la red), se esperara que una bsqueda exhaustiva a travs de la web y de las bases de datos dedicadas, dara suficiente informacin para llevar a cabo un benchmarking, sin embargo, la misma democratizacin de esta informacin le resta un poco de confiabilidad y a esto se debe adicionar que no todas las instituciones ponen a disposicin del pblico los datos que se requieren.
Ante esta situacin, cobra importancia una de las herramientas que se describen en la caracterizacin de los ejercicios, como es el uso de cuestionarios especficos, con aquella informacin que se desea recolectar, con esto se asegura un resultado ms confiable al analizar los datos, ya que proceden directamente de la fuente de consulta.
El diseo de dichos cuestionarios es uno de las etapas claves para lograr los resultados esperados en el benchmarking, qu se pregunta y cmo se pregunta es primordial, ya que todo depende de las respuestas obtenidas. Se debe ser claro y conciso en las preguntas abiertas, para dar la oportunidad al encuestado de expresar su opinin pero siempre dentro de los parmetros de comparabilidad, y para las preguntas cerradas, tambin debe haber claridad en los trminos y opciones de respuesta, no debe existir ambigedad en el vocabulario, lo cual 30
garantizar una informacin lo suficientemente confiable para obtener las conclusiones esperadas.
3.2 ANLISIS DEL BENCHMARKING
3.2.1 Mtodos de anlisis estadstico. Una vez recopilada la informacin, la eleccin del mtodo de anlisis estadstico depende en gran parte de cmo se definieron los objetivos y resultados esperados, ya que cada tcnica definir una presentacin y permitir un anlisis diferente.
Un punto diferenciador en este aspecto lo presenta el ejercicio realizado en Australia, en el cual no se detalla cmo se recopil y analiz la informacin, pero s pone a disposicin el compilado de sus resultados y se presenta como punto de partida para que cualquier institucin se compare frente a stos. Esta metodologa aporta un nuevo aspecto al ejercicio de comparacin, ya que lo generaliza y lo deja disponible para cualquier institucin aproveche sus ventajas sin la inversin de recursos que representa iniciar un benchmarking desde cero.
El ejercicio ms completo desde el punto de vista del anlisis estadstico, es el de ingeniera industrial, el cual, por la cantidad de participantes y por la extensin de la encuesta, presenta mltiples opciones de combinacin, anlisis y presentacin de resultados, como se puede observar a continuacin: Anlisis descriptivo. En el anlisis estadstico descriptivo se visualizaron posibles tendencias entre las universidades evaluadas, aclarando que a pesar de que no constituyen una muestra representativa, se presentan comparaciones de cada variable estudiada por regiones y en conjunto. Anlisis de componentes principales. Inicialmente se usaron modelos lineales generalizados (regresin de Poisson y regresin logstica) para estimar scores, este insumo se us para hallar las causas de la variabilidad del conjunto de datos y ordenarlas por importancia. Anlisis de Clster. Con esta tcnica se pudieron mostrar las observaciones ms similares, en este caso, las universidades segn la temtica con las variables relativas a sta. Anlisis de medias. Con este mtodo se hizo una comparacin entre las medias de los datos para identificar las diferencias significativas entre ellos y compararlos por agrupadores a travs de intervalos de confianza.
31
3.2.2 Mtodo Delphi y evaluacin de tercera parte. Despus de obtener la informacin y resultados estadsticos, queda la opcin de dar por terminado el ejercicio y obtener las conclusiones de sus resultados. Sin embargo, como puede observarse de la experiencia, hay opciones adicionales que permiten darle robustez y confiabilidad a la informacin estadstica, ms an cuando las conclusiones esperadas determinarn las mejores prcticas y direccionarn la planeacin estratgica de las instituciones.
Dicha profundizacin y aclaracin de inquietudes puede hacerse con simples talleres de retroalimentacin, en la que los participantes del benchmarking unifican criterios y adicionalmente comprueban los beneficios resultantes del ejercicio. Como valor agregado, las instituciones tambin pueden optar por solicitar la participacin de entidades o individuos de tercera parte, los cuales aportan independencia y valoraciones imparciales, lo cual permite ampliar el anlisis y la posterior implementacin de los planes de accin resultantes del benchmarking.
Un paso adicional, cuyo aporte principal es la priorizacin de aquellos aspectos, tendencias, temticas que fueron identificadas durante el ejercicio, es el uso de la metodologa DELPHI, la cual se clasifica como uno de los mtodos generales de prospectiva, en el que se consulta un grupo de expertos para buscar acercarse al consenso con base en el anlisis de la informacin, como se hizo en el caso del benchmarking en ingeniera industrial.
32
4. CONCLUSIONES
El ejercicio de benchmarking no corresponde a una receta de aplicacin nica con una serie de pasos y procesos a seguir a travs de una estructura fija, segn lo analizado, cada institucin puede establecer su propia hoja de ruta dependiendo de los benchmark, o elementos de comparacin que sean identificados de inters. Los ejercicios anteriores proveen de un marco de referencia sobre el cual se pueden estructurar nuevas experiencias de comparacin, al hacer gestin del conocimiento adquirido por otras instituciones, se potencializan los resultados arrojados por la herramienta, adems de aprovechar esfuerzos previos.
El benchmarking como mtodo de comparacin: Para que un ejercicio de benchmarking tenga los resultados esperados, no basta con seguir las etapas sugeridas, adicionalmente se deben tener en consideracin aspectos bsicos de la organizacin y del entorno, que son claves para obtener los beneficios que una comparacin puede ofrecer, como el conocimiento a profundidad del proceso a evaluar, el nfasis en las mejores prcticas, el compromiso de la organizacin, su adaptabilidad y adecuada disposicin al cambio.
El benchmarking para mejoramiento continuo: En el mbito empresarial las tcnicas de benchmarking han logrado abstraer metodologas y procesos de industrias dismiles para ser aplicadas en otras donde nunca se hubiera pensado posible, de manera similar; ha logrado que empresas de todo tipo identifiquen sus fortalezas y debilidades ante una competencia cada vez ms aguerrida en mercados en expansin. As mismo, las organizaciones educativas han identificado en el benchmarking una oportunidad de crecimiento mediante la colaboracin interinstitucional, compartiendo sus fortalezas e incrementando la calidad de los sistemas formativos.
El benchmarking como proceso de descubrimiento: No es posible determinar totalmente el grado de xito de un mtodo o proceso si este no es comparado con otros, pero esta comparacin no solo se resume a resultados especficos sino a elementos internos que pueden modificar caractersticas propias de los sistemas en s. Al identificar elementos de comparacin, y aplicar metodologas especializadas en la recoleccin y anlisis de datos, las instituciones, ya sean educativas o empresariales, pueden obtener como resultado una serie de pasos a seguir para incrementar su competitividad. En la cobertura 33
que se le d a este tipo de revisiones, estar el nivel al que posicionar la organizacin, de esta manera, si se realiza un benchmarking local o regional, las soluciones encontradas propendern por mejorar las condiciones locales o regionales de la institucin, ms cuando se aplica una revisin en un mbito ms amplio, ya sea internacional o con instituciones de otros ramos productivos, se logra apropiar una mayor cantidad de informacin que redundar en mejoras ms all de lo local.
An ms importante que identificacin de componentes a comparar, es necesario que stos s sean medibles y comparables. Es por esto que al elegir los procesos o actividades a comparar, se debe buscar la mayor cantidad de caractersticas que permitan ser contrastadas, es as como la distribucin de sexos, pluralidad idiomtica, nivel de ingresos y origen de las personas, se debe contrastar con las capacidades locativas, ubicacin geogrfica, herramientas tecnolgicas, etc. De esta forma, de una manera cooperativa, las instituciones crecen con la experiencia de las dems, aplicando cambios a partir de su interpretacin de los resultados y enfatizando en el mejoramiento continuo.
La inversin de tiempo y recursos en un proyecto de benchmarking es un aspecto muy relevante durante su planeacin, ya que la preparacin, recopilacin de informacin, anlisis y publicacin de resultados es un proceso largo y complejo an si se tiene personal capacitado asignado a cada actividad, se requerir una variedad de competencias y conocimientos especficos, adicional a los recursos informticos, bibliogrficos y de comunicaciones que se deben tener disponibles para cumplir con los cronogramas establecidos.
Si se planea realizar un ejercicio de benchmarking a nivel internacional o incluso, a nivel nacional, es importante establecer contactos previos con las instituciones que se desea que participen, en los cuales se ponga en conocimiento los objetivos, beneficios y resultados esperados de la participacin, con esto se garantiza en parte una respuesta ms gil, adems de la informacin confiable que requiere el proyecto. Adicionalmente se deben dejar claras las responsabilidades y tareas posteriores que se pueden derivar de la participacin en el benchmarking y de ser el caso, solicitar la asignacin de las personas especficas que sern el contacto durante la realizacin del ejercicio.
Para que un ejercicio de benchmarking se realice en su totalidad, despus de las etapas de planeacin y anlisis, cada institucin participante que desee 34
integrar e implementar las mejores prcticas identificadas, debe disponer de los resultados de forma totalmente comprensible y objetiva, en este punto, la entidad o institucin que convoc el ejercicio debe poner toda la atencin, para que aun existiendo barreras de lenguaje o geogrficas, todos los participantes obtengan el beneficio esperado ms all del diagnstico inicial.
La herramienta principal del benchmarking es el cuestionario o encuesta, es el eje central alrededor del cual se recopila la informacin, por tal razn de su diseo depende en gran parte el resultado final del proyecto, se debe prestar especial atencin tanto en el lenguaje utilizado, que evite ambigedades o interpretacin de quien responde, en las opciones claramente presentadas en las preguntas cerradas; que las preguntas abiertas no dirijan de ninguna manera la respuesta y que a pesar del idioma, su interpretacin sea la misma para todos los participantes. Adicionalmente se debe planear cuidadosamente la extensin del cuestionario y la forma de enviarlo y de responderlo. Para este tipo de ejercicios, el uso de las tecnologas de informacin es de gran utilidad.
De estas experiencias se puede concluir que la utilizacin del benchmarking en el mbito educativo puede traer muchos beneficios al sistema de la calidad, ms all del diagnstico, permite el cambio de paradigmas, al exponer a los participantes a mejores y diferentes prcticas, lo cual impulsa la cultura del cambio y del aprendizaje continuo, adicionalmente posibilita pasar de la competencia a la cooperacin, sensibiliza a las instituciones de la prospectiva del sistema educativo, con un mayor entendimiento del entorno y de la posicin propia frente a este.
35
36
BIBLIOGRAFA
ABEF. (31 de Marzo de 2007). Australian Business Excellence Framework. Recuperado el Octubre de 2012, de SAI Global: http://www.saiglobal.com/Improve/ExcellenceModels/BusinessExcellenceFramewo rk/ ACODE. (Junio de 2007). Australasian Council on Open, Distance and E-learning. Obtenido de Benchmarks for e-learning in universities and guidelines for use: http://www.saiglobal.com/Improve/ExcellenceModels/BusinessExcellenceFramewo rk/default.htm ACU. (2010). Benchmarking. Recuperado el 2012, de Association of Commonwealth Universities: https://www.acu.ac.uk/ Alsete, J. (1996). A competitive benchmarking study of non credit program administration. Journal of continuing higher education. ASQ. (2004). Benchmarking. Recuperado el Octubre de 2012, de American Society for Quality: http://asq.org/learn-about- quality/benchmarking/overview/overview.html Bartol, K. M., & David C., M. (1994). Management. McGraw Hill Publications. Benc, A. (2003). Business Excellence Australia. Benchmarking Partnerships. (2011). Connecting Best Practices, People & Ideas. Recuperado el Octubre de 2012, de Benchmarking Partnerships: http://www.benchmarkingpartnerships.com.au/home.htm Camp., R. C. (1993). Benchmarking. Panorama Editorial, S.A. Consortium for Excellence in Higher Education. (2003). Embracing excellence in education. Sheffield: Sheffield Hallam University. De Vries, W. (2005). Calidad, eficiencia y evaluacin de la educacin superior. Serie Universidad Contempornea, 377. Finnigan, J. (1997). Gua de benchmarking empresarial: tcnicas esenciales para la nueva economa competitiva-cooperativa. Mxico: Prentice Hall Hispanoamericana. 37
INQAAHE. (Diciembre de 2004). Analytic Quality Glossary. Recuperado el Septiembre de 2012, de International Network for Quality Assurance Agencies in Higher Education : http://www.qualityresearchinternational.com/glossary/benchmarking.htm Jackson, N., & Lund, H. (2000). Introduccin al benchmarking. Buchingham society for research into the higher education and open university press. Jackson, N., & Lund, H. (2004). Benchmarking for Higher Education. Society for Research into Higher Education & Open University Press. Kalaitzidakis, P. (2003). Rankings of Academic Journals and Institutions. Universidad de Creta. Manene, L. M. (15 de Abril de 2011). Benchmarking: Definiciones, aplicaciones, tipos y fases del proceso. Recuperado el Noviembre de 2012, de Luis Miguel Manene: http://www.luismiguelmanene.com/2011/04/15/benchmarkingdefiniciones- aplicaciones-tipos-y-fases-del-proceso/ Marm E., E., Robles R., M. L., & Villaseor G., M. G. (2004). Benchmarking en reas y procesos acadmicos. Mxico: Asociacin nacional de universidades e instituciones de educacin superior. McKinnon, K. R., Walker, S. H., & Davis, D. (2000). A manual for Australian Universities. Department of Education, Training and Youth Affairs. Meade, P. (1998). A guide to benchmarking. University of Otago Press. Monteiro, H., & Lopes, A. F. (2005). A Benchmarking of the Undergraduate Economics Major in Europe and in the United States. International Review of Economics Education, 926. Moore, M. (6 de Mayo de 2008). Benchmarking: how Xerox regained its competitive edge. Recuperado el 11 de 7 de 2012, de Improvement and Innovation: http://www.improvementandinnovation.com/features/projects/benchmarking-how- xerox-regained-its-competitive-edge/ National Association of College and University Business Officers. (s.f.). Getting started on benchmarking. Recuperado el Noviembre de 2012, de National Association of College and University Business Officers: http://www.nacubo.org/Research/Benchmarking_Resources.html 38
Niiranen, H. (2006). Benchmarking project of the department of Electrical Engineering of Lappeenranta University of Technology. Lappeenranta University of Technology. Spendolini, M. J. (2005). Benchmarking. Editorial Norma. Stella, A., & Woodhouse, D. (2007). Benchmarking in Australian higher education: a thematic analysis of AUQA audit reports. Australian Universities Quality Agency. Vlasceanu, L. (2007). Quality Assurance and Accreditation: A Glossary of Basic Terms And Definitions. Bucarest: UNESCO.
Informe Anual 2015. (Ed. Perú) La Marca España desde la Teoría de la Reputación. La Comunicación Empresarial y La Gestión de los Intangibles en España y Latinoamérica