Evaluacin e implantacin de un modelo de evaluacin de acciones formativas.

M. Lourdes Jimnez, Roberto Barchino

Universidad de Alcal, Departamento de Ciencias de la Computacin, 28871 Alcal de Henares, Espaa {lou.jimenez, roberto.barchino}@uah.es

Resumen. Se presenta un modelo de evaluacin de acciones formativas planteado por Donald Kirkpatrick en el ao 1959. Adems se introducen unas recomendaciones bsicas para la implementacin del modelo de evaluacin. Se justifica la necesidad de obtener un nuevo parmetro de evaluacin, ROI (Return On Invest), en este entorno de las acciones formativas. Por ltimo, se presentan algunas herramientas informticas para la valoracin de costes en las acciones formativas con sistemas e-learning.

1 Introduccin
En 1959, Donald Kirkpatrick [1] [2] present su modelo de evaluacin de acciones formativas, y an cuando han transcurrido ms de 40 aos el modelo es vigente. Dicho modelo presenta 4 niveles que son los siguientes: reaccin, aprendizaje, comportamiento y resultados. Este modelo es perfectamente trasladable a un entorno de aprendizaje virtual o elearning, debido fundamentalmente a su sencillez y a su inmediata aplicabilidad. El ROI [3], valor de retorno de la inversin, es una tcnica financiera para determinar, en general, los resultados de las actividades que las organizaciones desencadenan para implementar cualquier nuevo proyecto. En nuestro caso, ese nuevo proyecto se llama modelo de evaluacin de una accin formativa. Este valor nos ayuda a determinar los resultados, desde un punto de vista financiero, de las acciones formativas, relacionando de alguna manera los costes y los beneficios de la formacin. Hoy en da, dentro de los centros de enseanza superior existe un gran inters en cuantificar los costes y beneficios de sus acciones formativas con los sistemas de elearning. Por ello, en la actualidad existen diferentes iniciativas de investigacin en este campo que pretenden homogeneizar los conceptos y as poder ayudar a las universidades o centros de formacin a por ejemplo, determinar de una manera ptima los costes en formacin.

2 El modelo de Kirkpatrick
Como comentamos en la introduccin, el modelo de D. Kirkpatrick est dividido en 4 niveles. En los siguientes apartados, se desarrollan de una manera ms detallada estos niveles de evaluacin formativa. 2.1 Nivel 1. Reaccin. El nivel 1, Reaccin, nos permite medir la cota de satisfaccin de los alumnos con respecto a la formacin que acaba de recibir; normalmente esta evaluacin se suele realizar mediante un cuestionario al acabar el curso. El nivel de reaccin sirve para valorar lo positivo y lo negativo de los cursos de formacin, con el fin ltimo de mejorar en ediciones futuras. El evaluador rene informacin sobre las diferentes reacciones de los participantes ante las cualidades bsicas del curso: la forma de dar clase o tutora del profesor y sus mtodos, lo apropiado de las instalaciones, el ritmo y claridad de las explicaciones, etc. Como es lgico, este nivel de evaluacin no es lo suficientemente fiable como para determinar si la accin formativa ha resultado eficaz o no, sino que su utilidad resulta limitada. 2.2 Nivel 2. Aprendizaje. El nivel 2 del modelo de Kirkpatrick intenta medir los conocimientos adquiridos por los alumnos a lo largo del curso. Para intentar tener esta medida se podra realizar una prueba de control antes y despus de la accin formativa o tambin otro mtodo para medir el aprendizaje seran las entrevistas con los alumnos del curso. Las evaluaciones de este nivel determinan el grado en que los participantes realmente asimilaron lo que se les imparti, y la forma en que algunos factores pueden afectar en el aprendizaje, como pueden ser el contenido del curso, las actividades de aprendizaje, la estructura del curso, los materiales y las herramientas empleadas, etc. 2.3 Nivel 3. Comportamiento. Este nivel intenta medir si los alumnos de un curso pueden aplicar en su trabajo los conocimientos adquiridos. Tenemos que tener en cuenta que esto lleva tiempo y por tanto se deber esperar, entre tres y seis semanas, hasta poder hacer una valoracin adecuada, realizada mediante entrevistas y/o cuestionarios adems de la observacin del desempeo laboral por parte del equipo directivo. En este tercer nivel de evaluacin se pregunta si los participantes estn aplicando en su puesto de trabajo lo que aprendieron en el aula, cules son los elementos que usan ms y por qu hay algunos elementos del curso que no se usan en absoluto. Se podr, por tanto, decidir si el programa debe ser rediseado para lograr mejores

resultados, o si se deben introducir cambios en el entorno laboral, o si se deben modificar los requisitos de acceso a la actividad formativa. 2.4 Nivel 4. Resultados. En este ltimo nivel se intenta medir si los objetivos planteados en la accin formativa se utilizan en la organizacin de forma efectiva y eficiente, para ello, se pueden plantear exmenes y entrevistas a los participantes del curso que deberan realizar antes y despus de recibir la formacin. Como en el nivel anterior debe pasar un cierto tiempo antes de realizar las pruebas y entrevistas a los alumnos. Su objetivo es evaluar el beneficio que ha producido la accin formativa. Este impacto es de tipo financiero, fundamentalmente, y est vinculado a los resultados o a la imagen corporativa de una cierta organizacin. Resulta muy complicado identificar un impacto directamente derivado de la capacitacin sobre los resultados de una institucin, aunque algunos elementos a considerar para la evaluacin a este nivel seran los costes del personal, rotacin del personal, ausentismos, productividad, costes de materiales, etc. 2.5 Conclusin del modelo de Kirkpatrick En general se puede afirmar que los dos primeros niveles, reaccin y aprendizaje, se aplican de una forma directa al curso y son, notablemente, ms fciles de valorar. Los otros dos niveles, comportamiento y resultados, necesitan de un departamento de formacin que establezca un calendario adecuado, adems de tener en cuenta que las medidas obtenidas son ms difciles de evaluar de forma clara y concisa. Segn el artculo sobre la implicacin de la economa en el aprendizaje de la empresa Saba Sowftware Inc. [4], una de la ms importantes en gestin del capital humano de los Estados Unidos, afirma que segn un informe del ao 2002 realizado por la American Society for Training and Development [5], el 78% de las organizaciones evalan las acciones formativas mediante la satisfaccin del estudiante, nivel 1 reaccin. Sin embargo, slo el 32 % evaluaban el nivel 2, aprendizaje, el 9 % el nivel 3, comportamiento y el 6 % evaluaban el nivel 4, resultados, del modelo de Kirkpatrick. Esto nos da una idea de que an sabiendo que los niveles ms interesantes para la evaluacin de cualquier accin formativa son los niveles 3 y 4, son los que menos se utilizan en las organizaciones o universidades. Por tanto, debemos extremar las precauciones a la hora de afirmar que el modelo de Kirkpatrick es la solucin al problema de la evaluacin, pero si nos da una buena aproximacin.

3 ROI (Return On Invest)

El objetivo bsico del clculo del ROI en una accin formativa, ser el conocer si el proyecto de implantacin de dicha accin formativa es productivo para la

organizacin desde un punto de vista financiero, adems de identificar cuales son las ventajas y los inconvenientes de la puesta en marcha de una accin formativa. Antes de comenzar con la enumeracin de los costes y beneficios que nos ofrecen los sistemas de formacin on-line, me gustara comentar que el clculo del ROI permite establecer una relacin con el nivel 4 del modelo de Kirkpatrick antes comentado. Esto es as, debido a que el ROI es un valor que podemos obtener a priori es decir, es una estimacin de los costes y beneficios relacionados en una accin formativa, por otro lado, el nivel 4 de Kirkpatrick: Resultados, nos informa de estas mismas suposiciones realizas al calcular el ROI pero con datos reales y verdaderos y donde no caben las suposiciones de ningn tipo. La frmula del clculo del ROI es muy simple, expresada normalmente en porcentaje, y basta con determinar los beneficios y los costes de la accin formativa para disponer del valor del ROI. Como podemos ver, es simplemente una divisin entre los beneficios y los costes.

Fig. 1. Formula del ROI.

3.1 Beneficios en formacin. Evidentemente el aprendizaje en cualquier organizacin genera beneficios y costes. En concreto, es bastante ms complejo la identificacin de los beneficios que el de los costes. Debemos intentarlo ya que mediante procesos formativos exitosos se aumenta la productividad de la organizacin o del centro de formacin como por ejemplo cualquier Universidad y esto es bsicamente el objetivo que buscamos. Para ayudarnos a comprenderlo mejor, se presenta a continuacin una tabla de los diferentes tipos de beneficios realizada por Josep M. Duart [6] de la UOC (Universitat Oberta de Catalunya).

Fig. 2. Beneficios en formacin.

Donde podemos ver tres tipos de beneficios, desde los ms fciles de cuantificar como el ahorro en costes, el ahorro de tiempo, etc., a los beneficios que muestran alguna dificultad para ser cuantificados como la innovacin y la creatividad, mejoras en el trabajo y por ltimo los beneficios ms complicados de cuantificar, en concreto en la figura 2 se comentan que son imposibles de medir, como la satisfaccin y la felicidad, el liderazgo, etc. Tambin, en la tabla nos damos cuenta del impacto que tienen estos beneficios a los objetivos de negocio de la organizacin, los beneficios ms cuantificables tienen una incidencia baja, los que muestran una dificultad poseen una incidencia media y por ltimo, los que son imposibles de establecer la cuantificacin tienen un impacto alto en los objetivos de negocio. Esto nos da idea de lo extremadamente difcil que es cuantificar los beneficios de una accin formativa con sistemas e-learning, debido a que los beneficios ms interesantes son prcticamente imposibles de determinar.

3.2 Costes en formacin. La determinacin de los costes de la formacin con sistemas e-learning es ms sencilla que en el caso anterior. Se presentan algunos de los posibles costes de formacin con sistemas e-learning ms importantes, presentados por el Director General y Consejero Delegado de Nanfor Ibrica, D. Javier Lozano [7]. Costes relativos a la realizacin de la formacin. Costes de preparacin de las clases y del material. Costes de elementos fsicos para realizar la formacin. Costes de viaje. Costes de oportunidad.

No obstante, como comentamos en la introduccin del presente trabajo, existen diferentes iniciativas localizadas fundamentalmente en centros de investigacin, universidades, departamentos de educacin, etc. para la correcta identificacin de los distintos costes en cualquier accin formativa. Por ejemplo, el americano National Center of Higher Education Management Systems, que en colaboracin con el Western Cooperative for Educational Telecommunications [8], ha desarrollado dentro del Technology Costing Methodology Project una herramienta de ayuda a la determinacin de los costes. Tambin, la iniciativa inglesa, Cost of Networked Learning, subvencionada por el Join Information System Comittee [9]. Por ltimo, en Australia, el Department of Education, Training and Youth Affaire [10], tambin ha financiado estudios sobre los costes de acciones formativas con sistemas e-learning.

4 Conclusiones.
La evaluacin de las acciones formativas no es algo nuevo, pero s la extensin de la formacin tradicional, tal y como la entendemos, con los sistemas de teleformacin o e-elarning. Por ello, se ha presentado un modelo de evaluacin, adaptable a este nuevo sistema de formacin. El futuro de la investigacin en este entorno se centra en las Universidades o en centros de alto nivel formativo, donde consideramos, que la evaluacin de las acciones formativas es bsico y fundamental para su correcto funcionamiento.

Referencias
1. Kirkpatrick, Donald L.: Evaluating Training Programs: the Four Level. San Francisco: Berrett-Koehler Publishers (1994). 2. Kirkpatrick, Donald L.: Evaluation. In R. L. Graig (Ed.): Training and development handbook. (3rd ed.) New York: McGraw-Hill (1987). 3. Thinq Research Department: Is it Worth The Cost? Calculating the ROI of Training. (2001).

4. Saba Software Inc. Saba Human Capital Development and Management Solutions. Documento en lnea: http://www.e-learningguru.com/wpapers/saba_analytics.pdf (2002). 5. ASTD American Society for Training and Development. http://www.astd.org (2004). 6. Josep M. Duart: ROI y e-learning: ms all de beneficios y costes. Documento en lnea: http://www.uoc.edu/web/esp/art/uoc/duart0902/duart0902.html (2002). 7. Javier Lozano: El retorno de la inversin del e-learning. Revista AprendeRH. ISSN: 16963008. (2003) 8. Technology Costing Methodology Project. http://www.wcet.info/Projects/tcm (2004) 9. Joint Information System Commitee. http://www.jisc.ac.uk (2004) 10. Australian Goverment Department of Education, Science and Training. http://www.detya.gov.au/ (2004)