Beruflich Dokumente
Kultur Dokumente
Reflexiones en torno a
la Evaluacin centrada
en el Uso, propuesta
por Michael Patton
Mara Alejandra Escalona - Carn A41920
Abril, 2015
INTRODUCCIN
2
recientemente por su aporte a la Sociologa aplicada (Lester F. Ward Award de la
Society for Applied Sociology) (Sage, 2015).
Para Patton (2010) las evaluaciones deben valorarse de acuerdo con cuatro
criterios principales:
1
Debido a que la obra del autor se encuentra en el idioma Ingls, se hizo una traduccin de los textos
disponibles que se consideraron ms relevantes, procurando mantener el sentido original con el que fueron
planteados.
3
siendo estudiante, este evaluador se interes por la Sociologa organizacional,
especficamente en temas relacionados con la gestin del cambio y los conflictos
asociados a la transicin de una manera de hacer las cosas, a otra.
Patton tambin rescat los aportes de Everett Rogers sobre la difusin de las
innovaciones, por considerarla esencial para la adopcin y diseminacin de ideas.
Tambin se interes en el rol que propone el autor para los agentes de cambio y
se vio influenciado por su visin de desarrollo, entendido como un proceso
participativo de cambio en el que la sociedad avanza social y materialmente a
travs de un mayor control del entorno por parte de la gente (Moleko, 2011).
Una cuarta influencia identificada por Moleko (2011) fue el pragmatismo que John
Dewey propuso en el campo educativo. Luego de comparar la educacin
tradicional con posturas ms progresistas sobre el contenido y la metodologa
empleada en los sistemas educativos, este ltimo autor valor que la educacin
debe formar individuos para que sean miembros efectivos en la sociedad
democrtica. En este sentido, los educadores deben brindar a los estudiantes
experiencias valiosas en su quehacer inmediato, sobre todo aquellas que les
permitan contribuir a una mejor sociedad. Es decir, que los contenidos que se
aprenden tienen un correlato prctico cercano.
2
Se entender por el trmino stakeholders aquel grupo de personas con alguna cuota de inters en la
evaluacin o el proyecto en cuestin.
4
para la toma de decisiones que promueve la utilidad y el uso mismo de las
evaluaciones, stas deben ser diseadas y facilitadas con una cuidadosa
consideracin de cmo todo lo que se har, de principio a fin, afectar su uso.
Como tal, la meta del modelo consiste en el uso previsto de la evaluacin, por
parte de los usuarios previstos (intended use by intended users). Para ello, uno
de los primeros pasos en la realizacin de una evaluacin centrada en el uso, es
identificar, reconocer e involucrar a los usuarios prioritarios de la evaluacin
suponiendo que es ms probable que el proceso sea til si se involucra a los
5
usuarios de manera significativa, de manera que se apropien de la evaluacin, si
encuentran preguntas relevantes y se interesan por los hallazgos (Patton, 2013).
Quiz gracias a lo anterior, y al nfasis en algo tan funcional como el uso, es que
Patton ha podido contribuir, a travs de investigaciones aplicadas y evaluaciones,
en temticas tan variadas como la lucha contra la pobreza, el desarrollo del
liderazgo, educacin, medio ambiente, salud pblica y mental, la extensin
agrcola, la justicia penal, el desarrollo comunitario, el cambio de sistemas, la
eficacia de polticas pblicas, la gestin por resultados e indicadores de
desempeo. De igual manera, ha logrado involucrarse con organizaciones y
programas a nivel local, provincial, estatal e internacional, de tipo filantrpico, sin
fines de lucro, privadas y gubernamentales (Sage, 2015). Es decir que el modelo
planteado por el autor tiene un amplio margen de aplicabilidad, una vez que el
contexto sugiera que es pertinente.
6
De esta manera, es posible inferir que, en trminos ontolgicos, para Patton
evaluar es un proceso participativo y formativo, en el que junto a usuarios clave en
un contexto organizacional especfico, se busca reducir la incertidumbre respecto
a un programa, favoreciendo el pensamiento evaluativo por parte de los
involucrados y a nivel de la cultura organizacional. Debido a que el modelo est
centrado en la utilizacin de la evaluacin, se trata de un planteamiento con un
amplio sentido pragmtico y con un interesante marco de aplicabilidad.
Al revisar los aportes del autor desde un punto de vista epistemolgico, uno de los
primeros aspectos que llama la atencin es la influencia de la formacin que tuvo
en Sociologa, tal como lo afirma en la siguiente frase: La Sociologa me dio una
slida formacin en mtodos cuantitativos, la construccin de teora, filosofa de la
ciencia y la sociologa del conocimiento, todos los cuales han influido en mi
pensamiento y prctica de la evaluacin (Patton, 2004 en Moleko, 2011: 12-13).
7
Patton es reconocido, quiz no por haber innovado el campo metodolgico de la
evaluacin, sino por haberle dado voz a los mtodos cualitativos en una poca
en la que no eran valorados positivamente, integrando los aportes de otros
estudiosos en un frente coordinado y poco timorato (Moleko, 2011).
Haciendo eco de esto, Patton analiz que los factores personales, humanos,
polticos y econmicos conspiran contra los ambientes controlados; y la
evaluacin, ms que pretender anularlos, debe responder al contexto en el que se
desarrolla. Poco tiempo despus, dedicara sus primeros esfuerzos a debatir la
imparcialidad con la que se privilegia el uso de mtodos cuantitativos en la
evaluacin, considerados el paradigma dominante en la construccin de
conocimiento cientfico (Moleko, 2011).
8
esenciales para llevar a cabo una evaluacin de este tipo, Patton (2013a) aclara
que stos no son lineales ni secuenciales, sino que se trata de un proceso
complejo, dinmico y adaptativo de las relaciones con los diversos elementos y
pasos que interactan.
9
Mi enfoque no es para tratar de resolver el debate entre paradigmas.
Trato de establecer un ambiente de tolerancia y respeto de los diferentes
puntos de vista, y luego centrar la discusin en la informacin real que
necesita cada grupo: puntajes en una prueba?, entrevistas?,
observaciones? El empleo de mltiples mtodos y medidas le dar a
cada grupo lo que quiere (Patton, 1985, en Moleko, 2011, p. 25).
De igual manera, hacia el cierre de uno de sus libros centrado en instruir sobre el
uso de mtodos cualitativos en evaluacin (How to Use Qualitative Methods in
Evaluation, 1987), afirm que con esta obra su intencin fue expandir el repertorio
metodolgico de los evaluadores ayudndoles a distinguir cundo son pertinentes
los abordajes cualitativos y cmo se desarrollan de manera que se produzca
informacin til y vlida; lo cual se aleja de un intento por argumentar que son
mejores. Incluso, cuando analiza la comn predileccin de los stakeholders por
datos cuantitativos, Patton destaca que se debe evitar ser anti nmeros, sino que
se debe ser pro significado, procurando que se enfatice en las preguntas y en la
informacin realmente importantes sobre el programa.
Dicho esto, cabe acotar que siendo un modelo est centrado en la utilizacin, y
que hay cierta renuencia del autor a privilegiar un mtodo sobre otro, es
comprensible que Patton declare su posicionamiento como un pragmatismo
utilitario (Patton, en Moleko, 2011), segn el cual un investigador o evaluador en
no est alineado a cualquier filosofa ideolgica, sino que emplea cualquier modelo
que promueva el uso. Patton dice que el foco del utilitarismo pragmtico es
responder a preguntas concretas utilizando mtodos prcticos y anlisis directos,
reconociendo criterios de precisin y confiabilidad de la informacin, as como su
pertinencia y utilidad. De acuerdo con esto, y como se ha dicho anteriormente,
para ello se requiere elaborar las preguntas evaluativas en contexto y como
10
respuesta a necesidades especficas de los usuarios, dominar el uso de diversas
metodologas, y creatividad.
Ante esto, desde un punto de vista personal, considero que slo de la mano con
criterios metodolgicos slidos, y las condiciones necesarias para que la
informacin recolectada sea vlida y confiable, es posible concebir que la prctica
investigativa o evaluativa deba estar estrictamente sujeta al uso de la informacin.
11
En segundo lugar, el anlisis profundo del contexto hace que la evaluacin sea
realista, y sucede de la mano con los usuarios primarios de la evaluacin,
identificando, valorando, comprendiendo y actuando junto a ellos en los factores
situacionales que marcan la dinmica organizacional, y el proceso evaluativo
(Patton, 2013a).
Una vez hecho esto, se debe negociar la seleccin de los mtodos adecuados
para generar hallazgos confiables, de manera que apoyen el uso de la evaluacin
por parte de los usuarios prioritarios, y asegurndose que stos comprendan las
implicaciones de la decisin. Este es sin duda un paso clave en trminos
metodolgicos, y cabe notar que, a diferencia de esquemas en los que puede
considerarse al evaluador como experto y nico responsable de este tipo de
decisiones, en este modelo debe realizarse considerando el criterio de los
3
Implica que los objetivos del programa estn planteados de manera especfica y medible, que sean
alcanzables, relevantes y situados temporalmente (Patton, 2013).
12
principales involucrados. Esta no es una decisin que el evaluador pueda
determinar por su cuenta o imponer, pero s debe ser vigilante de criterios de
calidad para la evaluacin, atendiendo la calidad del dato, su confiabilidad y
utilidad (Patton, 2013a).
Sin duda, lo anterior se coloca como un reto para el evaluador, en trminos del
dominio epistemolgico y metodolgico que esto implica, sumado a la labor de
ensearlo a los usuarios de la evaluacin en trminos cercanos y prcticos para
ellos.
13
participen en este paso, cuidando la calidad del dato y la credibilidad de la
evaluacin. Tambin ser importante estar al tanto de los problemas que surjan y
corregirlos, adaptando los mtodos a cambios que sucedan en el contexto. Este
paso, as como los anteriores, implica un proceso de constante comunicacin con
los usuarios, con el fin de informarles y mantenerlos involucrados, al comentarles
hallazgos preliminares, por ejemplo.
Una vez hecho esto, ser importante darle seguimiento a la evaluacin. En este
sentido, el reporte de los hallazgos no es final del proceso, y ms bien debe
motivarse su continuacin a travs de la aplicacin del conocimiento generado y la
implementacin de las recomendaciones planteadas. Con el fin de promover el
uso continuo de la evaluacin, tambin se debe estar atento a datos y preguntas
emergentes, o a nuevas audiencias que puedan interesarse en los resultados del
proceso (Patton, 2013a).
14
A partir de lo anterior se estima que un elemento de dificultad en el planteamiento
metodolgico de este modelo es el tiempo que implica para los usuarios, la
organizacin y el evaluador su involucramiento cercano y concienzudo en el
proceso antes descrito. Quiz de ah venga el nfasis de Patton en valorar la
receptividad hacia la evaluacin desde el momento inicial, as como la importancia
de mantener el inters y compromiso en la misma durante el proceso. Sin duda,
esto se coloca como un criterio de viabilidad al pretender seguir este modelo al
realizar una evaluacin.
Para empezar, Patton (2010) concibe que el uso que se haga de la evaluacin es
parte de la rendicin de cuentas de la evaluacin misma, y es parte del desarrollo
15
profesional continuo de quien la facilita. Muestra de ello es que se coloque la
metaevaluacin del proceso realizado como uno de los ltimos pasos del mismo,
dirigido a hacerse responsable, aprender y mejorar (2013a).
No por ello el evaluador ser un metodlogo, sino que tambin deber reunir una
serie de atributos sociales necesarios para establecer una relacin emptica, de
cercana y acompaamiento pertinente con los usuarios. De tal manera lo expres
en una entrevista en la que se le consult por las principales competencias que
debe tener un evaluador para mantenerse al ritmo de las nuevas tendencias:
4
Entrevista realizada en el marco de una publicacin enfocada en proyectos de apoyo a familias en Estados
Unidos.
16
En lnea con las demandas que plantea este modelo a la figura del evaluador, en
textos ms recientes, Patton (2013a) incluso apunta que uno de los primeros
pasos para desarrollar un proceso evaluativo centrado en la utilizacin consiste en
valorar y motivar la preparacin del evaluador para asumirla. La premisa consiste
en que se requieren habilidades y una filosofa particular para ello, las cuales
concretiza en la siguiente lista:
17
Como tambin report Moleko (2011), cuando se le ha planteado este tipo de
cuestionamientos a Patton, su respuesta ha remitido a que desde el inicio de la
evaluacin, cuando se est analizando el contexto y el uso pretendido del proceso,
el evaluador debe ser "deliberado e intencional" respecto sus posicionamientos
ticos y morales, consultando y aclarando cules son los intereses detrs de la
evaluacin, de quines provienen y quin podr tener acceso a los resultados. Es
en este momento que la integridad del evaluador entra en juego, de la mano con el
respeto a los principios profesionales y a las necesidades y creencias de los
usuarios primarios.
Ante esta postura, cabe preguntarse cul sera la accin correcta en caso de no
haber coincidencia en los criterios ticos y morales alrededor del uso de la
informacin generada en el proceso. En este sentido, Moleko (2011) estima que la
recomendacin de Patton sera retirarse de la evaluacin, pues el este podra
convertirse en un obstculo para el uso.
Por tanto, como parte del anlisis axiolgico, se considera valiosa la exigencia de
dominio conceptual y metodolgico que plantea este modelo a la figura del
evaluador, as como las habilidades interpersonales que tambin plantea como
necesarias para desarrollar el proceso de manera responsable y pertinente. No
obstante, dentro del modelo, parece ser el criterio tico y moral de cada facilitador
el que determinar su participacin en los procesos evaluativos, pues no se
plantea un "propsito ulterior" de la evaluacin (como sucedera desde
posicionamientos emancipatorios) y el uso de stos por parte de los usuarios
previstos es el criterio que parece imperar.
18
REFLEXIONES Y CONSIDERACIONES FINALES
19
torna crucial que el evaluador logre equilibrar de manera congruente sus valores
con el uso pretendido de la evaluacin por parte de los usuarios de la misma.
20
FUENTES DE INFORMACIN
21