Red de Revistas Cientficas de Amrica Latina, el Caribe, Espaa y Portugal

Sistema de Informacin Cientfica

Myriam Cardozo Organizacin y mtodos alternativos en la evaluacin de polticas y programas sociales. La experiencia consolidada y la emergente en el caso de Mxico Gestin y Anlisis de Polticas Pblicas, nm. 5, enero-junio, 2011, pp. 43-59, Instituto Nacional de Administracin Pblica Espaa
Disponible en: http://www.redalyc.org/articulo.oa?id=281521735002

Gestin y Anlisis de Polticas Pblicas, ISSN (Versin impresa): 1134-6035 revistagapp@inap.map.es Instituto Nacional de Administracin Pblica Espaa

Cmo citar?

Fascculo completo

Ms informacin del artculo

Pgina de la revista

www.redalyc.org
Proyecto acadmico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto

Nueva poca, n 5, enero-junio 2011, pp. 43-59 ISSN: 1134-6035

GAPP. Revista Gestin y Anlisis de Polticas Pblicas

Organizacin y mtodos alternativos en la evaluacin de polticas y programas sociales. La experiencia consolidada y la emergente en el caso de Mxico
Myriam Cardozo

Universidad Autnoma Metropolitana. Mxico mcardozo@correo.xoc.uam.mx

Resumen Mxico presenta graves problemas de pobreza y desigualdad, que sus gobiernos enfrentan seleccionando entre diferentes enfoques de poltica social, y consecuentemente, de evaluacin de sus programas. En dicha seleccin, la poltica social del Gobierno Federal mexicano se caracteriza por la focalizacin de sus transferencias condicionadas, mientras la del Gobierno del Distrito Federal promueve criterios de universalidad y un enfoque basado en derechos. En materia de evaluacin tambin afloran las diferencias organizativas y metodolgicas entre ambos gobiernos, especialmente en el nfasis positivista y experimental del primero y el constructivista del segundo. Palabras clave Evaluacin, organizacin, mtodos, polticas sociales, programas sociales, Mxico.

Organization and Alternative Methods in the Evaluation of Social Policies and Programs in Mexico
Abstract Mexico has acute problems of poverty and inequality being confronted by its governments, who select different approaches to social policy, and consequently, to the evaluation of their programs. In this selection, the social policy of the Mexican Federal Government is characterized by the targeting of its conditional transfers, while that of the Federal Districts Government promotes universal criteria and an approach based on human rights. With regards to evaluation, also the organizational and methodological difference of the two governments stands out. This is specially the case in the positivist and experimental emphasis of the first government and the constructionist approach of the latter. Key words Evaluation, organization, methods, social policies, social programs, Mexico.

EXPERIENCIAS Y CASOS

43

GAPP 5-2011.indb 43

14/01/11 13:47

Myriam Cardozo

1. INTRODUCCIN Ante similares problemas sociales, los gobiernos de distinto signo ideolgico aplican polticas y programas sociales diferentes que, a su vez, evalan tambin en forma diversa. El presente artculo realiza una breve revisin terica de la evaluacin de programas sociales en torno a la diversidad posible en dos de sus aspectos sustantivos: sus formas de organizacin y sus mtodos. Ambos resultan relevantes para lograr un informe de calidad y una utilizacin efectiva de las recomendaciones; sin embargo, el primero ha sido poco debatido en la literatura especializada de evaluacin. El objetivo principal del trabajo es de carcter emprico y se refiere a la evaluacin de programas sociales en el caso mexicano, en el que se describe la experiencia emergente en el Gobierno del Distrito Federal y se compara con la relativamente consolidada en el Gobierno Federal. Esto permite, por un lado, enriquecer el inventario de experiencias sustancialmente diferentes en materia de organizacin y mtodos de evaluacin y, por otro, resalta la importancia de la dimensin organizativa en la comparacin realizada. El trabajo se basa en investigacin documental e incluye: una breve revisin conceptual; la discusin terica de los dos temas mencionados, iniciando por el ms discutido (mtodos); el anlisis emprico del caso, considerando los mismos temas en la secuencia que exige su prctica (organizacin antes que mtodos); y finalmente, las conclusiones. 2. REVISIN TERICA Con objeto de facilitar la compresin del caso que se analiza, a continuacin se definen los principales conceptos utilizados en el mismo: Las polticas pblicas constituyen un fenmeno social, administrativo y poltico especfico, resultado de un proceso de sucesivas tomas de posicin, que se concretan en un conjunto de decisiones, acciones u omisiones, mismas que traducen, en un lugar y perodo determinado, la respuesta preponderante del Estado frente a problemas pblicos vividos por la sociedad civil (Cardozo, 2006: 25-26, retomando elementos desarrollados en ODonnell y Oszlak, 1976; y Oszlak, 1980). Las polticas referidas se concretan en sectores o temas especficos mediante el diseo de programas que presentan definiciones ms precisas de sus componentes (objetivos, metas, recursos, acciones, tiempos). Un tipo particular de polticas pblicas est constituido por las polticas sociales, cuyo objetivo final es el logro del bienestar social mediante estrategias de redisGAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

44

GAPP 5-2011.indb 44

EXPERIENCIAS Y CASOS

14/01/11 13:47

ORGANIZACIN Y MTODOS ALTERNATIVOS EN LA EVALUACIN DE POLTICAS Y PROGRAMAS SOCIALES...

tribucin de la riqueza y del ingreso para impulsar un mejoramiento continuo de las condiciones de vida de la poblacin (Cardozo, 2006: 153). El proceso de estas polticas puede desagregarse en etapas cuya secuencia temporal no siempre puede respetarse en la prctica. La literatura se refiere fundamentalmente a tres: formulacin, implementacin y evaluacin. La ltima etapa identificada analiza y valora los procesos, resultados e impactos provocados por las dos anteriores1. Puede definirse como una investigacin aplicada, de tendencia interdisciplinaria, realizada mediante la aplicacin de un mtodo sistemtico, cuyos objetivos fundamentales son:  tcnicos: conocer, explicar y valorar una poltica o programa para aportar elementos al proceso decisorio que permitan mejorar los efectos de la actividad evaluada, resaltando la importancia atribuida a la emisin de un juicio valorativo sobre dicha actividad, y  polticos: contribuir al logro de una democracia efectiva, a travs de la rendicin de cuentas del gobierno a los ciudadanos y de su participacin efectiva en el proceso (Cardozo, 2006). En consecuencia, la evaluacin se justifica: a) tcnicamente, por las mltiples brechas que pueden presentarse entre los problemas sociales y su definicin pblica, el diseo y la implementacin de las polticas y programas que se proponen resolverlos; y b) polticamente, por los procesos de democratizacin (debate ciudadano, aprendizaje participativo, credibilidad,) y reforma del Estado (privatizacin, descentralizacin) que se agravan en pases de gran tamao, sujetos a una estricta disciplina fiscal, como sucede en el caso mexicano. Cuando sta se realiza de forma integral, ya sea externa o interna, trata de: a) describir los recursos empleados, b) describir el proceso que se llev a cabo, c) explicar sus determinantes y condicionantes contextuales, d) identificar, medir y valorar los resultados e impactos alcanzados, d) calificar su grado de efectividad y e) proponer recomendaciones para decidir si contina aplicndose, y si lo har con o sin modificaciones tendentes a resolver, o al menos reducir, los problemas identificados. Implica verificar si los efectos esperados se han producido, y en qu grado stos pueden ser atribuidos a la poltica o el programa evaluado, descartando impactos de otras posibles variables intervinientes, as como identificar si se han presentados efectos no planeados (externalidades positivas o negativas).
1 En el presente trabajo, la evaluacin se refiere siempre a la definida en el texto, que corresponde a la conocida como ex-post o a posteriori, para diferenciarla de la que se realiza ex-ante o a priori, que forma parte del proceso de seleccin de alternativas, desarrollado durante la formulacin de polticas y programas pblicos.

EXPERIENCIAS Y CASOS

45

GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

GAPP 5-2011.indb 45

14/01/11 13:47

Myriam Cardozo

Para llevar a cabo las actividades anteriores se utilizan mtodos que dotan al evaluador de una perspectiva y un conjunto de principios o normas que guan su actuacin y le permiten seleccionar y coordinar las tcnicas ms adecuadas para el anlisis y valoracin de una poltica o programa. El debate sobre los mtodos ha sido muy intenso. Algunos de los aspectos ms discutidos provocan posiciones tericas encontradas que explicitaremos a continuacin: a) el grado de objetividad del evaluador; b) las actitudes asumidas en cuanto a la profundidad del trabajo y su referente valorativo; c) su nivel de tecnicismo y de participacin; d) su enfoque uni o multidisciplinario; e) su objetivo de aprendizaje o de sancin; f) la necesidad o falta de relevancia atribuida al conocimiento del evaluador sobre el tema a evaluar; g) su nfasis en el papel de la teora y de las pruebas; h) el grado en que la evaluacin se construye en cada caso o se estandariza un modelo nico aplicable a cualquier programa; y principalmente, i) el nfasis en la utilizacin de mtodos cuantitativos o cualitativos. En el abanico de posiciones asumidas frente a las opciones previas, dos grandes corrientes (en la prctica a veces combinadas en una perspectiva contingente) orientan prioritariamente la evaluacin de programas en la actualidad: el nfasis positivista, de origen estadounidense, y el contructivista, desarrollado en el contexto europeo. Esquemticamente, los enfoques positivistas se caracterizan por poner distancia respecto del objeto analizado, preocuparse de la validez interna y externa de su diseo metodolgico, la confiabilidad, el poder de generalizacin, la objetividad, el nfasis en la cuantificacin y la utilizacin privilegiada de la experimentacin. Los constructivistas, por su parte, consideran que existen tantas realidades como individuos (en lugar de visiones objetivas), se interesan en fenmenos que articulan lo micro y lo macro, lo formal y lo informal, recuperan los efectos del contexto, la pluridimensionalidad de los problemas y la organizacin en red, rechazan la separacin tajante de las etapas del proceso de polticas pblicas y la realizacin de estudios de caso sectoriales, y enfatizan la investigacin cualitativa, a veces apoyada en la estadstica (Mayntz,1987; Le Moigne, 1994; Thoenig, 1998; Monnier, 1995; Durn,1999). Por otra parte, si bien el problema del mtodo es un asunto clave en materia de evaluacin, hay otro aspecto muy importante y menos estudiado que enmarca la forma en que se desarrollan sus trabajos: la dimensin organizativa. Se trata de comprender que las administraciones pblicas, en cuyo marco se realizan los procesos de gestin y evaluacin, se componen de redes de organizaciones en que los aspectos polticos, culturales, de estructuracin y de funcionamiento constituyen factores relevantes que afectan el desempeo evaluativo. El estudio de la dimensin mencionada, uno de los tres aspectos resaltados2 en Francia por el Informe Deleau en 1986,
2 Los otros dos temas son metodologa y deontologa (reglas del arte).
EXPERIENCIAS Y CASOS

46

GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

GAPP 5-2011.indb 46

14/01/11 13:47

ORGANIZACIN Y MTODOS ALTERNATIVOS EN LA EVALUACIN DE POLTICAS Y PROGRAMAS SOCIALES...

constituye el aporte realizado por la sociologa de las organizaciones y la sociologa poltica al anlisis de la evaluacin. El anlisis de los factores organizacionales que afectan el desarrollo de la evaluacin y la calidad de sus resultados implica tomar en cuenta al menos: a) el contexto poltico, jurdico y cultural; b) los rganos que deciden la realizacin de la evaluacin y sus motivos; c) las organizaciones y actores participantes, su funcionamiento y relaciones formales e informales; d) la planeacin del trabajo; e) los recursos asignados para su ejecucin; y f) la difusin y utilizacin de los resultados (Cardozo, 2006). En consecuencia, Thoenig propone redefinir la evaluacin como un proceso de aprendizaje institucional, de transformacin de lo que conviene hacer, de las reglas y las identidades. Para institucionalizar realmente esa evaluacin, seala que es necesario algo muy diferente a establecer procedimientos administrativos: crear las condiciones que se enfoquen a cambiar la teora en actos de los decisores, a modificar los modelos cognitivos y normativos que estructuran su visin del mundo, su representacin de los problemas y su apreciacin de los instrumentos movilizados para actuar (Thoenig, 2002). 3. EL CASO DE MXICO Se expone brevemente la situacin social y las polticas mexicanas as como la caracterizacin de la organizacin y los mtodos empleados para realizar la evaluacin por el Gobierno Federal (GF), con el objetivo de presentar una nueva experiencia que busca encarar su trabajo con un enfoque diferente: la del Gobierno del Distrito Federal (GDF). En su tratamiento se retoman los aspectos analizados en la revisin terica; sin embargo, para una mejor comprensin del caso concreto se invierte el orden en que ellos fueron tratados, respetando su secuencia emprica (primero la organizacin de la evaluacin y luego los mtodos aplicados en su desarrollo). 3.1. Pobreza, desigualdad y polticas sociales mexicanas El proceso de industrializacin mexicano, iniciado en los aos cuarenta, provoc altas tasas de crecimiento econmico que permitieron, incluso a los ms pobres, aumentar su nivel de ingreso; sin embargo, stas estuvieron acompaadas de una distribucin del ingreso muy polarizada, que se fue profundizando con el paso del tiempo. En el perodo 1963-1984, las mediciones realizadas (Hernndez, 1991) muestran un sustantivo descenso de la pobreza general de 77 a 59%; pero, en 1994-1996, la crisis econmica vivida provoc un nuevo incremento de la misma3.
3 El incremento pas de 69 a 78% con base en la medicin de Boltvinik (1998), pero su clculo no es necesariamente compatible con la serie presentada por Hernndez (1991), en el perodo 1963-1984.

EXPERIENCIAS Y CASOS

47

GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

GAPP 5-2011.indb 47

14/01/11 13:47

Myriam Cardozo

Entre 1996 y 2006 los tres tipos de pobreza (alimentaria, de capacidades y de patrimonio4) tendieron a disminuir; sin embargo, recin en 2001 alcanzaron aproximadamente el nivel que presentaban en 1992. Entre 2006 y 2008 la tendencia volvi a invertirse; el porcentaje de personas en condicin de pobreza alimentaria a nivel nacional aument de 13,8% a 18,2% (19,5 millones de personas), y en condicin de pobreza de patrimonio, de 42,6% a 47,4% (50,6 millones de personas) como consecuencia del incremento en el desempleo, la disminucin de las remesas recibidas del extranjero y los aumentos en el costo de la canasta alimenticia bsica, principalmente. En cambio, este aumento no se produjo en el caso de la pobreza de capacidades debido al incremento de las transferencias efectuadas por los programas gubernamentales (CONEVAL, 2009a). Pocos meses despus, la misma institucin dio a conocer nuevas estimaciones de pobreza para 2008, utilizando un mtodo de medicin multidimensional: 33,7% de pobreza moderada y 10,5% de pobreza extrema. Para el caso del Distrito Federal sus clculos arrojan: 25,7% y 2,1% respectivamente (CONEVAL; 2009b). Sin embargo, las estimaciones de pobreza, efectuadas con criterios ms estrictos, alcanzan aproximadamente a la mitad de la poblacin de la entidad, o sea, 4,5 millones de personas (Evala DF, 2009). Complementariamente, en 2005, la desigualdad medida por el coeficiente de Gini fue de 0,528 (Medina y Galvn, 2008). Estos datos, cercanos al promedio latinoamericano, ubican a Mxico en una situacin intermedia entre los pases de la regin5. En materia de poltica social, Mxico desarroll mltiples programas federales en las dcadas de auge econmico, principalmente en salud, educacin, seguridad social y vivienda. Los mismos respondieron a la promocin del Estado de Bienestar en Amrica Latina, mediante la ampliacin de derechos sociales y la procuracin de mejores condiciones de vida para el conjunto de la sociedad. Pero, hacia finales de los ochenta, despus de la aplicacin del ajuste estructural para lidiar con la crisis fiscal del Estado de Bienestar y de la implantacin del mercado como nueva centralidad, las mencionadas polticas sociales federales de amplio espectro tendieron a ser sustituidas por programas focalizados a la aten4 El Comit de Medicin de la Pobreza entiende por poblacin en pobreza alimentaria aquella que no dispone de recursos suficientes para cubrir ni siquiera sus gastos de alimentacin (similar a la indigencia en las mediciones de CEPAL); en pobreza de capacidades, la que logra cubrir los anteriores pero no los gastos correspondientes a salud y educacin; y en pobreza de patrimonio, a la que cubre los gastos anteriores pero no alcanza a satisfacer necesidades como vivienda, vestido, zapatos, transporte, entre otras (cercana a la pobreza general de CEPAL). 5 Amrica Latina contaba con un estimado de 34,1% de pobres en 2007 (CEPAL, 2008), y un coeficiente de Gini de 0,533 en 2005 (Medina y Galvn, 2008).

48

EXPERIENCIAS Y CASOS

GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

GAPP 5-2011.indb 48

14/01/11 13:47

ORGANIZACIN Y MTODOS ALTERNATIVOS EN LA EVALUACIN DE POLTICAS Y PROGRAMAS SOCIALES...

cin de la pobreza extrema6, situacin que sigue vigente hasta la actualidad a pesar del cambio de partidos a cargo del Gobierno Federal (Partido Revolucionario Institucional, PRI, hasta el ao 2000 y Partido Accin Nacional, PAN, en adelante)7. Estos programas enfatizan la realizacin de transferencias mnimas para la satisfaccin de las necesidades humanas bsicas, condicionadas al cumplimiento de un conjunto de obligaciones por parte de los beneficiarios, y las complementan mediante la inversin en polticas de formacin de capital humano (alimentacin, salud y educacin). En cambio, a nivel del Distrito Federal, desde 1997 en que el Partido de la Revolucin Democrtica (PRD) se hizo cargo del gobierno, ste ha defendido una mayor intervencin estatal en la solucin de problemas sociales y ha tratado de promover la participacin de la sociedad en los procesos decisorios correspondientes. As mismo ha definido un conjunto de principios rectores de la poltica, plasmados en la Ley de Desarrollo Social del Distrito Federal8, entre los que figuran algunos que marcan diferencias tajantes con la poltica federal: universalidad combinada con criterios de focalizacin territorial, integralidad, avance hacia un enfoque de derechos econmicos, sociales, culturales y ambientales exigibles, participacin ciudadana, entre otros. 3.2. La organizacin de la evaluacin El GF mexicano estuvo durante siete dcadas en poder del PRI. En el largo perodo en que ste fungi como partido hegemnico no se generaron incentivos para impulsar estrategias de evaluacin, slo se implantaron algunos mecanismos de control punitivo que provocaban temor y rechazo en los funcionarios pblicos. Sin embargo, acabando el siglo pasado, los partidos de oposicin fueron ganando cargos en las gubernaturas estatales, los gobiernos municipales y los congresos. Ante esta situacin de incertidumbre creciente y elevado nivel de conflicto, el GF prista propuso la aplicacin de evaluaciones a los programas gubernamentales, estrategia compartida por el Banco Mundial (BM) y el Banco Interamericano de Desarrollo (BID). En consecuencia, la evaluacin externa y sistemtica de los programas pblicos fue asumida en 2001 por el GF panista para responder a una decisin tomada por la
6 El Programa Nacional de Solidaridad (PRONASOL) se cre en diciembre de 1988. En 1997 dio inicio el Programa de Educacin, Salud y Alimentacin (PROGRESA), que se transform, con algunas modificaciones, en el Programa de Desarrollo Humano Oportunidades en 2001 (actualmente vigente). 7 En la presentacin de la nueva medicin muldimensional de la pobreza, realizada en diciembre de 2009, CONEVAL reconoci la necesidad de desarrollar algunas polticas universales (seguridad social, educacin, salud), adems de las polticas focalizadas priorizadas hasta el presente (CONEVAL, 2009b). 8 Aprobada en el ao 2000 y reformada en 2004 y 2009.
EXPERIENCIAS Y CASOS

49

GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

GAPP 5-2011.indb 49

14/01/11 13:47

Myriam Cardozo

Cmara de Diputados. La misma se introdujo en todos los programas gubernamentales relevantes9, pretendiendo cubrir anualmente todo su proceso (incluso la medicin de impacto), sin previa preparacin de funcionarios y formacin de especialistas que hasta ese momento se haban desempeado en un universo ajeno a la cultura de evaluacin, y sin modificar una legislacin poco adecuada para la contratacin de evaluadores externos. En el proceso deban participar mltiples organizaciones (Cmara de Diputados, Secretaras de Estado responsables de los programas evaluados, rgano operadores de los anteriores, Secretara de Hacienda y Crdito Pblico, Secretara de la Funcin Pblica y universidades y centros de investigacin invitados o contratados para aplicar las evaluaciones externas), lo que provoc problemas administrativos internos por falta de experiencia y dificultades en la coordinacin interorganizacional. La evaluacin fue planeada por la secretara responsable de cada programa y fue organizada, contratada y pagada por la organizacin que lo opera, lo que puso de relieve otros problemas: la ausencia de criterios de equidad para la fijacin del monto de recursos disponible para evaluar cada programa, la falta de autonoma financiera del evaluador para garantizar su objetividad, as como la posterior difusin y utilizacin limitada de sus resultados (Cardozo, 2006). En 2006, el GF cre el Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social (CONEVAL)10. El mismo logr avances importantes en la organizacin y funcionamiento del sistema de evaluacin; sin embargo, algunos problemas importantes siguen an sin resolverse. Se trata principalmente de la ausencia de un fondo independiente de recursos para la contratacin de todos los evaluadores, la aplicacin generalizada de mecanismos de contratacin por concurso, y la utilizacin efectiva de los resultados de la evaluacin. Es importante aclarar que el primer problema antes sealado y el cambio en la periodicidad de la evaluacin de los programas, requerira de una modificacin de la legislacin federal vigente. Por su parte, en 2008, el gobierno local del Distrito Federal instal el Comit de Evaluacin y Recomendaciones del Consejo de Evaluacin de la Poltica de Desarrollo Social (Evala DF)11, creado el ao anterior por decreto de su Jefe de Gobierno (de orientacin poltica perredista), ante la necesidad de instrumentar un proceso, casi inexistente en su administracin, que contribuyera a mejorar la gestin de sus programas.
9 En 2002, slo una secretara (Desarrollo Social) tuvo que evaluar 31 programas. 10 El CONEVAL est conformado por el titular de la Secretara de Desarrollo Social federal, seis investigadores acadmicos elegidos por la Comisin Nacional de Desarrollo Social a travs de convocatoria pblica, y un Secretario Ejecutivo designado por el Ejecutivo Federal. 11 Evala DF est compuesto por el Secretario de Desarrollo Social del DF, y seis consejeros ciudadanos seleccionados en convocatoria pblica por la Comisin Interinstitucional de Desarrollo Social del Distrito Federal.

50

EXPERIENCIAS Y CASOS

GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

GAPP 5-2011.indb 50

14/01/11 13:47

ORGANIZACIN Y MTODOS ALTERNATIVOS EN LA EVALUACIN DE POLTICAS Y PROGRAMAS SOCIALES...

Evala DF ha organizado un sistema de evaluacin sustantivamente diferente al federal. En su presentacin se pondr nfasis en las acciones y propuestas de Evala DF frente a los principales problemas identificados en el contexto federal. Reconociendo la limitada aceptacin cultural que la evaluacin tiene entre los funcionarios mexicanos, el relativo nivel de institucionalizacin de esta funcin y de profesionalizacin de quienes la realizan, Evala DF decidi discutir, analizar y capacitar a los servidores pblicos en el tema, en forma paralela al inicio de sus trabajos, proceso que no se realiz a nivel federal. Se espera que el evaluador recoja y juzgue evidencias, pero tambin que acte como facilitador de un proceso de aprendizaje, lo que a mediano plazo implica un cambio en su rol y en las caractersticas requeridas para cumplirlo (interdisciplinariedad, habilidades de negociacin, didcticas, etc.), aspectos resaltados en la experiencia francesa (Monnier, 1995). Durante la capacitacin sealada ha sido muy importante resaltar el papel positivo de la evaluacin, ligado al aprendizaje de los servidores pblicos y de la ciudadana, en contraste con el temido enfoque punitivo aplicado por el GF durante el siglo pasado. Tambin se han sealado las limitaciones de este proceso, de manera que las expectativas generadas sean realistas. A nivel federal, la falta de capacitacin de los funcionarios en el tema se agrav debido a la ausencia de un manual bsico o gua de evaluacin que apoyara especficamente el nuevo trabajo a realizar. En Evala DF se pretende retomar la experiencia de pases como Francia, Gran Bretaa o Canad para la elaboracin de una gua apropiada a nuestro contexto; sin embargo, la urgencia en la realizacin de otras tareas ha venido postergando su elaboracin. Por otra parte y como ya fuera mencionado, en el caso federal, la decisin asumida por la Cmara de Diputados en materia de evaluacin llev a que se tratara de evaluar anualmente todos los programas gubernamentales federales sujetos a Reglas de Operacin, en todos sus aspectos: recursos, procesos, resultados e impactos. Esto resulta muy ambicioso, ningn pas lo ha hecho, y se corre un altsimo riesgo de transformar a la evaluacin en un procedimiento superficial y rutinizado (como el que vivi Canad a inicios de los noventa), que busca cumplir una disposicin legal sin hacer una contribucin real al mejoramiento de los programas. Para evitar dicho riesgo, en 2008, Evala DF solicit la evaluacin externa de diseo y operacin (postergando la medicin de resultados e impactos) de slo 13 programas12, seleccionados con base en una combinacin de diversos criterios (presupuesto del programa, visibilidad y sensibilidad ante la poblacin, programas centrales y delegacionales, entre
12 Los programas mencionados fueron: - Pensin alimentaria para adultos mayores; - Acceso gratuito a los servicios mdicos y medicamentos de las personas residentes en el DF que carecen de seguridad social laboral; - Apoyo econmico a las personas con discapacidad; - Atencin integral de cncer de mama en el DF; - Microcrditos para actividades productivas de autoempleo; - Vivienda en conjunto; - Mejoramiento de vivienda y/o lote familiar del DF; - Estmulos para el bachillerato universal; - Programas de Desarrollo Social de las Delegaciones Iztapalapa, Gustavo A. Madero, A. Obregn, Tlhuac y M. Hidalgo.

EXPERIENCIAS Y CASOS

51

GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

GAPP 5-2011.indb 51

14/01/11 13:47

Myriam Cardozo

otros). En 2009, en cambio, se opt por solicitar la evaluacin de la formulacin e implementacin de cuatro polticas sociales13 (no slo de programas), nivel en que la experiencia internacional es casi inexistente. Para la contratacin de los evaluadores, Evala DF comenz por hacer una amplia convocatoria para conformar su padrn (el que se mantiene abierto en forma continua), seleccionando a los interesados que demostraron contar con conocimientos y experiencia en la materia. Posteriormente, se invit a todos los que quedaron inscritos en el padrn a participar, va concurso, en la realizacin de la primera y segunda rondas de trabajos, evitando as los procedimientos federales centrados en la invitacin a tres o ms instituciones y, en casos extremos, la asignacin directa. En su seleccin se tom en cuenta no slo el compromiso de cumplimiento de lo solicitado por los Trminos de Referencia, sino la calidad que puede ofrecer el equipo evaluador y su solvencia tica. Adicionalmente, la experiencia federal muestra equipos de evaluadores que tienden a concentrar varias evaluaciones al mismo tiempo como forma de incrementar sus ingresos, lo que puede reducir la calidad del trabajo. Por ello Evala DF limit a dos el nmero de evaluaciones que un mismo equipo podra realizar. En las dos primeras rondas de trabajos ningn equipo evalu ms de un programa o poltica. Como ya se mencion, un aspecto importante para garantizar lo ms posible la necesaria independencia del evaluador es evitar que su pago sea realizado con recursos del mismo programa que est evaluando, problema que se presenta en la experiencia federal. En contraste, Evala DF conforma un fondo especfico que distribuye los recursos disponibles de manera autnoma y en funcin de la complejidad del trabajo a realizar. Adems, los montos a pagar son trasparentados desde la convocatoria y no quedan sujetos a competencia, como sucede en la experiencia federal. Evala DF interviene a lo largo de todo el proceso de evaluacin, en particular, poniendo en prctica procedimientos de acompaamiento del evaluador para superar gilmente los problemas a que ste se enfrenta. De manera muy especial, en el caso de la contratacin de evaluaciones externas (en forma similar al Consejo Cientfico de la Evaluacin en Francia), Evala DF opina sobre la propuesta tcnica (metodologa, fuentes de informacin, mecanismos de participacin, contenido tentativo del informe, cronograma de trabajo, etc.) que los equipos postulantes presentan y, una vez finalizado el trabajo, elabora un dictamen sobre la calidad del informe presentado: sus datos, mtodos, conclusiones y recomendaciones. Con base en el anterior, Evala DF redacta sus propias recomendaciones, mismas que tienen carcter de vinculatorio u obligatorio, diferencia sustantiva con el procedimiento federal, que se espera permita la efectiva utilizacin de los resultados encontrados para el mejoramiento del diseo, eficacia, eficiencia, equidad y calidad
13 Las polticas en proceso de evaluacin en 2009 incluyen: Infancia, Juventud, Acceso al agua potable, y Promocin del empleo y proteccin del trabajo.

52

EXPERIENCIAS Y CASOS

GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

GAPP 5-2011.indb 52

14/01/11 13:47

ORGANIZACIN Y MTODOS ALTERNATIVOS EN LA EVALUACIN DE POLTICAS Y PROGRAMAS SOCIALES...

de los programas en curso. Adems, este Comit ha diseado un sistema de seguimiento de la aplicacin de dichas recomendaciones y del impacto que van logrando en el programa, a fin de garantizar una verdadera gestin por resultados. Dicho sistema recin se est poniendo en prctica debido a que acaban de emitirse 121 recomendaciones vinculantes de la primera ronda, de la cuales 86 han sido aceptadas total o parcialmente por los programas evaluados, y con ellas se est iniciando el proceso. Frente al casi nico mtodo de difusin de los informes finales empleado por CONEVAL (pginas de Internet), Evala DF considera importante divulgar ampliamente (como lo hace Costa Rica, por ejemplo) una sntesis de los resultados de las evaluaciones en peridicos y revistas de amplia circulacin, para fomentar el debate ciudadano. Complementariamente, considera la posibilidad de publicar en forma de libro algunas evaluaciones seleccionadas. Sin embargo, a la fecha es poco lo que se ha podido realizar debido a restricciones presupuestales. En resumen, podemos esquematizar la prctica de evaluacin desarrollada a nivel federal y contrastarla con la emergente en el GDF (acciones y propuestas) en materia de organizacin: TABLA I Comparacin de la organizacin de la evaluacin en Mxico
Prctica emergente en el GDF Imparticin efectiva de cursos y diplomados Proceso implantado sin preparacin previa. en evaluacin. Propuesta de elaboracin de guas para facilitar el trabajo. Propuesta de evaluacin plurianual de alguEvaluacin anual de todos los programas gu- nos programas seleccionados con base en cribernamentales sujetos a Reglas de Operacin. terios explcitos. Evaluacin en curso de polticas sociales. Evaluacin anual de todos los aspectos del Evaluacin plurianual de aspectos seleccionaprograma, incluido su impacto. dos, incluida la percepcin de impacto. Convocatoria por invitacin o asignacin diConvocatoria por concurso abierto. recta. Posible acumulacin de mltiples trabajos de Limitacin efectiva del nmero de evaluacioevaluacin en paralelo. nes a realizar al mismo tiempo. Monto preestablecido y trasparentado en la Monto de los contratos sujeto a concurso. convocatoria. Pago efectuado por el propio programa evaCreacin de un fondo independiente para el luado con su presupuesto (salvo evaluaciones pago de las evaluaciones. contratadas directamente por CONEVAL). Recomendaciones efectuadas por el Comit Limitada consideracin de las recomendacio- con carcter vinculante para las polticas y prones en la gestin de los programas. gramas evaluados. Proceso reciente cuya efectividad an no puede ser valorada. Propuesta de amplia difusin de resultados en Difusin de informes casi exclusivamente por peridicos, revistas, y de ser posible, libros; Internet. adems de Internet. Aplicacin an limitada.
Fuente: Elaboracin propia a partir de la informacin contenida en: <http://www.sedesol.gob.mx>, <http:// www.coneval.gob.mx> y <http://www.evalua.df.gob.mx>.

Prctica desarrollada en el GF

EXPERIENCIAS Y CASOS

53

GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

GAPP 5-2011.indb 53

14/01/11 13:47

Myriam Cardozo

El contraste anterior, si bien en algunos casos no alcanza a denotar acciones sustancialmente diferentes debido a la mayor antigedad de la prctica federal, seala propuestas y procesos de planeacin que implican diferencias de valores y de criterios de organizacin y decisin. 3.3. Los mtodos de evaluacin Desde sus comienzos la evaluacin federal se ha mostrado interesada en la bsqueda de los mtodos ms rigurosos y objetivos, lo que la ha llevado a preferir las mediciones cuantitativas y las mediciones de impacto mediante mtodos experimentales. En la prctica, stos ltimos han sido poco utilizados por falta de grupo de control, de informacin sobre la lnea de base del programa, o de presupuesto para cubrir su costo. Por otro lado, la evaluacin no ha sido cuidadosa en la determinacin de tamaos muestrales de las encuestas, sus mecanismos de seleccin, y su inclusin en el informe, de manera que el lector pueda valorar la calidad de la informacin en que se bas el trabajo realizado. Tambin ha tendido a priorizar la expertise sobre la participacin social, a lo sumo se limita a la respuesta de encuestas por los beneficiarios, y la especializacin econmica y economtrica sobre otras disciplinas. La creacin del CONEVAL, aunque se ha caracterizado por la continuidad metodolgica de fondo, ha resuelto algunos problemas importantes como el contar con lineamientos ms claros para la ejecucin del trabajo o incluir en forma expresa la evaluacin del diseo del programa (originalmente referida slo a su operacin) y solicitar su reestructuracin con base en el Marco Lgico. Tambin ha introducido una clasificacin de los tipos de evaluacin de programas que planea realizar: de consistencia y resultados, de indicadores, de procesos, de impacto y especficas (no incluidas en las categoras anteriores). En 2007 el primer tipo, que incluye el diseo del programa, la planeacin estratgica, la cobertura y focalizacin, la operacin, la percepcin de la poblacin objetivo y los resultados, se estandariz mediante un conjunto de preguntas con respuestas dicotmicas aplicables a los 106 programas evaluados (34 preguntas exclusivamente para diseo y 100 para consistencia y resultados en su conjunto). En el caso de Evala DF, puesto que los estudios experimentales y cuasiexperimentales requieren la seleccin de un grupo al que se le aplica el programa y otro de control, con las mismas caractersticas, pero que no recibe los bienes, servicios o transferencias entregados por el programa, su poltica prioritariamente universal y basada en derechos, no permite identificar a un grupo excluido del programa, salvo que ste se autoexcluya, en cuyo caso ya no es igual al compuesto por quienes deciden obtener el apoyo del mismo. Por esta razn, por sus altos costos y, muy fundaGAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

54

GAPP 5-2011.indb 54

EXPERIENCIAS Y CASOS

14/01/11 13:47

ORGANIZACIN Y MTODOS ALTERNATIVOS EN LA EVALUACIN DE POLTICAS Y PROGRAMAS SOCIALES...

mentalmente, por los mltiples problemas ticos que implica, Evala DF se propone utilizarlos slo en casos excepcionales. Por otra parte, Evala DF aparece menos preocupado por la objetividad de las mediciones, ms abierto a la utilizacin de mtodos tanto cuantitativos como cualitativos, ms interesado en la participacin de las organizaciones sociales y los ciudadanos en general, y en la conformacin de equipos multidisciplinarios donde el peso relativo de cada disciplina depende del programa evaluado. Por ltimo, el Comit local considera que cada evaluacin debe construirse en funcin del tipo de programa a evaluar (de transferencias, de servicios, de construccin de infraestructura, entre otras), del rea en que se trabaje (salud, educacin, vivienda, transporte, etc.), de la etapa del proceso en que se han detectado problemas (diseo, operacin, resultados, impactos), y cualquier otro criterio que resulte relevante en el caso particular. As mismo, que el evaluador experimentado debe gozar de libertad para definir los mtodos con los cuales cumplir con los objetivos de la evaluacin solicitada. Sin embargo, al planear la primera ronda de evaluaciones en 2008, ante la limitada informacin disponible sobre la gestin de los programas, la urgencia por iniciar los procesos, y la demora en la elaboracin de una gua de evaluacin, Evala DF decidi elaborar un amplio cuestionario nico para la evaluacin de diseo y operacin solicitada en esa oportunidad. Adicionalmente, en 2009, al poner en marcha las evaluaciones de polticas, Evala DF dise Trminos de Referencia ad hoc para cada una de ellas. Estos incluyen el listado de asuntos a revisar, pero ya no predefinen cuestionario alguno. A la fecha el Comit local no ha solicitado an evaluaciones de impacto o de satisfaccin de la poblacin, que requieran trabajo de campo. Cuando esto se realice se planea que su informe incluya un anexo en que se especifique y fundamente la forma en que fue determinada la o las muestras de la poblacin encuestada, as como los parmetros utilizados en su clculo y las limitaciones de la misma. Por ltimo, si bien a nivel federal se ha mencionado el inters de realizar una metaevaluacin, con asesora de un organismo internacional, que analice, valore y contribuya a mejorar la calidad de las evaluaciones realizadas, no se tiene conocimiento de que la misma haya sido realizada. Evala DF, considerando la importancia de reflexionar sobre lo realizado en su primer ao de trabajo, ha puesto en prctica una metaevaluacin que analizar todo el proceso desarrollado. Esquemticamente, las diferencias ms relevantes encontradas entre los mtodos de evaluacin del GF y el GDF, incluyen:

EXPERIENCIAS Y CASOS

55
GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

GAPP 5-2011.indb 55

14/01/11 13:47

Myriam Cardozo

TABLA II

Comparacin de mtodos de evaluacin

GF Busca descubrir una verdad objetiva y nica. GDF Reconoce la existencia de mltiples y subjetivas verdades.

Considera que los estudios experimentales Aspira a la realizacin de estudios experison muy difciles y costosos, no han dado los mentales como la forma ms rigurosa de resultados tcnicos esperados y tienen imidentificar los impactos de un programa. portantes connotaciones ticas negativas. Propone que cada evaluacin debe consConsidera que todos los programas deben truirse en funcin de las caractersticas espeser evaluados en forma similar. cficas del programa. Valora la cuantificacin (medicin y pruebas) Estima tanto la contribucin de los mtodos muy por encima de la aplicacin de mtodos cuantitativos como de los cualitativos (intercualitativos. pretacin, comprensin). Realiza trabajos especializados pero proPromueve la realizacin de trabajos por exmueve la participacin social para generar pertos, en detrimento de la participacin aprendizaje ciudadano y credibilidad de la social. evaluacin. Prioriza el anlisis disciplinario de corte eco- Enfatiza la necesidad de contar con equipos nmico. interdisciplinarios pertinentes al programa. Se desconoce si ha realizado alguna metae- Est llevando a cabo la metaevaluacin de su valuacin. primera ronda de evaluaciones.
Fuente: Elaboracin propia.

Las caractersticas contrastadas nos llevan a identificar una mayor tendencia federal hacia el enfoque positivista de evaluacin, mientras que el mtodo empleado por el GDF presenta ms connotaciones de ndole constructivista. 4. CONCLUSIONES El estudio emprico, desarrollado a partir del marco terico expuesto, muestra que los problemas de pobreza y desigualdad continan siendo muy fuertes en Mxico; la primera incluso se ha incrementado a partir de 2006, lo que si bien se relaciona con la crisis mundial, el desempleo, el incremento del precio de los alimentos y la disminucin de las remesas recibidas del exterior, tambin cuestiona la efectividad de las polticas y programas sociales aplicados, especialmente en la ltima dcada. Como fue referido, los principios y criterios que guan el diseo de dichas polticas a nivel federal y del GDF son sustantivamente diferentes y responden a concepciones filosficas y polticas opuestas en torno al debate del intervencionismo estatal. Ante el cuestionamiento de las mismas, CONEVAL ha reconocido la insuficiencia
GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

56

GAPP 5-2011.indb 56

EXPERIENCIAS Y CASOS

14/01/11 13:47

ORGANIZACIN Y MTODOS ALTERNATIVOS EN LA EVALUACIN DE POLTICAS Y PROGRAMAS SOCIALES...

de las polticas focalizadas y la necesidad de complementarla con algunas polticas de carcter universal. Por su parte, Evala DF ha argumentado los errores de inclusin y exclusin cometidos por el programa Oportunidades y la poca efectividad de los programas focalizados en general. Para ello ha calculado la efectividad de las polticas de ambos gobiernos en la reduccin de la pobreza: 0,98 y 2,85% para el nivel nacional y el Distrito Federal respectivamente en el caso de pobres; y 6,77 y 9,18% en el mismo orden para indigentes (Evala DF, 2009). Lo anterior, sin negar la gravedad de la situacin local en que est viviendo la mitad de la poblacin y la necesidad de proponer ajustes en la formulacin e implementacin de la poltica social del GDF. En materia de evaluacin, a pesar de que el GF tiene ya una cierta consolidacin en su organizacin y sus mtodos, y una experiencia acumulada de aproximadamente 10 aos, el aprendizaje realizado a partir del anlisis de experiencias extranjeras y del propio GF, est permitiendo a Evala DF organizarse y definir un enfoque metodolgico emergente y novedoso para el contexto mexicano, que se espera se traduzca en mayor efectividad de los programas (recomendaciones profundamente analizadas y vinculantes) y mayor desarrollo de ciudadana (mejor informada y participante). Las diferencias encontradas en los dos sistemas de evaluacin estudiados son mltiples en el plano metodolgico, pero resultaron an ms numerosas en el organizativo, que juega un papel relevante en facilitar las condiciones que permiten a un especialista en mtodos de evaluacin arribar a la elaboracin de un informe de calidad en sus anlisis, conclusiones y recomendaciones. La organizacin del sistema tambin es responsable de que las recomendaciones resulten efectivamente incorporadas, despus del estudio minucioso de su viabilidad, al rediseo y la gestin del programa. El trabajo emprico realizado permite enriquecer el inventario de experiencias de evaluacin disponibles, cuya efectividad ser posible comparar con el transcurso del tiempo. Pero su estudio ha servido fundamentalmente para llamar la atencin sobre la dimensin organizativa de la evaluacin, que en la primera parte del trabajo se muestra relativamente descuidada en comparacin con el intenso tratamiento merecido por la discusin metodolgica. REFERENCIAS BIBLIOGRFICAS Y DOCUMENTALES Banco Mundial (BM) (2001), Attacking poverty. World development report 2000/2001. Washington, DC. (2004), La pobreza en Mxico: una evaluacin de las condiciones, las tendencias y la estrategia del gobierno. Mxico, DF: Banco Mundial. Banco Interamericano de Desarrollo (BID) (1997), Evaluacin, una herramienta de gestin para mejorar el desempeo de los proyectos. Washington, DC: Oficina de Evaluacin. (2000), Economic and social report 1998-1999. Washington, DC: IDB.
GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

EXPERIENCIAS Y CASOS

57

GAPP 5-2011.indb 57

14/01/11 13:47

Myriam Cardozo

58

Boltvinik, J. (1998), 15 millones de pobres extremos!, La Jornada (Mxico, DF), 16 de octubre de 1998. Campbell, D. y Stanley, J. (1966), Experimental and quasi-experimental designs for research. Chicago: Rand McNally. Cardozo Brum, M. (2006), La evaluacin de polticas y programas pblicos. El caso de los programas de desarrollo social en Mxico, Coleccin Conocer para Decidir. Mxico, DF: Cmara de Diputados y M. A. Porra. (2008), Gestin y evaluacin participativas en polticas sociales, Revista Poltica y Cultura, 30: 137-164. (2009), La evaluacin de programas de desarrollo social en el contexto de la Administracin Pblica mexicana, Revista Convergencia, 16(49): 175-198. (2009), Evaluacin y metaevaluacin en los programas mexicanos de desarrollo social. Mxico, DF: Universidad Autnoma Metropolitana - Xochimilco. Chanut, V. (2002), Lvaluation: affaire dtat ou question dorganisations?, Politiques et Management Public, 20(4): 1-50. Comisin Econmica para Amrica Latina (CEPAL) (2008), Panorama social de Amrica Latina 2008. Chile: Naciones Unidas. Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social (CONEVAL) (2009a), Informe de evaluacin de la poltica de desarrollo social en Mxico 2008. En lnea: <http://www.coneval.gob.mx> (consulta: 21 julio 2009). (2009b), Metodologa para la medicin multidimensional de la pobreza. Resultados nacionales y por entidad federativa, 2008. En lnea: <http://www.coneval.gob. mx> (consulta: 4 enero 2010). Cooke, B. y Kothary, U. (2001), Participation: the new tyranny? London: Zed Books. Deleau, M., Nioche, J.P., Penz, P. y Poinsard, R. (1986), Evaluer les politiques publiques: mthodes, dontologie, organisation. Francia: La Documentation Franaise. Duran, P. (1999), Penser laction publique. Pars: Droit et Socit, vol. 27. European Evaluation Society (EES) (2002), Tres movimientos en la evaluacin contempornea: aprendizaje, teora y pruebas, Convocatoria a la V Conferencia Bienal, Espaa. En lnea: <http://www.europeanevaluation.org> (consulta: 10 octubre 2010). Evala DF (2009), Anlisis de la situacin de la pobreza en el DF, Mxico, DF. En lnea: <http://www.evalua.df.gob.mx> (consulta: 4 enero 2010). Garca Snchez, E. (2009), Metaevaluacin de polticas pblicas: una visin desde la ciencia poltica, Revista Reforma y Democracia, 43: 129-154. Gobierno del Distrito Federal (GDF) (2006), La poltica social del gobierno del Distrito Federal 2000-2006. Una valoracin general. Mxico, DF: Secretara de Desarrollo Social. (2008), Segundo Informe de Trabajo. Mxico, DF: Secretara de Desarrollo Social. Guba, E.G. y Caracelli, V. (1989), Fourth generation evaluation. Newbury Park, CA: Sage Publications. Hernndez Laos, E. (1991), Crecimiento econmico y pobreza en Mxico. Una agenda para investigacin. Mxico, DF: Universidad Autnoma Metropolitana. Lascoumes, P. y Setbon, M. (1996), Lvaluation pluralista des politiques publiques. Enjeux, pratiques, produits. Pars: GAPP-CNRS-CGP.
GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

GAPP 5-2011.indb 58

EXPERIENCIAS Y CASOS

14/01/11 13:47

ORGANIZACIN Y MTODOS ALTERNATIVOS EN LA EVALUACIN DE POLTICAS Y PROGRAMAS SOCIALES...

Le Moigne, J. L. (1994), Le constructivisme. Pars: ESF. Mayntz, R. (1987), Sociologa de la organizacin. Madrid: Alianza. Medina, F. y Galvn, M. (2008), Descomposicin del coeficiente de Gini por fuentes de ingreso: evidencia emprica para Amrica Latina 1999-2005, Santiago de Chile. CEPAL Serie Estudios Estadsticos y Prospectivos, 63. Mny, Y. y Thoenig, J. C. (1995), Las polticas pblicas. Barcelona: Ariel. Monnier, E. (1995), Evaluacin de la accin de los poderes pblicos. Madrid: Instituto de Estudios Fiscales. Nioche, J. P. (1982), De lvaluation lanalyse des politiques publiques, Revue Franaise de Science Politique, 66: 32-61. Nioche, J. P. y Poinsard, R. (1994), Lvaluation des politiques publiques. Pars: Economica. Organisation for Economic Co-operation and Decelopment (OECD) (2001), Evaluation feedback for effective learning and accountability. En lnea: <http:// www.oecd. org/dataoecd/10/29/2667326.pdf> (consulta: 4 de noviembre 2002). ODonnell, G. y Oszlak, O. (1976), Estado y polticas estatales en Amrica Latina, hacia una estrategia de investigacin. Buenos Aires: CEDES. Oszlak, O. (1980), Polticas pblicas y regmenes polticos, reflexiones a partir de algunas experiencias latinoamericanas. Buenos Aires: Estudio CEDES 3(2). Sann, H. (1999), Control de gestin y evaluacin de resultados en la gerencia pblica, CEPAL-ILPES Serie manuales, 3. Thoenig, J. C. (1998), Lvaluation de laction publique locale, en M. C. Kesller et al., valuation des politiques publiques. Paris: LHarmattan. (2002), Lvaluation en actes. Leons et perspectives, Nmero especial Politiques et Management Public, 20(4): 1-50. Weiss, C. (1982), Investigacin evaluativa. Mxico, DF: Trillas. (1998), Evaluation. Methods for studying programs and policies. Upper Saddle River, NJ: Prentice Hall.
Recibido: 5 de agosto de 2009 Aceptado: 5 de enero de 2010

EXPERIENCIAS Y CASOS

59
GAPP. Nueva poca, n 5, enero-junio 2011, pp. 43-59, ISSN: 1134-6035

GAPP 5-2011.indb 59

21/01/11 08:36