El Sistema Publico de Evaluacion en Navarra 1

EL SISTEMA PBLICO DE EVALUACIN EN NAVARRA
COOPERACIN
LEY Y DESARROLLOS NORMATIVOS
RECURSOS Y HERRAMIENTAS
ORGANISMOS E INFRAESTRUCTURAS
DIFUSIN
CAPACITACIN Y SENSIBILIZACIN
El sistema pblico de evaluacin en Navarra
ndice
PRELIMINAR Y AGRADECIMIENTOS...................................................................................................... 7 PRESENTACIN .................................................................................................................................... 9 1. OBJETIVOS DE ESTE DOCUMENTO .................................................................................................. 11 2. DEFINICIN DE UN SISTEMA PBLICO DE EVALUACIN EN NAVARRA ............................................ 13 2.1. QU SE ENTIENDE POR INSTITUCIONALIZACIN DE LA EVALUACIN? ............................... 13 2.1.1. Origen y desarrollo de la evaluacin .................................................................................. 13 2.1.2. La Sociedad Espaola de Evaluacin de Polticas Pblicas ................................................. 16 2.1.3. La Agencia Estatal de Evaluacin de las Polticas Pblicas y de la calidad de los servicios.... 17 2.1.4. Principales hitos en el proceso de institucionalizacin en el mbito estatal y el autonmico de la Comunidad Foral de Navarra .......................................................... 19 2.1.5. El concepto de institucionalizacin de la evaluacin .......................................................... 19 2.2. DEFINICIN DE SISTEMA PBLICO DE EVALUACIN: QU ELEMENTOS LO INTEGRAN? ...... 21 2.2.1. El interior de un sistema pblico de evaluacin (componentes bsicos) ........................... 22 2.2.2. El entorno de un sistema pblico de evaluacin: sistemas con los que interacta y elementos de influencia .................................................................................................. 23 2.3. EL DESARROLLO DE LA CAPACIDAD DE EVALUACIN: CONSECUENCIA DE LA PUESTA EN MARCHA DE UN SISTEMA PBLICO DE EVALUACIN ........................................ 24 2.4. CLAVES PARA EL PROCESO DE INSTITUCIONALIZACIN DE LA EVALUACIN DE POLTICAS PBLICAS Y DISEO DEL SISTEMA PBLICO DE EVALUACIN EN NAVARRA ....... 25 3. EL PROCESO DE CONFIGURACIN DEL SISTEMA PBLICO DE EVALUACIN EN NAVARRA ............... 29 3.1. PROCESO DE DISEO E IMPLANTACIN DEL SISTEMA PBLICO DE EVALUACIN EN LA COMUNIDAD FORAL DE NAVARRA ............................................................................ 29 3.1.1. Elementos y claves del modelo de sistema pblico de evaluacin de la Comunidad Foral de Navarra ................................................................................................................ 29 3.1.2. Detalles del diseo y plan de actuaciones para la configuracin del sistema pblico de evaluacin navarro........................................................................................................ 32 3.2. FASE I. PRE-LEGISLATIVA...................................................................................................... 34 3.3. FASE II. LEGISLATIVA............................................................................................................ 35 3.3.1. Proceso de aprobacin y entrada en vigor del texto legislativo ......................................... 35 3.3.2. Contenido del texto legislativo ........................................................................................... 35 3.3.3. Plan de medidas especfico para cada mbito de evaluacin............................................. 43
El Sistema Pblico de Evaluacin en Navarra
3.4. FASE III. DEFINICIN DEL PLAN DE ACTUACIONES PARA MATERIALIZAR EL SISTEMA PBLICO DE EVALUACIN EN NAVARRA .......................................................... 47 3.4.1. Evaluacin de polticas pblicas ......................................................................................... 47 3.4.2. Evaluacin de la calidad de los servicios pblicos .............................................................. 48 3.5. FASE IV. IMPLEMENTACIN DEL PLAN DE ACTUACIONES: DESARROLLO DE LOS COMPONENTES DEL SISTEMA PBLICO DE EVALUACIN NAVARRO ..... 48 3.5.1. Marco normativo ................................................................................................................ 49 3.5.2. Marco organizativo e infraestructuras ................................................................................ 54 3.5.3. Marco de capacitacin y sensibilizacin ............................................................................. 58 3.5.4. Marco de difusin ............................................................................................................... 61 3.5.5. Marco metodolgico (recursos y herramientas)................................................................. 64 3.5.6. Marco de cooperacin ........................................................................................................ 72 3.6. SEGUIMIENTO Y EVALUACIN DE LAS ACTUACIONES IMPLEMENTADAS PARA LA CONFIGURACIN DEL SISTEMA PBLICO DE EVALUACIN NAVARRO ............................. 75 3.6.1. Evaluacin conceptual de la Ley Foral 21/2005, de 29 de diciembre, de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos ............... 75 3.6.2. Evaluacin del grado de aplicacin de la Ley Foral 21/2005, de 29 de diciembre, de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos ............... 77 3.6.3. Actuaciones realizadas como consecuencia de la evaluacin conceptual y de aplicacin de la Ley Foral 21/2005 ............................................................................. 80 3.6.4. Anlisis de la percepcin ciudadana sobre los servicios pblicos ...................................... 85 4. REFLEXIN Y PLANTEAMIENTO DE RETOS FUTUROS ...................................................................... 87 5. BIBLIOGRAFA ................................................................................................................................ 89 6. ANEXOS ......................................................................................................................................... 95
Ttulo: El Sistema Pblico de Evaluacin en Navarra. Autor: Instituto Navarro de Administracin Pblica. Ao: 2011. Institucin: Gobierno de Navarra. Diseo y maquetacin: Exea Comunicacin. Licencia: CC. Reconocimiento (Attribution): El material creado por un artista puede ser distribuido, copiado y exhibido por terceras personas si se muestra en los crditos. El Sistema Pblico de Evaluacin en Navarra 6
Preliminar y agradecimientos
resentar este libro me llena de satisfaccin y, a la vez, de compromiso. Cuando lo he ledo, me he acordado de Antonio Machado. ste expresaba que solo el necio confunde el valor con el precio. De ah, mi compromiso como Consejero de poner en valor nuestras Administraciones Pblicas. Y que ese valor supedite al mercado. Pero para ello es preciso que nuestra accin, nuestras polticas pblicas, no las convirtamos en una inercia ms y que las evaluemos. As, los sistemas de evaluacin deben ser apreciados en dos sentidos. Por un lado, reconocimiento de las aportaciones de lo pblico a la ciudadana. Y por otro, ponderacin de esas aportaciones para su propia revisin y adaptacin. Los sistemas de evaluacin son ms necesarios que nunca en el momento en que estamos. Un momento lleno de dudas e incertidumbres. Condicionado por una crisis que ya presupone una antesala a un importante cambio. Por ello, queremos gobernar o influir en ese cambio desde nuestros valores. Y para ello, nada mejor que lo que tenemos. En el ao 2007 el Instituto Navarro de Administracin Pblica asumi el compromiso de contribuir al desarrollo de la Ley Foral 21/2005 de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos e hizo propio el objetivo principal de la Ley, la constitucin de un sistema pblico de evaluacin en Navarra. Si el objetivo de la poltica pblica es aportar soluciones a problemas y necesidades detectadas en la sociedad, se puede considerar la evaluacin como un colaborador necesario para definir con racionalidad y coherencia los objetivos y acciones de las intervenciones pblicas. El sector pblico debe estar al servicio de la ciudadana y rendir cuentas de sus actuaciones, obrar de forma transparente y hacer efectiva la participacin de la ciudadana en la toma de decisiones. La prctica de la evaluacin cumple con todas estas condiciones del mismo modo que contribuye a la mejora de los
programas de intervencin pblica, fomenta la eficiencia e introduce mayor racionalidad y coherencia en los procesos de toma de decisiones. El sistema pblico de evaluacin navarro se ha constituido como un marco comn que gua la actividad de evaluacin en el sector pblico de Navarra. El camino recorrido para desarrollar la capacidad de evaluacin en las administraciones navarras supone un comienzo correcto y til. Todos los componentes bsicos de un sistema de evaluacin estn diseados y se han puesto en marcha. No ha sido una tarea fcil. Ha sido una iniciativa pionera a nivel estatal y autonmico y por tanto ha sido todo un reto constituir y desarrollar un sistema pblico de evaluacin en un contexto innovador y desde la perspectiva de voluntariedad y flexibilidad que caracteriza al soporte jurdico que lo sustenta. La evaluacin es una prctica de excelencia que da ojos y odos al Estado y voz a la Sociedad. La Institucionalizacin de la evaluacin requiere una actitud institucional de respaldo y la implicacin y compromiso de las personas con responsabilidad poltica y capacidad de decisin dentro de la Administracin. Slo as ser posible que se convierta en una prctica habitual y no diferenciada de la accin pblica y que la cultura de evaluacin impregne todas las capas de la administracin. Slo as ser posible que el sistema pblico de evaluacin de Navarra perdure y evolucione. Finalmente, agradezco sinceramente a los miembros de la Comisin Foral de Evaluacin y al equipo humano del Instituto Navarro de Administracin Pblica, la motivacin y el empeo en el impulso de esta nueva cultura pblica. Que tal como he dicho, es tambin mi compromiso personal en esta legislatura. Roberto Jimnez Consejero de Presidencia, Administraciones Pblicas e Interior
Presentacin
ste documento presenta el proceso de constitucin y desarrollo del sistema pblico de evaluacin llevado a cabo en la Comunidad Foral de Navarra entre los aos 2006 y 2010, para dar cumplimiento a los requerimientos de la Ley Foral 21/2005, de 29 de diciembre, de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos. La Ley define los criterios y principios sobre los que se asentarn los elementos bsicos del sistema de evaluacin y crea, desde el inicio, una estructura organizativa responsable de liderar el proceso: la Comisin Foral para la evaluacin de las polticas pblicas y de la calidad de los servicios pblicos y una herramienta de seguimiento: el Registro de Evaluacin, que regula la inscripcin de las acciones que se desarrollen en las Administraciones Pblicas de Navarra en relacin con la evaluacin de polticas pblicas y la calidad de los servicios. En el ao 2007 se crea el Servicio de Calidad de las Polticas y Servicios Pblicos, dentro de la estructura orgnica del INAP (Instituto Navarro de Administracin Pblica), con la finalidad principal de proporcionar asistencia tcnica a la Comisin Foral. De esta manera ambos organismos se erigen como los principales impulsores de la cultura de la evaluacin en la Comunidad Foral. Para cumplir este propsito, a partir de una serie de ejes prioritarios de actuacin, se han elaborado un conjunto de recursos de carcter metodolgico e institucional dirigidos a cada uno de los programas previstos en la Ley Foral, con la firme voluntad de introducir e impulsar en las Administraciones Pblicas de Navarra una cultura de evaluacin de lo pblico. El sistema no slo pretende la obtencin de evaluaciones como un fin en s mismas, sino convertirse en un medio para introducir las mejoras necesarias en el proceso de elaboracin, gestin y ejecucin de las polticas pblicas y de la calidad de los servicios pblicos.
Con el fin de articular la informacin disponible en este documento de una manera selectiva, su contenido se ha estructurado de la siguiente manera: Tras el captulo de introduccin, donde se recogen datos de contexto, objetivos y la metodologa utilizada para la elaboracin de este trabajo, en el captulo 2 se presenta un breve apunte terico sobre el concepto, definicin y elementos de un sistema pblico de evaluacin segn diferentes autores, que ha servido como gua para sentar las bases del modelo configurado en la Administracin Pblica de Navarra. El captulo 3 describe el proceso seguido en el diseo y desarrollo de un sistema pblico de evaluacin en la Comunidad Foral de Navarra. Se incluye, as mismo, una referencia a las tareas de seguimiento y evaluacin desarrolladas en el transcurso de conformacin de este modelo de sistema y que han permitido reformular y planificar la actuacin a corto y medio plazo, a partir de las conclusiones y recomendaciones obtenidas tras los anlisis efectuados. En el captulo 4, se apuntan las actuaciones previstas por la Comisin Foral de Evaluacin para afrontar los retos futuros del sistema pblico de evaluacin de Navarra. El documento finaliza con un apartado de bibliografa y un Anexo que muestra la pgina web desde donde se puede acceder a los materiales de soporte elaborados por el INAP, con el fin de favorecer la labor de las personas responsables de aplicar los programas de actuacin contemplados en la Ley Foral 21/2005. Teniendo en cuenta que una de las caractersticas fundamentales de la Ley Foral 21/2005 -adems de su voluntariedad- es su dinamismo y flexibilidad, el recorrido desarrollado en estos aos deber servir para mejorar en el futuro y enriquecerse a partir de la experiencia de aprendizaje compartido. Se trata de un modelo vivo, modificable en el tiempo y flexible, con capacidad de crecer y de adaptarse a nuevas necesidades y realidades futuras.
1
Objetivo general
Objetivos de este documento

Difundir el instrumento operativo de seguimiento creado para regular la inscripcin de las acciones que se desarrollen en las Administraciones Pblicas de Navarra en relacin con la evaluacin de polticas pblicas y de la calidad de los servicios pblicos: el Registro de Evaluacin. Comunicar las herramientas de carcter metodolgico diseadas para ofrecer apoyo a las personas responsables de poner en marcha los preceptos de la Ley y asegurar el cumplimiento de su objetivo general. Dar a conocer las principales conclusiones y resultados obtenidos tras el proceso de evaluacin de la aplicacin de la Ley Foral 21/2005 puesto en marcha tres aos despus de su entrada en vigor, tal y como exige su disposicin adicional primera. Presentar el programa de mejora previsto por el Servicio de Calidad de las Polticas y Servicios Pblicos del Instituto Navarro de Administracin Pblica (INAP) para 2010 y 2011 en materia de evaluacin de polticas pblicas y de calidad de los servicios pblicos. Dar a conocer el Plan de trabajo previsto por la Comisin Foral para el ao 2011, como paso previo a un proceso de reflexin estratgico que pretende definir un marco de actuacin futuro de la evaluacin en Navarra.
El documento presentado en estas pginas est fundamentado en un marco terico basado en un riguroso y sistemtico anlisis documental, en la revisin y estudio de la literatura cientfica existente, as como en la consulta de diversa bibliografa que se cita en el captulo cinco. Tiene, por tanto, una perspectiva terica sobre la que se asienta. Sin embargo, deseamos dejar constancia de que en este trabajo no se pretende describir las diferentes teoras existentes sobre los elementos que componen un sistema pblico de evaluacin. Tampoco tiene el propsito de realizar un anlisis comparativo sobre los diferentes modelos de sistemas existentes en otros contextos y entornos. El objetivo general de este documento es presentar y dar a conocer el proceso de configuracin y desarrollo del sistema pblico de evaluacin llevado a cabo en la Comunidad Foral de Navarra de acuerdo a los requerimientos de la Ley Foral 21/2005, de 29 de diciembre, de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos.
Objetivos especficos
Describir el marco normativo derivado de la entrada en vigor de la Ley Foral 21/2005, de 29 de diciembre de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos, sobre los que se asientan los elementos bsicos del sistema pblico de evaluacin en Navarra. Detallar el marco organizativo encargado de impulsar la competencia de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos en el mbito territorial de Navarra y sus funciones especficas.
11
2
A
Definicin de un sistema pblico de evaluacin en Navarra

Con este propsito, se plantean tres preguntas clave a las que se tratar de ofrecer respuesta: Qu significa institucionalizar la evaluacin. Cul es la definicin de sistema pblico de evaluacin y qu elementos lo integran. Qu consecuencia tiene la configuracin de un sistema de estas caractersticas (el desarrollo de la capacidad de evaluacin). En ltimo trmino, se procede a la identificacin de las circunstancias, caractersticas y cuestiones clave que han permitido el inicio y desarrollo de este proceso de institucionalizacin de la evaluacin en el territorio de la Comunidad Foral de Navarra.
ntes de describir el proceso seguido en el diseo, configuracin y desarrollo del sistema pblico de evaluacin en Navarra, parece oportuno realizar una breve descripcin de los conceptos y aportes tericos que han servido de base y orientacin a las personas responsables de liderar y coordinar este proceso, permitiendo establecer un plan de actuaciones racional y ajustado en tiempo y forma, por un lado, a la situacin de partida de las Administraciones Pblicas navarras en materia de evaluacin, a sus necesidades y recursos disponibles y, por otro, a los principios y criterios tericos proporcionados por los profesionales de la evaluacin.
2.1.
Qu se entiende por institucionalizacin de la evaluacin?
Con carcter previo a presentar el concepto de institucionalizacin de la evaluacin, realizamos un breve repaso de los hitos clave que han marcado el origen y desarrollo de la prctica de la evaluacin, haciendo especial mencin a la aparicin en el mbito estatal de dos instituciones, la Sociedad Espaola de Evaluacin de las Polticas Pblicas y la Agencia Estatal de Evaluacin de las Polticas Pblicas y de Calidad de los Servicios Pblicos, de marcada importancia por su contribucin al desarrollo de la cultura de la evaluacin en nuestro pas. de las referencias sobre algunos trabajos de evaluacin de la primera mitad del siglo XX, no es hasta los aos 60 cuando empieza a hablarse, en Estados Unidos, de esta prctica como una disciplina consolidada y actividad cientfica diferente, aunque relacionada con otras. Empezaba a emerger, aunque con menor intensidad, en Europa, y fundamentalmente en aquellos pases donde existe un desarrollo importante de la poltica de bienestar social o en conexin con los programas de ayuda internacional de las 23 organizaciones de la ONU y singularmente en el Banco Mundial, OMS, FAO y UNESCO (Hellstern, 1986:282). Es a partir de los aos 80 cuando se produce la aplicacin sistemtica y generalizada de la evaluacin en la mayora de los pases desarrollados, aunque sigue siendo Estados Unidos el pas con un mayor nivel de institucionalizacin, donde existe una poltica de evaluacin sistemtica de las polticas y los programas
2.1.1. Origen y desarrollo de la evaluacin

La historia de la evaluacin de programas es relativamente reciente, ya que se puede hablar de un campo que se ha desarrollado en las ltimas dcadas. A pesar
13
DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA
pblicos y en donde la funcin de evaluacin est normalizada en el sistema poltico - administrativo a travs de unidades especializadas, tanto en el nivel ejecutivo (existen estructuras de evaluacin en los departamentos y agencias pblicas que gestionan programas sociales), como en el nivel legislativo (General Accounting Office, Congressional Research Service, Congressional Budget Office y Office of Technological Assessment). (Dez, 2001 y Bustelo, 2001). As, en Europa, se observa, en la ltima dcada del siglo XX, una oleada de evaluaciones motivada, fundamentalmente, por la obligacin reglamentaria de realizar evaluacin de los programas cofinanciados con Fondos Estructurales. Tras esta obligacin reglamentaria, se encuentra la preocupacin lgica de los pases ms desarrollados, que transfieren rentas a los menos desarrollados, por conocer los resultados que se consiguen con la aplicacin de los Fondos de Ayuda. (vlez, 2000). Esta obligacin supuso un impulso determinante para la implantacin de la evaluacin en los pases miembros, donde comienzan a aparecer evaluaciones de programas de mbito regional y local, razn por la que la evaluacin ha estado, y sigue estando en la actualidad, fuertemente vinculada a proyectos europeos. Desde el periodo de actuacin 1988-93 (94-99) hasta el actual Marco Comunitario de Apoyo (2000-2006) los reglamentos comunitarios han endurecido sus exigencias en materia de evaluacin, otorgando cada vez mayor importancia a las evaluaciones previas (cuyo objetivo fundamental es garantizar la evaluabilidad de los programas) y las evaluaciones a medio camino o evaluaciones intermedias, que tienen como objetivo identificar aquellas medidas y acciones que deben ser reforzadas o reconsideradas. (vlez, 2006). En este sentido, se cre un instrumento al servicio del buen rendimiento de las intervenciones financiadas con los Fondos Estructurales, denominado la reserva de eficacia, que consiste en que una parte de los crditos asignados a cada Estado Miembro (el 4%) se deja en reserva para ser distribuidos a los programas que hayan obtenido un mejor rendimiento. La apreciacin del rendimiento se ha establecido sobre la base de la definicin de indicadores de seguimiento que reflejen la eficacia, la gestin y la ejecucin financiera. Se trata de una importante motivacin para que los responsables de los programas se aseguren de que los fondos pblicos se utilicen de
forma eficaz y rentable, al tiempo que ha reforzado la implantacin de la evaluacin en los centros gestores de estos programas. En cualquier caso, puede decirse que en los pases europeos se produce una evaluacin ad-hoc, en relacin con demandas especficas, y no alcanza, todava, el carcter de una funcin asumida como propia por las instituciones. En Espaa, el desarrollo de la evaluacin de las polticas pblicas ha sido reciente y ms bien lento, y est vinculado a este reclamo normativo por parte de la Comisin Europea. Entre sus objetivos han primado la voluntad de reducir costes, las mejoras en la productividad y la consecucin de una mayor eficacia y calidad en la prestacin de los servicios, todo ello en detrimento de la funcin formativa orientada hacia el aprendizaje institucional sobre la experiencia y a la mejora del proceso de toma de decisiones y elaboracin de polticas pblicas, entendidas en sentido amplio. As, la perspectiva dominante ha sido la adecuacin a la legalidad y el control, aspectos que escapan del mbito de la evaluacin y entran en el terreno de la auditora, propia de instituciones como el Tribunal de Cuentas, las Cmaras de Cuentas y las Inspecciones de Servicios de la Administracin Pblica. Este es, por tanto, uno de los factores que pueden haber motivado la ausencia de evaluaciones: la errnea interpretacin de la evaluacin como control administrativo, financiero y de regularidad, ms que como un instrumento al servicio de los gestores y decisores polticos, que ha generado reticencias en los centros gestores. Como apunta vlez, frente a una intensa labor planificadora, se observa una escasa implantacin de la evaluacin en la elaboracin, gestin, ejecucin y valoracin de los programas llevados a cabo. As, pese a que se han producido notables avances, an existen apreciables diferencias en relacin con los pases anglosajones, donde la cultura evaluadora est bastante ms arraigada (vlez, 2000). Una prueba de ello la encontramos en la breve referencia que de esta herramienta se hace en los planes y programas pblicos. La no inclusin de un sistema de seguimiento y evaluacin desde el momento en que los programas se ponen en marcha, ha dificultado la realizacin de evaluaciones y ha condicionado su alcance.
14
Por otro lado, existe otro elemento a tener en cuenta sobre las evaluaciones realizadas, y es la escasa utilizacin de sus resultados. La evaluacin se ha utilizado como proveedora de informacin retrospectiva de lo realizado sin una vocacin clara hacia su uso para futuras planificaciones. Por ello, resulta imprescindible motivar e implicar a los interesados en la evaluacin de sus acciones, centrando el anlisis en aquellos problemas y necesidades de informacin ms relevante y en los elementos de gestin y organizacin internos, para que sientan el proceso como til y puedan orientar las preguntas de evaluacin a las que se debe responder. En conclusin puede decirse que la evaluacin en Espaa no est, todava, completamente institucionalizada, dndose un mayor grado de implantacin en sectores como los de educacin, desarrollo y cooperacin y poltica medioambiental, y, como se ha mencionado anteriormente, en aquellos programas e iniciativas cofinanciadas con Fondos Europeos. Ballart seala cules son los posibles factores de este retraso (Ballart, 1993: 221-2): La incorporacin de Espaa a las nuevas polticas de intervencin social lleg en momento de crisis econmica. El sistema parlamentario espaol en los niveles central y autonmico, tiende a limitar la funcin de control del Parlamento, ya que se basa en una fuerte disciplina de partido. El Tribunal de Cuentas y sus homlogos en el nivel autonmico han limitado su papel al de supervisin de las cuentas pblicas de acuerdo con las leyes de presupuestos y otras aplicables, sin formar juicios de valor sobre la eficacia y eficiencia de la actuacin de los organismos pblicos. El nmero de profesionales con habilidades evaluativas es escaso. A pesar del avance en los ltimos aos, los sistemas de formacin internos son dbiles, la disponibilidad de datos, en general, todava es escasa, pues las bases de datos no se han construido desde una perspectiva de evaluacin. En cualquier caso, a pesar de los factores expuestos, es cierto que, como afirman algunos autores, en los
ltimos aos varias circunstancias estn coadyuvando a que la evaluacin se convierta en un elemento imprescindible dentro del proceso de planificacin (Osuna y Mrquez, 2000): Los intentos de modernizacin de la administracin espaola y, en particular, en lo relativo a la reorganizacin tendente a la creacin o reforma de centros de gasto, en la que se ha incluido en numerosas ocasiones la bsqueda de instrumentos de gestin ms flexibles y con mayor capacidad de interaccin con el medio (presupuestacin por programas, creacin de agencias, etc.). La necesidad de controlar el dficit pblico y, por consiguiente, de justificar la eficiencia de las medidas aplicadas, puesto que el sector pblico espaol ha experimentado en un corto espacio de tiempo un crecimiento que lo ha llevado a duplicar su participacin en el producto interior bruto. La entrada de Espaa en la Unin Europea y la consecuente posibilidad de beneficiarse de los Fondos Estructurales pero, al mismo tiempo, la necesidad de justificar su utilidad, aplicacin correcta y eficacia. As, tal como se ha explicado anteriormente, la Comisin de la Unin Europea establece reglamentariamente la obligatoriedad de realizar, por los pases miembros beneficiarios, evaluaciones peridicas de los fondos recibidos. El proceso de descentralizacin poltico-administrativo y la multiplicidad de entidades territoriales con crecientes competencias, lo que exige un control de la actividad pblica que evite las duplicidades y el despilfarro de recursos escasos. La toma de conciencia de un nuevo concepto de la ciudadana como cliente de servicios pblicos. Los ciudadanos son cada vez ms conscientes de su derecho a conocer los beneficios que recibe del sector pblico ante el incremento de la presin fiscal. Entre los factores que afectan al desarrollo de la evaluacin se encuentran la existencia de una oferta cualificada y de una demanda concienciada. Es decir, como afirma vlez, para que la institucionalizacin de la evaluacin sea exitosa es necesario que haya un ajuste entre los dos lados del mercado: la demanda y la oferta (vlez, 2006) o, como subrayan Ballart y Bustelo, que exista un mercado de trabajo con un cierto volumen de negocio. (Ballart, 1993: 211; Bustelo, 1998: 152).
15
Este mercado est compuesto por diferentes tipos de oferentes y demandantes. Entre los oferentes abundan las consultoras privadas y los departamentos y centros de investigacin de las universidades y, cada vez en mayor medida, unidades de evaluacin creadas en el seno de las organizaciones gestoras de las polticas pblicas. Entre los demandantes se encuentran el poder legislativo, el ejecutivo y los distintos centros directivos de la Administracin Pblica, constatndose, como no poda ser de otra manera, el papel determinante del sector pblico como principal promotor y patrocinador de la mayora de los trabajos de evaluacin realizados. Desde el lado de la oferta, varios son los indicadores que ponen de manifiesto la consolidacin de la evaluacin como profesin. Entre ellos: la creacin de asociaciones profesionales, el incremento del nmero de sus asociados y asociadas, la aparicin de la evaluacin como una disciplina diferenciada de otros campos de las ciencias sociales, el desarrollo de programas acadmicos superiores dedicados a la formacin de profesionales y la creacin de centros especializados en evaluacin, la edicin de publicaciones y revistas especializadas y la creciente organizacin de eventos internacionales (Ballart, 1993: 211; Bustelo, 1998: 152; y vlez, 2006). Prueba de ello es la creciente aparicin de asociaciones y redes de evaluacin, de las que hoy existen ms de 50. Son redes multidisciplinares y con un enfoque territorial amplio, donde se pretende que estn representados todos los agentes locales, regionales y nacionales interesados en la evaluacin, bien desde el mundo acadmico, bien desde el mbito profesional. En este contexto se cre, en el ao 2001 la Sociedad Espaola de Evaluacin de Polticas Pblicas (SEE), con el objeto de contribuir al desarrollo en Espaa de la cultura de evaluacin de polticas pblicas como instrumento de mejora de la eficacia, eficiencia y utilidad social de la intervencin de las Administraciones Pblicas.
2.1.2. La Sociedad Espaola de Evaluacin de Polticas Pblicas

La SEE, desde su creacin, ha considerado imprescindible elevar la calidad de la prctica evaluadora, fomentar la investigacin cientfica y la difusin de experiencias entre los agentes e instituciones implicados en todos los mbitos: universidad, funcin pblica, empresas y profesionales, para contribuir al logro del importante papel que la evaluacin debe desempear para la sociedad. Por otra parte, la SEE se constituye como un foro de encuentro entre instituciones anlogas en otros mbitos territoriales a travs de su participacin en eventos y proyectos de carcter nacional o internacional que estn relacionados o contribuyan a los fines perseguidos. En la SEE se renen especialistas, tanto de las Administraciones Pblicas como de cualquier otro organismo que aplique la evaluacin en la gestin de sus proyectos, propiciando la comunicacin y el debate entre sus miembros para incrementar el uso de esta herramienta y confrontar experiencias sobre los resultados de la evaluacin, convirtindose de esta forma en un referente para el aprendizaje continuo en temas de evaluacin. Con este fin se abri la posibilidad de participar como socios a todas aquellas personas o instituciones cuya actividad est vinculada a la evaluacin de polticas pblicas y estn alineados a los objetivos de la Sociedad. En definitiva, la SEE quiere contribuir a la difusin de una cultura evaluadora en la Administracin, que afecte a los parmetros y normas de comportamiento de las organizaciones, a su actitud, a su imagen y actividad. Los beneficios se traducirn en una gestin eficaz y eficiente de los recursos, la difusin de una cultura de responsabilidad entre los gestores de los programas, la consideracin del receptor de la poltica como usuario, el conocimiento del impacto de la poltica, y la necesidad de incorporar las percepciones de los participantes en los programas (vlez, 2003). En este proceso de institucionalizacin de la evaluacin en Espaa contribuir, sin duda, la Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios, creada en enero de 2007, a la que se ha dedicado el epgrafe siguiente.
16
2.1.3. La Agencia Estatal de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios
Otro elemento clave en el proceso de institucionalizacin de la evaluacin en Espaa ha sido la Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios, que desarrolla una actividad institucional en la que se une la voluntad de mejorar la calidad de los servicios pblicos con la de racionalizar el uso de los recursos pblicos y rendir cuentas ante los ciudadanos. En esta lnea, la evaluacin constituye una herramienta esencial para conocer los efectos y resultados de las intervenciones pblicas. Es, en definitiva, un instrumento de buen gobierno. La Agencia es un organismo pblico, regulado por la Ley 28/2006, de 18 de julio, de Agencias Estatales para la mejora de los servicios pblicos y es la primera de las establecidas por dicha Ley. De acuerdo con un nuevo modelo de gestin pblica, se integra en un amplio proceso de modernizacin e innovacin de las Administraciones Pblicas, en lnea con los principios de gobernanza de la Unin Europea: responsabilidad, eficiencia y participacin. Tiene como propsito contribuir a: Mejorar los servicios pblicos y el conocimiento de los efectos en la sociedad de las polticas y programas pblicos. Promover una mayor racionalidad del gasto pblico y la optimizacin en el uso de los recursos. Favorecer la productividad y competitividad de la economa espaola, eliminando trabas burocrticas. Aumentar la rendicin de cuentas respecto a los ciudadanos y la calidad democrtica, promoviendo la transparencia y la participacin. La misin de la Agencia de Evaluacin es promover y realizar evaluaciones y anlisis de impacto de las polticas y programas pblicos, as como el impulso de la gestin de la calidad de los servicios, favoreciendo el uso racional de los recursos y la rendicin de cuentas a la ciudadana.
Para el cumplimiento de su misin, la Agencia tiene los siguientes objetivos estratgicos: Promover la cultura y la prctica de la evaluacin, en todas las fases del ciclo de las polticas pblicas y atendiendo a las necesidades estratgicas y de gestin. Realizar trabajos de evaluacin y anlisis de programas y polticas pblicas. Desarrollar metodologas, sistemas de informacin e indicadores, as como realizar actividades de acreditacin y certificacin (niveles de excelencia y buenas prcticas). Fomentar la calidad de los servicios pblicos como compromiso con la ciudadana, favoreciendo la participacin y la transparencia. Analizar las actividades y servicios prestados a los ciudadanos por las Agencias Estatales. La Agencia de Evaluacin respetar en su actuacin los principios de inters general, objetividad, eficacia, economa y servicio al ciudadano, y especficamente, entre otros, los de independencia de criterio, transparencia y participacin, autonoma y responsabilidad, cooperacin interadministrativa e institucional, calidad y mejora continua, tica profesional y responsabilidad pblica. As mismo, la Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios nace con una serie de compromisos concretos de actuacin, como son: Evaluacin de los Programas y Polticas Pblicas que anualmente le encargue el Consejo de Ministros. Evaluacin anual del grado de aplicacin y de xito de las principales medidas del Programa Nacional de Reformas. Informe Anual al Congreso de los Diputados acerca de la actividad desplegada por las Agencias Estatales y sus compromisos para mejorar la calidad de los servicios prestados a los ciudadanos. Informe Anual del Observatorio de la Calidad de los Servicios Pblicos.
17
Entre las lneas de actuacin ms destacadas se encuentran: Difusin de la cultura de evaluacin e impulso de su prctica en la gestin pblica, realizando actividades de asistencia tcnica, formacin, investigacin e intercambio de experiencias desde una perspectiva abierta y colaboradora. Elaboracin de metodologas, sistemas de informacin e indicadores, propiciando el alineamiento de las prcticas nacionales con los referentes internacionales, as como diseando y difundiendo guas metodolgicas. Realizacin de los trabajos de evaluacin y anlisis de polticas y programas pblicos establecidos en el Plan de Trabajo aprobado por el Consejo de Ministros, as como los resultantes de encargos y convenios de colaboracin. Elaboracin de anlisis del impacto normativo, con el objeto de facilitar la toma de decisiones regulatorias as como de mejorar la calidad de las normas. As, la Agencia pretende ser una institucin de referencia, promotora del uso de la evaluacin como prctica institucional cotidiana en las Administraciones Pblicas. En el proceso de constitucin de la Agencia se cont con las reflexiones acadmicas y profesionales de prestigio de distintas disciplinas, as como con gestores pblicos representativos, que plasmaron sus conclusiones y recomendaciones en el Informe de la Comisin de Expertos sobre la creacin de la Agencia. La Agencia dirige sus trabajos al servicio, fundamentalmente, de los siguientes colectivos: Decisores polticos: para lo cual les provee de valoraciones tcnicas independientes para que decidan en las mejores condiciones, tanto en relacin con la prestacin de servicios pblicos como respecto a las polticas pblicas (uso estratgico de la evaluacin). Gestores pblicos: suministrando informacin para mejorar la eficacia en la aplicacin y desarrollo de polticas (dimensin de polticas pblicas) as como para mejorar el rendimiento y la gestin de las organizaciones (dimensin de la calidad de servicios).
Ciudadana: para mejorar la calidad democrtica al aumentar la orientacin al ciudadano, tanto teniendo en cuenta sus intereses y necesidades (participacin), como rindiendo cuentas sobre en qu medida los resultados obtenidos responden a sus exigencias (transparencia y responsabilidad). En definitiva, la Agencia se establece con entidad propia para evaluar las polticas pblicas y favorecer la mejora de la calidad de los servicios. Este hecho constituye un compromiso fundamental del Ejecutivo con la modernizacin de la Administracin y un elemento clave en el proceso de institucionalizacin de la evaluacin en Espaa. El proceso de institucionalizacin de la evaluacin y la gestin de la calidad en Espaa se ha impulsado, asimismo, mediante el marco normativo que desarrolla el Real Decreto 951/2005, de 29 de julio, sobre Mejora de la Calidad en la Administracin del Estado y con los trabajos sobre el anlisis de impacto normativo encomendados por Acuerdo del Consejo de Ministros, de 25 de febrero de 2005, por el que se adoptan mandatos para poner en marcha medidas de impulso a la productividad.
18
2.1.4. Principales hitos en el proceso de institucionalizacin en el mbito estatal y el autonmico de la Comunidad Foral de Navarra
Hitos en las Administraciones Pblicas espaolas 1993-1999 1999-2003
Procedimientos administrativos e inicios de ventanilla nica. Calidad y atencin al ciudadano. R.D. Cartas Servicios y Premios y el Libro Blanco para la mejora de los SSPP. Las polticas pblicas y calidad de los servicios.
2003-2005 2007
Real Decreto 951/2005, de 29 de julio, por el que se establece el marco general para la mejora de la calidad en la Administracin General del Estado. Agencia de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos (AEVAL).
Hitos en Navarra 2002 2004 2005 2007 2008

Plan de Modernizacin y reforma administrativa. Ley Foral 11/2004, para la actualizacin del rgimen local de Navarra. Ley Foral 15/2004, de la Administracin de la Comunidad Foral de Navarra. Ley Foral 21/2005, de evaluacin de las polticas pblicas y la calidad de los servicios pblicos. Ley Foral 11/2007, para la implantacin de la Administracin Electrnica en la Administracin de la Comunidad Foral de Navarra. Marco de Administracin Electrnica.
2.1.5. El concepto de institucionalizacin de la evaluacin

Segn el Consejo Cientfico de Evaluacin francs, la evaluacin es una actividad institucional que tiene vocacin de integrarse en la gestin pblica y en el funcionamiento del sistema poltico y que slo alcanza su sentido una vez que se inserta como una fase ms del desarrollo de las intervenciones pblicas. Su diseo y aplicacin ha de estar supervisado y bajo la responsabilidad de una autoridad pblica,
con el propsito de que sus resultados den respuesta a objetivos de aprendizaje y mejora al servicio de los ciudadanos (GARDE ROCA 2006:3)1. La experiencia muestra que existen dos visiones a la hora de aplicar la evaluacin: 1. Como una actividad puntual, impulsada por motivaciones y circunstancias de muy diversa ndole (justificacin de recursos utilizados, exigencia de una entidad superior, planteamiento de la decisin de continuar o no con el servicio o intervencin
1. CONSEIL SCIENTIFIQUE DE LEvALUATION (1996): Petit guide de levaluation des politiques publiques, Paris, la Documentation franaise, nombrado en GARDE ROCA, J.A. (2006): La evaluacin de polticas pblicas y su institucionalizacin en Espaa, en Papeles de Evaluacin, n 3, pg. 3
19
evaluada, etc.), sin un patrn determinado y que no suelen reproducirse en el tiempo. 2. Como una tarea o funcin sistemtica y peridica, dentro del ciclo de puesta en prctica de las intervenciones pblicas, como consecuencia de la existencia previa de un proceso de aprendizaje que ha permitido la apropiacin por parte de la organizacin administrativa de este nuevo instrumento de mejora de la gestin, estableciendo procedimientos de evaluacin rutinarios y reglados bajo un marco comn normativo-metodolgico. Realizando un recorrido histrico sobre la experiencia evaluativa en el mbito estatal y, especficamente, en la Comunidad Foral de Navarra, se puede decir que la visin predominante en ambos casos es la que responde al uso de la evaluacin como una actividad puntual. En el mbito estatal, con anterioridad a la creacin de la Agencia Estatal de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios, la evaluacin slo aparece institucionalizada en algunos sectores de actuacin como la enseanza (donde se crea la ANECA- Agencia Nacional de Evaluacin de la Calidad y la Acreditacin y el INECSE Instituto nacional de Evaluacin y Calidad del Sector Educativo); el mbito sanitario (con la Agencia de Calidad del Sistema Nacional de Salud) o el sistema pblico de ciencia y tecnologa y de proyectos de I+D+i (donde se pone en marcha la ANEP Agencia Nacional de Evaluacin y Prospectiva), (GARDE ROCA 2006:20). En el mbito de la Comunidad Foral de Navarra, la trayectoria evaluativa previa a la constitucin del sistema pblico de evaluacin presentado en esta memoria, no responde a un calendario protocolizado o estrategia evaluativa para un periodo de tiempo determinado. La realizacin de evaluaciones no est normada (con excepcin de las evaluaciones de proyectos europeos) sino que, generalmente, responde a una necesidad concreta o a un inters particular puntual. Tampoco existen criterios o pautas que definan cmo llevar a cabo evaluaciones atendiendo a unos mnimos referenciales en cuanto a calidad y rigor de las mismas2.
Esta visin de la evaluacin como algo puntual, independiente del resto de fases del ciclo de programacin y ejecucin de las polticas pblicas, impide el enriquecimiento interadministrativo puesto que no existe un marco comn que articule las experiencias abordadas por las organizaciones y dificulta el uso de los resultados de las evaluaciones. El paso a la concepcin de la evaluacin como una tarea sistmica viene marcado por la puesta en marcha de un proceso de institucionalizacin, entendiendo por el mismo el proceso poltico por el que se legitima un marco normativo adecuado para el desarrollo de la funcin de la evaluacin (GARDE ROCA 2006:4). La institucionalizacin conlleva la definicin y estructuracin de espacios e instancias de las Administraciones a las que encargar la funcin de evaluacin; configurar un modelo permanente de anlisis que defina los principios y valores en los que sustentar la evaluacin; definir recursos tcnicos, normas, metodologas, etc. que hagan de la evaluacin de tales polticas un proceso riguroso, transparente y de calidad, al servicio de los ciudadanos. Por otro lado, para que la institucionalizacin de la evaluacin sea exitosa, -como se ha mencionado en el apartado introductorio anterior-, es necesario que haya un ajuste entre los dos lados del mercado de la evaluacin: la demanda y la oferta (vlez, 2006), es decir, como subrayan Ballart y Bustelo, que exista un mercado de trabajo en materia de evaluacin con un cierto volumen de negocio (Ballart, 1993: 211; Bustelo, 1998: 152). Para que la evaluacin pueda ser institucionalizada de manera efectiva es necesario trabajar en actuaciones que motiven e impulsen, por un lado, el crecimiento de la demanda de evaluaciones. Es fundamental que se cree una necesidad de evaluar por parte de las organizaciones pblicas, motivada por la toma de conciencia de las utilidades y beneficios del uso de esta herramienta. El otro foco de accin se centra en facilitar la profesionalizacin del sector relacionado con la evaluacin. La aplicacin de esta herramienta debe
2. Conclusiones obtenidas a partir del estudio-diagnstico Evaluacin de polticas pblicas: la experiencia en la Comunidad Foral de Navarra, impulsado por la Comisin Foral para la Evaluacin y, llevado a cabo entre los meses de septiembre de 2006 y mayo de 2007.
20
realizarse en base a unos estndares y criterios que certifiquen la calidad y rigor de los trabajos, mientras que la relacin entre los distintos actores implicados en el proceso de evaluacin (evaluadores, gestores,
beneficiarios, etc.) ha de estar guiada por un lenguaje comn y el apoyo en organismos, infraestructuras y recursos creados ad-hoc para apoyar y orientar los procesos de trabajo.
2.2.
Definicin de sistema pblico de evaluacin: qu elementos lo integran3
La Real Academia de la Lengua Espaola define sistema como conjunto de reglas o principios sobre una materia racionalmente enlazados entre s. Otros autores dan un paso ms all indicando que se trata de un conjunto de elementos relacionados entre s a travs de una estructura determinada dentro de un contexto definido (BERTALANFFY 1971 citado en HAARICH 2006:93) Aadiendo el adjetivo pblico a la definicin y refirindonos al mbito de la evaluacin, se entiende por sistema pblico de evaluacin el conjunto de elementos que permiten la integracin de la funcin de evaluacin como una prctica rutinaria y reglada dentro de la gestin pblica y que ha de ser implementada por todas las instituciones y organismos de titularidad pblica adscritas a un mbito referencial determinado (nacional, regional, sectorial). La creacin de un sistema de estas caractersticas tiene por objetivo hacer posible la institucionalizacin de la evaluacin, configurndose como un marco comn para la actuacin en materia de evaluacin que articule los trabajos llevados a cabo en este mbito. El sistema pblico de evaluacin es el vehculo o mecanismo que posibilita desarrollar una cultura de evaluacin mediante la creacin de una estructura jurdica, organizativa y tcnica que sienta las bases a partir de las cuales se desarrolla la actividad evaluativa, mientras que la institucionalizacin es el proceso poltico que refrenda y consolida la creacin de este marco comn de actuacin. La tenencia de un sistema pblico de evaluacin permite la articulacin de las experiencias de evaluacin existentes as como la sinergia de esfuerzos y la transferencia y aprendizaje mutuo de conocimientos adquiridos entre las organizaciones agrupadas bajo el mismo. La complejidad que caracteriza a los sistemas pblicos de evaluacin es elevada puesto que: Son heterogneos, con multiplicidad de actores y niveles implicados en el proceso de toma de decisiones y puesta en marcha de los mismos. Presentan un amplio nmero de conexiones o relaciones, dentro de su seno, entre los diferentes componentes que los integran y, hacia fuera, con otras unidades y/o sistemas del entorno que le influyen determinando su evolucin (sistema poltico-administrativo; sistema legal-normativo; sistema educativo, etc.). Las actuaciones y decisiones aplicadas en su mbito interno implican efectos en su entorno. Por otro lado, -como sealan algunos de los autores de referencia en la materia consultados para la redaccin de este estudio-, puede decirse que no existe
3. La base terica principal para redactar este apartado es el trabajo de investigacin realizado por Silke Nicole Haarich en su tesis doctoral: Mejora en los sistemas de evaluacin, Desarrollo de la capacidad de evaluacin respondiendo a la demanda de la poltica regional europea, presentada en el ao 2006 y habilitada para su consulta electrnica en: http://descargas.cervantesvirtual.com/servlet/SirveObras/01350519799915395534802/019034.pdf?incr=1
21
un nico modelo terico a seguir a la hora de configurar un sistema pblico de evaluacin, sino que el diseo de ste as como la definicin de sus componentes depender de las circunstancias y particularidades contextuales donde pretende insertarse. Algunas cuestiones a tener en cuenta son: Nivel institucional (nacional, autonmico, local) o mbito sectorial o departamental al que se adscribir el sistema. Este factor incidir en la mayor o menor complejidad del sistema en cuanto a actores implicados en su puesta en marcha e implementacin, as como en la creacin de organismos e infraestructuras de soporte y asesoramiento en cuanto a la cantidad de recursos necesarios. Grado de experiencia evaluativa previa de las organizaciones a las que ofrecer cobertura el sistema, haciendo especial hincapi en el nivel de uso de los resultados de las evaluaciones a la hora de replantear y formular la actuacin pblica. Existencia de un alto compromiso y motivacin por parte de los actores con responsabilidad poltica y decisoria por implantar una cultura de evaluacin. Nivel de profesionalizacin y capacitacin en materia de evaluacin existente, en el mbito interno de las organizaciones pblicas inmersas en el sistema, y externo, por lo que respecta a entidades y actores dedicados laboralmente a la evaluacin. A pesar de que no puede definirse un modelo tipo de sistema pblico de evaluacin, s que pueden inferirse unas lneas de actuacin o componentes esenciales que deberan tenerse en cuenta a la hora de plantear su diseo y desarrollo.
realizados por las organizaciones pblicas adscritas al sistema pblico de evaluacin. Otras cuestiones que puede concretar este marco jurdico son: Definicin de un lenguaje comn respecto a conceptos clave. Concrecin de la finalidad de evaluacin, momentos en que puede aplicarse y actores habilitados para ejecutar los trabajos de evaluacin. Identificacin de los organismos que ostentan la responsabilidad de evaluacin y que actan como supervisores y elementos de articulacin de las diferentes experiencias evaluadoras aplicadas. Configuracin de una infraestructura organizativa y de recursos de apoyo y asistencia en los trabajos de evaluacin. Establecimiento de la funcin de evaluacin como una prctica voluntaria u obligatoria dependiendo de las organizaciones o unidades administrativas. Fijacin de estndares y cuestiones metodolgicas clave para medir la calidad y el rigor de los trabajos de evaluacin realizados y lograr una actuacin ms homognea de las organizaciones pblicas. Determinacin de cuestiones metodolgicas bsicas. El rango jurdico de este marco de actuacin (ley, decreto, orden, etc.) depender del mbito de aplicacin al cual se circunscriba el sistema pblico de evaluacin (nivel administrativo local, autonmico, estatal, etc.).
2.2.1. El interior de un sistema pblico de evaluacin (componentes bsicos)

Marco jurdico (legal y normativo)
El principal objetivo de configurar un marco jurdico para la funcin de evaluacin tiene que ver con establecer lneas orientadoras, pautas y criterios que guen de manera reglada los trabajos de evaluacin
Organismos e infraestructuras
El proceso de instauracin del sistema pblico de evaluacin ha de estar respaldado por la existencia de algn(os) organismo(s) que se encargue de su supervisin, toma de decisiones sobre el mismo y planteamiento de lneas de actuacin futura que amplen su radio de accin o consideren su reformulacin. Estos organismos han de atender a las necesidades de las organizaciones pblicas que se encuentran bajo el
22
mbito referencial del sistema pblico de evaluacin, centralizndolas y articulando todas las prcticas de evaluacin, procurando la transferencia y el aprovechamiento de aprendizajes adquiridos. Puede tratarse de unidades u rganos de nueva creacin o bien optarse por la asignacin de estas responsabilidades y funciones a alguno ya existente. Para realizar este seguimiento, los organismos responsables debern contar con los instrumentos o herramientas que, en su conjunto, constituyen una infraestructura de apoyo. As mismo, podran desempear funciones de evaluacin y/o metaevaluacin a demanda de las organizaciones pblicas a las que ofrezcan soporte.
es otra cuestin clave que puede ser implementada como un componente ms a la hora de definir y desarrollar un sistema pblico de evaluacin. Esto, unido al establecimiento de cdigos o estndares de actuacin en materia de evaluacin, el impulso de creacin de asociaciones y redes que favorezcan el intercambio de experiencias entre profesionales y la promocin de eventos (jornadas, congresos) y edicin de publicaciones especializadas, constituyen elementos que tambin contribuyen al desarrollo de una cultura de evaluacin y, en definitiva, a la institucionalizacin de esta prctica.
Observatorio / Investigacin
La evaluacin, como cualquier otra disciplina cientfica, no es algo inmutable sino que gracias a la investigacin van descubrindose y avanzndose nuevas perspectivas, metodologas y formas de hacer. Por ello, otro posible componente de este sistema pblico de evaluacin puede ser la dedicacin de esfuerzos y recursos a la configuracin de una infraestructura dedicada a esta actividad de investigacin (esto puede materializarse en la creacin de un observatorio, la designacin de esta actividad a organismos ya existentes, el apoyo a unidades y expertos del mbito acadmico dedicados a esta actividad, etc.). El diseo y desarrollo de un sistema pblico de evaluacin est condicionado adems por el entorno o contexto en el que se inserta.
Sensibilizacin y formacin
La puesta en marcha de actuaciones dirigidas a la capacitacin y motivacin para la evaluacin es un componente clave de cualquier sistema de evaluacin, puesto que el xito del mismo reside, finalmente, en un cambio de actitud y mentalidad de las personas responsables de aplicar las medidas que hagan realidad la institucionalizacin de la evaluacin. Es necesario desarrollar componentes diversos del lado de la demanda (formacin y sensibilizacin interna de las organizaciones que requieren la ejecucin de evaluaciones, as como de la propia ciudadana, receptora ltima de los resultados derivados de la evaluacin) y del lado de la oferta (formacin de profesionales capacitados para realizar evaluaciones tiles, de calidad y rigurosas).
Recursos y herramientas
Un componente o lnea de actuacin en la conformacin de un sistema pblico de evaluacin puede ser la disposicin de un repositorio comn, de consulta abierta para todos los implicados en los procesos de evaluacin (gestores, evaluadores), que integre materiales documentales e informacin sobre enlaces o instituciones expertas de referencia para dichos procesos.
2.2.2. El entorno de un sistema pblico de evaluacin: sistemas con los que interacta y elementos de influencia
Cualquier sistema pblico de evaluacin tiene relacin con otros sistemas dentro de su mbito de actuacin: el sector pblico. El Sistema Poltico-Administrativo: es el marco que permite el desarrollo de la evaluacin. El Sistema Jurdico: puede crear bases legales y normativas para la integracin de la evaluacin en las polticas pblicas y la calidad de los servicios.
Profesionalizacin
La definicin de procedimientos de acreditacin o certificacin de profesionales dedicados a la evaluacin
23
El Sistema Educativo: permite la satisfaccin de necesidades de formacin en el mbito de la evaluacin. El Sistema Econmico-Presupuestario: puede crear bases y vnculos para la integracin de la evaluacin en los procesos de auditora. La relacin con estos sistemas se basa en la interaccin, de manera que el desarrollo de estos sistemas puede tener influencia directa sobre el diseo, estructuracin y actuaciones de implementacin del sistema pblico de evaluacin y viceversa. Por otro lado, existen una serie de elementos, tambin externos al sistema pblico de evaluacin e incontrolables por ste, que inciden en su evolucin. Los organismos supranacionales (Banco Mundial, Unin Europea, etc.) pueden exigir la integracin de la funcin de evaluacin en contraprestacin de ayudas econmicas, apoyo o reconocimiento poltico.
La sociedad civil (incluyendo la ciudadana, el sector acadmico, las ONGs y el sector privado), puede solicitar la evaluacin de intervenciones y servicios pblicos y/o su incorporacin como participante activa en los procesos de evaluacin, lo cual puede conllevar la necesidad de desarrollar nuevas metodologas y herramientas. Los medios de comunicacin, como representantes de la sociedad, tambin pueden exigir la rendicin de cuentas sobre determinadas intervenciones y servicios prestados y, por otro lado, pueden ejercer un importante papel como difusores de la evaluacin y sus resultados as como de cualquier otro tipo de novedad relacionada con este mbito de actuacin. El progreso cientfico-tcnico, ya que su avance puede permitir el desarrollo de nuevas metodologas y herramientas tcnicas para abordar la evaluacin. Las normas y costumbres culturales y la tica, en caso de evolucionar y modificarse, pueden influir en la manera de demandar, realizar y utilizar evaluaciones.4
2.3.
El desarrollo de la capacidad de evaluacin: consecuencia de la puesta en marcha de un sistema pblico de evaluacin
La definicin e implantacin de un sistema pblico de evaluacin tiene como consecuencia directa el desarrollo de la capacidad o capacidades de evaluacin. Se entiende por capacidad la habilidad o facultad de los individuos y organizaciones o entidades para actuar con eficacia, eficiencia y de forma duradera (UNDP 1998:5)5 . Trasladando este concepto al mbito de la evaluacin, se puede decir que la capacidad de evaluacin se refiere al conjunto de elementos y recursos necesarios para poder llevar a cabo la prctica evaluadora por parte de un individuo u organizacin. Este concepto est ligado indisolublemente a la expansin de la cultura de evaluacin, entendiendo por esta ltima, la consideracin de la evaluacin como algo ms que una tcnica o herramienta, como una forma de entender la Administracin y la Gestin Pblica.
4. HAARICH, S.N. (2006): Mejora en los sistemas de evaluacin. Desarrollo de la capacidad de evaluacin respondiendo a la nueva demanda de la poltica regional europea. Tesis Doctoral, pgs.100-104. 5. Citado en HAARICH, S.N. (2006): Mejora en los sistemas de evaluacin. Desarrollo de la capacidad de evaluacin respondiendo a la nueva demanda de la poltica regional europea. Tesis Doctoral, pg.119.
24
La cultura de evaluacin se refiere a la existencia de las condiciones sociales e institucionales que ayudan a crear una comprensin comn de qu significan las palabras y acciones relativas a esta actividad, dentro de la que tienen lugar interacciones entre diversos actores que requieren mnimos de negociacin y tolerancia en la discusin y la aceptacin de criterios de referencia, en cuanto a los juicios que llevarn a valorar las polticas pblicas (KUSHNER, 1998). El desarrollo de la capacidad de evaluacin est ligado a factores culturales y estructurales de las organizaciones. Con respecto a los factores de carcter estructural, se puede decir que la capacidad de evaluacin se refiere a la suficiencia y facultad de una organizacin para enmarcar la funcin de evaluacin como parte integrante de su estructura asegurando el apoyo y el impulso de la misma por parte de los actores con competencias decisorias. As mismo, se refiere a la disposicin de personal capacitado y competente para realizar evaluaciones de rigor y calidad con los recursos disponibles por la organizacin y de acuerdo a las reglas y mecanismos de coordinacin establecidos.
En cuanto a los factores de tipo cultural, la capacidad de evaluacin tiene que ver con la existencia de normas, valores y costumbres favorables a la evaluacin que exijan, por ejemplo, la tenencia de documentos escritos de los mtodos y objetivos, de indicadores de procesos y resultados y/o la existencia de foros de intercambio de experiencias y aprendizaje mutuo, etc. El desarrollo de la capacidad de evaluacin tiene como ltimo propsito la creacin de organizaciones autosuficientes en materia de evaluacin, capaces de ejecutar la funcin de evaluacin con total aptitud y competencia. La actividad dirigida a fortalecer y propiciar la adquisicin y perfeccionamiento de esta capacidad de evaluacin no tiene una duracin determinada, es infinita, en constante produccin de reglas, procedimientos, prcticas y polticas que permitan su efectiva expansin y mejora (BAIZARMAN, COMPTON y STOCKDILL, 2005: 38)6. En definitiva, puede decirse que los conceptos de cultura de la evaluacin y desarrollo o fortalecimiento de la capacidad de evaluacin estn enfocados al impulso de la voluntad y competencia de las organizaciones para gestionar y ejecutar evaluaciones ms que al fomento del incremento de la utilizacin de la herramienta de evaluacin.
2.4.
Claves para el proceso de institucionalizacin de la evaluacin y diseo del sistema pblico de evaluacin en Navarra
Las Administraciones Pblicas han iniciado, en los ltimos tiempos, un camino de reformas en materia de gestin pblica para convertirse en organizaciones cada vez ms cercanas y accesibles, preocupadas por prestar servicios y orientar su actuacin a las necesidades e intereses de la ciudadana. Las claves de esta reforma residen en el impulso de la modernizacin e innovacin administrativa (materializada en proyectos de simplificacin y reingeniera de procedimientos, incorporacin de las NTICs a la gestin diaria y la reorganizacin de sus estructuras); la introduccin de los criterios de calidad, eficiencia, eficacia y transparencia en la gestin pblica, y el trabajo por el alcance de la excelencia en aras de la
6. Citado en DAHLER-LARSEN, P. (2007): Debemos evaluarlo todo? O de la estimacin de la evaluabilidad a la cultura de la evaluacin, en Revista Evaluacin de Polticas Pblicas, mayo-junio 2007, n 836, pgs. 93-104.
25
mejora de los servicios pblicos prestados as como de la planificacin, ejecucin y resultados de las intervenciones pblicas. Las organizaciones de las Administraciones Pblicas de la Comunidad Foral de Navarra comparten estos objetivos de optimizacin de su actividad y servicios, racionalizacin burocrtica e incremento de la participacin ciudadana en los procesos de toma de decisiones pblicas. Prueba de ello es la aprobacin del marco legislativo y normativo que pretende la reorganizacin administrativa y que se plasma en los siguientes hitos: Aprobacin en noviembre del 2002 del Plan de Modernizacin y Reforma por el Gobierno de Navarra. Entrada en vigor de las Leyes Forales 14/2004, de 3 de diciembre, del Gobierno de Navarra y su Presidente; 15/2004, de 3 de diciembre, de la Administracin de la Comunidad Foral de Navarra y 11/2004, de 29 de octubre, para la actualizacin del Rgimen Local de Navarra. Aprobacin de los Decretos Forales de estructura y funcionamiento de los Departamentos de Economa y Hacienda y Administracin Local y del Instituto Navarro de Administracin Pblica. De forma paralela, las organizaciones pblicas navarras han ido incorporando la evaluacin dirigida tanto al anlisis de la calidad de los servicios pblicos como a la revisin de las intervenciones pblicas7 puestas en marcha como una herramienta de reflexin y valoracin de su actuacin, cuya aplicacin facilita la toma de decisiones y la planificacin de acciones futuras. La incorporacin de la evaluacin de la calidad de los servicios pblicos a las tareas de gestin, permite disponer de informacin rigurosa, apoyada en evidencias, acerca del desempeo de las organizaciones pblicas. Las conclusiones y recomendaciones
derivadas de este tipo de evaluacin valoran el grado de ajuste de la actividad pblica a las necesidades e intereses de la ciudadana as como el nivel de satisfaccin del pblico objetivo de sus servicios. Por su parte, la evaluacin de polticas pblicas8 , aporta conocimiento acerca del diseo, ejecucin, resultados, efectos e impacto de la intervencin pblica analizada. La combinacin de ambas disciplinas en un nico sistema posibilita mayor eficiencia a la hora de asignar recursos fsicos, humanos y financieros, proporciona una base de seguridad y confianza al propio personal pblico encargado de la implementacin de actuaciones en la medida que delimita mejor el campo de sus atribuciones y deberes-, incrementa la capacidad de los responsables poltico-tcnicos puesto que cuentan con informacin fiable y til para la toma de decisiones y ayuda a mejorar la coordinacin con los dems niveles del aparato pblico permite detectar solapamientos o buenas prcticas capaces de ser transferidas a otros mbitos de actuacin (OSPINA 2000:6)9. En palabras de Juan Antonio Garde Roca Director General de Inspeccin, Evaluacin y Calidad de los Servicios de la Agencia Estatal de Evaluacin y Calidad , la evaluacin, por tanto, es un factor clave para realimentar las distintas fases de la gestin pblica, tanto las encaminadas a la implementacin de las polticas, desde sus resultados, como las vinculadas a los procesos de planificacin o formulacin del presupuesto (GARDE ROCA 2006:10). La ciudadana demanda una Administracin Pblica accesible y eficiente, cuya actuacin est orientada a servicios adecuados a sus necesidades e intereses, que maneje con racionalidad y honestidad los recursos pblicos y que sea capaz de rendir cuentas claras sobre su gestin y resultados. No cabe duda, por tanto, que para lograr esto es necesaria la reinvencin de las instituciones pblicas, sus procesos
7. Se entiende por intervencin pblica, cualquier norma, poltica, plan, programa, proyecto o cualquier otra forma de planificacin impulsada desde el sector pblico, diseada para producir efectos en la poblacin objetivo. 8. Cientficamente, la disciplina es denominada evaluacin de polticas pblicas pero, en la prctica, su uso no se restringe exclusivamente a este nivel de programacin sino que abarca el anlisis de cualquier tipo de intervencin pblica. 9. CIMGPb, p. 1). (v Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Santo Domingo, Rep. Dominicana, 24 - 27 Oct. 2000 // Evaluacin de la gestin pblica: conceptos y aplicaciones en el caso latinoamericano. Sonia Ospina Bozzi).
26
y funciones estratgicas, de manera que en este contexto, la funcin de evaluacin adquiere una especial relevancia puesto que su aplicacin facilita la respuesta a estas cuestiones. El Gobierno de Navarra, al comprobar la potencialidad y beneficios de incorporar la evaluacin (en sus dos vertientes: evaluacin de la calidad de los servicios pblicos y evaluacin de polticas pblicas) como una prctica imprescindible para la mejora y el aprendizaje de las organizaciones, se propone como objetivo la creacin de un sistema pblico de evaluacin. Este sistema pblico tiene como propsito institucionalizar la evaluacin y, por ende, contribuir al desarrollo de la cultura y capacidades de evaluacin en la Comunidad Foral de Navarra. La creacin de este sistema pblico busca dotar al conjunto de Administraciones Pblicas de Navarra de un marco comn normativo y metodolgico
que establezca criterios y principios que orienten la prctica evaluativa, as como la configuracin de una estructura organizacional proveedora de infraestructuras, recursos y herramientas que den soporte a los actores implicados en el proceso de evaluacin. Este nuevo marco se recoge en una Ley Foral, dada la importancia del cometido, pero tambin por el mbito de aplicacin, ya que no se circunscribe slo a los rganos y organismos de la Administracin de la Comunidad Foral, sino que, con una mayor ambicin, se extiende al conjunto de las Administraciones Publicas de de Navarra, en especial, a las entidades locales de Navarra. El 5 de septiembre de 2005 se presenta en el Parlamento el Proyecto de Ley y el 29 de diciembre del mismo ao se aprueba y publica en el Boletn Oficial de Navarra la Ley Foral 21/2005, de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos.
27
3
3.1.
El proceso de configuracin del sistema pblico de evaluacin en Navarra
Proceso de diseo e implantacin del sistema pblico de evaluacin en la Comunidad Foral de Navarra
3.1.1. Elementos y claves del modelo de sistema pblico de evaluacin de la Comunidad Foral de Navarra
Tras esta aproximacin a las bases tericas que han servido de apoyo para plantear el diseo y construccin de un sistema pblico de evaluacin en Navarra, es el momento de exponer las particularidades y componentes que son atribuibles a este sistema considerando que, al tratarse de una obra inacabada, en proceso de implantacin y desarrollo, su planteamiento y puesta en prctica puede ofrecer cambios de orientacin de acuerdo a nuevas necesidades y realidades futuras. Se trata, por tanto, de ofrecer una foto fija de la situacin en que se encuentra actualmente el sistema pblico de evaluacin navarro, partiendo de las claves y fundamentos distintivos que lo sustentan y que han permitido dar respuesta a las necesidades y especificidad de la realidad y contexto institucional y administrativo de la Comunidad Foral de Navarra. En primer lugar es necesario indicar que el sistema pblico de evaluacin navarro tiene por objeto ofrecer cobertura al conjunto de Administraciones Pblicas de Navarra, lo cual muestra lo ambicioso de este proyecto que se constituye como un marco comn que gue la actividad de evaluacin en cualquier organizacin del sector pblico navarro. Las caractersticas clave del modelo de sistema pblico en Navarra son dos:
Voluntariedad
El sistema aboga por la voluntariedad de la evaluacin, de forma que cada organizacin pblica sea quien decida cundo y qu evaluar. Por ello, se centra, por un lado, en el desarrollo de la capacidad de evaluacin a travs de actuaciones dirigidas a formar al personal pblico participante en los procesos de evaluacin, con la intencin de que desarrollen las aptitudes y conocimientos necesarios para liderar, gestionar y, en su caso, abordar la evaluacin de intervenciones y servicios pblicos. El otro foco de atencin es la motivacin y sensibilizacin sobre los beneficios y utilidades de la evaluacin, de manera que crezca el inters por la prctica evaluativa incrementndose la necesidad y demanda de este tipo de trabajos.
Flexibilidad y capacidad para ser ampliable

Al ser uno de los pilares del sistema el desarrollo de la capacidad de evaluacin actividad sin lmite temporal de implementacin, una de las particularidades del modelo es su dinamismo y flexibilidad, esto es, su capacidad de crecer y adaptarse a nuevas necesidades y realidades, incorporando nuevas lneas de actuacin. Es un modelo vivo, modificable en el tiempo, que permite la construccin de cuantos nuevos recursos y marcos de actuacin se consideren necesarios.
29
EL PROCESO DE CONFIGURACIN DEL SISTEMA PBLICO DE EvALUACIN EN NAvARRA
Los componentes que integran el sistema pblico desarrollado hasta el momento en Navarra se estructuran en torno a seis ejes o marcos de actuacin: EJE 1. Marco normativo: agrupa el conjunto de desarrollos normativos posteriores a la entrada en vigor de la Ley Foral 21/2005 y los acuerdos adoptados por la Comisin Foral. Se constituyen como el soporte jurdico sobre el que se asienta el sistema pblico de evaluacin de Navarra. EJE 2. Marco organizativo e infraestructuras: integra el conjunto de organismos responsables de coordinar y liderar el proceso de constitucin del sistema pblico de evaluacin, as como las infraestructuras tcnicas y de soporte para la realizacin de las funciones de seguimiento y control de la aplicacin de la Ley Foral 21/2005. EJE 3. Marco de capacitacin y sensibilizacin: orientado a la puesta en marcha de acciones de sensibilizacin y formacin del personal de las Administraciones Pblicas navarras encargado de aplicar los programas de actuacin y medidas establecidas por la Ley Foral 21/2005. EJE 4. Marco de difusin: contempla las acciones de comunicacin, tanto de mbito interno como externo, de las actuaciones llevadas a cabo para configurar el sistema pblico de evaluacin navarro y de sus resultados. EJE 5. Marco metodolgico: dirigido a la elaboracin de directrices y pautas de carcter metodolgico destinadas, en primer trmino, al personal de las Administraciones Pblicas de Navarra encargado de aplicar los programas de actuacin y
medidas establecidas por la Ley Foral 21/2005, y a otros profesionales del mbito pblico y privado interesados en la materia de evaluacin. EJE 6. Marco de cooperacin: centra su atencin en la creacin de vnculos y redes de colaboracin con el fin de canalizar la presencia e intervencin de las principales instituciones en materia de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos, tanto de las Administraciones navarras como del resto de las Administraciones Pblicas espaolas. Busca el intercambio de experiencias y buenas prcticas as como la constitucin de redes de apoyo para el impulso de la labor institucional de la Comisin Foral para la Evaluacin en el ejercicio de sus funciones. El recorrido trazado a travs de estos seis marcos de actuacin tiene, como se ha mencionado anteriormente, un punto de encuentro comn: el Desarrollo de la Capacidad de Evaluacin (DCE), entendido como el fortalecimiento de la facultad de evaluacin de las organizaciones pblicas en dos vertientes: el incremento del nmero de evaluaciones realizadas como consecuencia de la sensibilizacin y motivacin a las organizaciones sobre la necesidad de evaluar, y la ejecucin y uso apropiado de la herramienta de evaluacin (calidad y rigor de las evaluaciones), derivada de una labor de formacin y la disposicin de reglas, procedimientos, herramientas y recursos para la adquisicin de las aptitudes, habilidades y conocimientos necesarios para la evaluacin. El siguiente grfico representa la imagen actual del sistema pblico de evaluacin descrito:
30
FASE I
FASE II
FASE III
FASE IV SISTEMA PBLICO DE EVALUACIN NAVARRO
PRE LEGISLATIVA
LEGISLATIVA
DISEO Y PLANIFICACIN
APLICACIN DEL PLAN DE ACTUACIONES
DIRECTRICES BASE
CO
E OP
N CI RA
LEY
YD ESA RR OL L
OS
N O R
HERRA MIE NT AS
Creacin de vnculos y redes de colaboracin con endades y organizaciones del mbito pblico y privado.
Principios orientadores bsicos para la ejecucin de los trabajos en materia de evaluacin.
OS IV AT
MOS E NIS GA OR
VOLUNTARIEDAD Y CAPACITACIN
Y URSOS REC
Conjunto de materiales, guas y documentos de apoyo para la gesn y puesta en marcha de procesos de evaluacin.
DCE
Estructura organizacional que lidera el proceso de constucin e implantacin efecva del sistema pblico de evaluacin.
SUPERVISIN Y ASISTENCIA
INFRAES T RUC TU RA S
Acciones de comunicacin de las actuaciones de conguracin del sistema pblico de evaluacin navarro y de los logros alcanzados.
DI FU SI N
FLEXIBILIDAD Y CRECIMIENTO
N I AC
Proceso de formacin y movacin de las personas encargadas de ejecutar las medidas que permiten la implantacin del sistema pblico de evaluacin.
IN ZAC ILI SIB EN YS
CA PA CI T
31
3.1.2. Detalles del diseo y plan de actuaciones para la configuracin del sistema pblico de evaluacin navarro
El proceso de configuracin del sistema pblico de evaluacin navarro se ha desarrollado en cuatro fases comprendidas entre los aos 2005 y 2011. Las tres primeras fases comprendidas entre los aos 2005 a 2007, se corresponden con el diseo del modelo de sistema pblico de evaluacin pretendido, con la planificacin de su configuracin y de las actuaciones que permitirn su constitucin y desarrollo efectivo. Este perodo tiene por objetivo definir los pilares y elementos clave del sistema, los cuales van a posibilitar desarrollar, en fases posteriores, los componentes del mismo. El hito ms destacable de este perodo es, sin duda, la aprobacin por el Parlamento de Navarra de la Ley Foral 21/2005, de 29 de diciembre, de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos, la cual establece los principios y criterios orientadores bsicos que guiarn el ejercicio de la evaluacin en Navarra. La norma contiene un conjunto de programas de actuacin que deben implantarse en las Administraciones Pblicas navarras: Evaluacin de polticas pblicas Evaluacin de la calidad de los servicios pblicos Cartas de Servicios Sistemas de quejas y sugerencias Anlisis de la demanda y grado de satisfaccin ciudadana Premios a la Calidad de los Servicios Pblicos La cuarta fase comprende el desarrollo de los componentes del modelo de sistema pblico de evaluacin y consta de dos etapas: Una primera (aos 2007 a 2009) en la que se pone en marcha un plan de trabajo en torno a los seis marcos de actuacin sobre los que se estructuran los componentes del sistema pblico desarrollado hasta el momento en Navarra, presentados en el apartado anterior:
EJE 1. Marco normativo EJE 2. Marco organizativo e infraestructuras EJE 3. Marco de capacitacin y sensibilizacin EJE 4. Marco de difusin EJE 5. Marco metodolgico EJE 6. Marco de cooperacin La segunda etapa, comprendida entre los aos 2009 y 2011, se desarrolla a partir del periodo de reflexin iniciado con la evaluacin conceptual y de aplicacin de la Ley Foral 21/2005 y consiste, principalmente, en la puesta en marcha de las actuaciones contenidas en el Programa de Mejora derivado de la citada evaluacin. Esta etapa finaliza con la valoracin del modelo de sistema pblico de evaluacin puesto en marcha. Con ello se pretende dar paso a un periodo de reflexin que permita proponer un marco de actuacin futuro para la funcin de la evaluacin en la Comunidad Foral de Navarra. Destaca el inters de las personas responsables de liderar y gestionar este proceso por establecer perodos de reflexin, que han permitido realizar el seguimiento y evaluacin de las actuaciones ejecutadas, con el objetivo de orientar la toma de decisiones y planificar nuevas acciones ajustando procedimientos y criterios. Estos momentos de reflexin se han desarrollado en paralelo con la ejecucin del plan de trabajo previsto, permitiendo establecer un continuum en la actividad de conformacin del sistema pblico de evaluacin navarro. El siguiente esquema representa el cronograma de fases y etapas de trabajo seguido para poner en marcha las actuaciones de diseo, planificacin del desarrollo, implantacin y, por ltimo, seguimiento y evaluacin del sistema pblico de evaluacin, as como de sus componentes y de la propia forma de afrontar y desarrollar el proceso. Posteriormente, en los siguientes apartados, se describen tanto las fases desarrolladas como los marcos de actuacin implementados.
32
CRONOLOGA DEL PROCESO DE CONFIGURACIN Y DESARROLLO DEL SISTEMA PBLICO DE EVALUACIN NAVARRO
FASE III FASE IV
FASE I
FASE II
FASE IV
NUEVOS RETOS DISEO Y PLANIFICACIN APLICACIN DEL PLAN DE ACTUACIONES ETAPA 1 SEGUIMIENTO ETAPA 2 SEGUIMIENTO
El Sistema Pblico de Evaluacin en Navarra Diagnsco sobre la realidad de la evaluacin en Navarra y denicin del plan de actuaciones para poner en marcha la conguracin y desarrollo del sistema pblico de evaluacin navarro. Desarrollo de los primeros componentes del sistema pblico de evaluacin navarro. Las acciones se agrupan en seis ejes o marcos de actuacin. Evaluacin conceptual y de aplicacin de la Ley Foral 21/2005. Reexin y diagnsco sobre el estado de aplicacin de los programas de actuacin de la Ley Foral 21/2005. Aplicacin del Programa de Mejora derivado de la evaluacin de la Ley Foral 21/2005. Diseo y puesta en marcha de nuevas acciones dentro de los ejes o marcos de actuacin. Valoracin del funcionamiento de la Comisin Foral para la Evaluacin y reexin estratgica sobre las nuevas posibles lneas de actuacin.
PRE LEGISLATIVA
LEGISLATIVA
Estudios previos sobre experiencias y modelos adoptados por otras Comunidades Autnomas para regular la materia de evaluacin.
Aprobacin de la Ley Foral 21/2005, de 29 de diciembre, de evaluacin de las polcas pblicas y de la calidad de los servicios pblicos, que constuye el pilar sobre el que se asienta el modelo de instucionalizacin de la evaluacin navarro.
Nuevos ejes o marcos de actuacin? Ampliacin de los existentes?

Profesionalizacin de la evaluacin: cercacin de evaluadores; ampliacin de la evaluacin a otros mbitos de la Administracin; incorporacin de la herramienta de evaluacin desde el diseo de las intervenciones pblicas (...)
2005
2007
EJE 3 MARCO DE CAPACITACIN Y SENSIBILIZACIN
2009
EJE 4 MARCO DE DIFUSIN
2010
2011
EJE 5 MARCO METODOLGICO Recursos y herramientas
2012-2015
EJE 6 MARCO DE COOPERACIN
EJE 1 MARCO NORMATIVO Desarrollos y acuerdos posteriores a la Ley Foral 21/2005
EJE 2 MARCO ORGANIZATIVO E INFRAESTRUCTURAS
33
3.2.
Fase I. Pre-Legislativa
El paso previo al diseo de cualquier intervencin pblica consiste en la realizacin de un diagnstico de necesidades y estudio de viabilidad que proporcione la informacin necesaria para abordar el diseo ms adecuado. En este sentido, el Departamento de Presidencia, Justicia e Interior del Gobierno de Navarra, como impulsor del proyecto de creacin del sistema pblico de evaluacin navarro, promovi la constitucin de una comisin o grupo de anlisis y consulta. Este equipo, formado por responsables de rganos tcnicos de la Administracin de la Comunidad Foral y expertos jurdicos, decidi poner en marcha un diagnstico y estudio comparativo sobre las experiencias existentes en las diferentes Comunidades Autnomas en relacin a la evaluacin, tanto de las polticas pblicas como de la calidad de los servicios pblicos, y de su institucionalizacin. De manera complementaria, se elaboraron otros estudios, informes y dictmenes entre los que cabe destacar el Informe sobre la situacin de las diferentes unidades orgnicas de la Administracin de la Comunidad Foral de Navarra y de sus organismos autnomos en relacin a la calidad y mejora de los servicios pblicos, impulsado por el Servicio de Modernizacin y Estudios de las Administraciones Pblicas de Navarra del INAP. Dicho informe, realizado en el ao 2005, recoge las condiciones de las diferentes unidades administrativas respecto al grado de utilizacin de sistemas, modelos, instrumentos o herramientas para la gestin de la calidad (modelos comnmente aceptados como EFQM, ISO, CAF, Q turstica, etc.) y la mejora continua de los servicios prestados (cualesquiera otros mtodos como planes de modernizacin, planes estratgicos, etc.). Una vez analizado el contexto donde pretende configurarse el sistema pblico de evaluacin y, tras valorar las diferentes opciones posibles, se decide constituir un marco jurdico comn que siente las bases y preceptos fundamentales que guiarn la actuacin en materia de evaluacin, tanto de las polticas pblicas como de la calidad de los servicios pblicos, en el conjunto de las Administraciones Pblicas de Navarra. En este sentido comienzan los trabajos para la redaccin de un borrador de proyecto de Ley Foral. Los motivos que justifican la eleccin del rango de ley en la configuracin de este marco jurdico, tienen que ver con el hecho de que el mbito de aplicacin no se circunscribe slo a los rganos y organismos de la Administracin de la Comunidad Foral, sino que, con una mayor ambicin, pretende dar cobertura al conjunto de las Administraciones Pblicas de Navarra, en especial a las entidades locales. Este borrador fue elaborado durante el primer trimestre del ao 2005 por el Instituto Navarro de Administracin Pblica (INAP) y consensuado con la Direccin General para la Sociedad de la Informacin, el Departamento de Administracin Local y la Federacin Navarra de Municipios y Concejos. Durante el segundo trimestre del ao 2005, la Comisin de Rgimen Local emiti informe favorable sobre el documento borrador, de manera que el texto pas a convertirse en Proyecto de Ley. El 5 de julio de 2005 el Gobierno de Navarra remiti al Parlamento este Proyecto de Ley para su tramitacin y el 5 de septiembre, tras el periodo vacacional parlamentario, el Parlamento Navarro admiti a trmite el proyecto para su tramitacin por procedimiento ordinario, publicndose en el n 85 del Boletn Oficial del Parlamento con fecha 12 de septiembre. Durante esta fase, en el mbito del Estado, se haban dado algunos pasos significativos en la configuracin de un sistema de institucionalizacin de la evaluacin de las polticas que llevan a cabo las Administraciones. As, el Gobierno del Estado, a travs del Ministerio de Administraciones Pblicas, aprob a mediados de 2004 la constitucin de una Comisin para el estudio y creacin de una Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los servicios, cuya creacin fue posteriormente autorizada por la Disposicin adicional de la Ley 28/2006 de 18 de julio de Agencias estatales para la mejora de los servicios pblicos (BOE nm. 171,
34
de 19 de julio). Sus estatutos se establecieron mediante Real Decreto 1418/2006, de 1 de diciembre. La existencia de este proyecto en el Estado era conocida por el Gobierno de Navarra y el equipo respon-
sable de redactar el Proyecto de Ley Foral mantuvo una serie de contactos con las diferentes personas y expertos participantes en la Comisin para el estudio y creacin de la Agencia Estatal con el fin intercambiar opiniones.
3.3.
Fase II. Legislativa
3.3.1. Proceso de aprobacin y entrada en vigor del texto legislativo
Siguiendo el procedimiento ordinario de tramitacin de un proyecto de ley, los distintos grupos parlamentarios estudiaron el proyecto y presentaron sus enmiendas. Este estudio se inici el 27 de octubre de 2005, fecha en la que el Consejero de Presidencia, Justicia e Interior compareci en el Parlamento para defender el Proyecto de Ley. Durante el mes de diciembre se llev a cabo la tramitacin parlamentaria durante la cual se debatieron las enmiendas presentadas para su aceptacin y/o rechazo posterior. As, en el Pleno del Parlamento se debatieron y rechazaron cinco enmiendas a la totalidad y 113 parciales de las que la mayor parte fueron rechazadas con excepcin de dos de ellas. Algunos grupos parlamentarios optaron por presentar nueve enmiendas in voce durante el debate parlamentario celebrado el 23 de diciembre. Estas enmiendas fueron aceptadas y aprobadas y, por tanto, incorporadas al texto legal. Finalmente, el 29 de diciembre se aprob el Dictamen de Ley Foral en el Pleno del Parlamento con el apoyo de treinta y cuatro votos favorables. Es en ese momento cuando el Proyecto se convirti en Ley Foral. El 9 de enero del 2006 fue publicado en el Boletn Oficial de Navarra n 4, el anuncio de la aprobacin de la Ley Foral 21/2005, de 29 de diciembre, de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos. Tal como se indica en su disposicin final segunda, el 10 de enero de 2006 la Ley entr en vigor. A continuacin se describe el texto legal, partiendo de sus propsitos u objetivos y detallando sus disposiciones y programas de actuacin.
3.3.2. Contenido del texto legislativo

Objetivo o finalidad del texto legal
El objetivo general de Ley Foral 21/2005 es la constitucin y desarrollo de un sistema pblico de evaluacin tanto de las polticas pblicas que diseen y realicen las Administraciones Pblicas de Navarra, como de la calidad de los servicios pblicos que stas presten a la ciudadana navarra en el mbito de sus respectivas competencias10.
Pblico destinatario
La Ley Foral 21/2005 se dirige a una serie de colectivos que pueden clasificarse de la siguiente forma, en funcin del papel que la norma les asigna:
10. Art. 1.1. Ley Foral 21/2005, de 29 de diciembre, de evaluacin de polticas pblicas y de la calidad de los servicios pblicos.
35
Papeles activos: recoge al colectivo de entidades u organismos que deben aplicar la norma, esto es, ejecutar los programas de actuacin previstos en la misma. Papeles pasivos: no estn llamados a la accin de una manera directa sino que reciben los efectos de la aplicacin de la norma. No obstante, este colectivo puede colaborar puntualmente o participar de manera indirecta en el desarrollo de algunas actuaciones.
Beneficiarios directos: el colectivo que recibe los resultados y efectos derivados de la aplicacin de la Ley, obteniendo provecho y utilidad de los mismos. Beneficiarios indirectos: aquellos que, no estando prevista su consideracin como beneficiarios inicialmente, reciben los resultados y efectos derivados de su aplicacin.
36
La siguiente tabla identifica los actores que integran la clasificacin propuesta:

ACTORES IDENTIFICACIN
OBLIGACIONES/LLAMADA A LA ACCIN INACCIN ART. LEY Realizacin de las evaluaciones de polticas pblicas y de la calidad de los servicios pblicos, con sus propios medios, mediante la contratacin de terceros o solicitando la intervencin de la Comisin Foral para la Evaluacin de Polticas Pblicas y de la Calidad de los Servicios Pblicos Remisin de las evaluaciones concluidas a la Comisin Foral para la Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios, para su inclusin al Registro de Evaluacin de Polticas Pblicas y Calidad de los Servicios
Art.7
Art. 11.2
Administraciones Pblicas Navarras en general
Elaboracin por parte de los Departamentos y organismos autnomos adscritos a la Administracin de la Comunidad Foral de Navarra, de su respectiva Carta de Servicios en el plazo mximo de tres aos desde la entrada en vigor de la Ley 21/2005 Determinacin de la unidad o unidades responsables de la gestin de las quejas y sugerencias Compromiso de contestacin a las quejas o sugerencias presentadas por los ciudadanos, en el plazo mximo de un mes, indicando al interesado las actuaciones realizadas
Art. 20
PAPEL ACTIVO
Art. 28
Art. 30
Fundaciones o Entidades sin nimo de lucro
Colaboracin en la convocatoria de premios a la calidad
Art. 22
Comisin Foral para la Evaluacin de Polticas Pblicas y de la Calidad de los Servicios Pblicos
Elaboracin de un informe acerca del grado de aplicacin de la ley y de las mejoras consideradas convenientes, transcurridos tres aos desde la entrada en vigor de la Ley Foral Funciones especficas asignadas a este rgano colegiado11 Posibilidad de formular quejas o sugerencias sobre los servicios que les prestan las Administraciones Pblicas
Disposicin Adicional Primera
Art. 23.2
PAPEL PASIVO
Usuarios/as y/o ciudadanos/as navarros
Art. 29.2
11. Estas funciones son identificadas posteriormente en el apartado 5.5.1 Marco normativo.
37
Al ser responsables de la ejecucin de las medidas y programas de actuacin propuestos por la Ley, son los primeros que se beneficiarn en cuanto a: Disponer de informacin valiosa sobre su organizacin, la calidad de los servicios prestados, la satisfaccin y necesidades de las personas usuarias de sus servicios, etc. Mejoras en los niveles de gestin y en los niveles de calidad de los servicios prestados. Mejoras en la formacin y conocimientos sobre las herramientas de evaluacin de polticas pblicas y de calidad de los servicios pblicos. Recepcin de premios en caso de realizar una labor destacada. Mejoras en los servicios pblicos que utiliza (reduccin en los tiempos de respuesta, mejoras en la calidad, etc.). Conocimiento de las acciones que realizan las Administraciones Pblicas mediante la consulta del Registro de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos (art. 11.2).
Administraciones Pblicas Navarras en general
BENEFICIARIOS DIRECTOS
Usuarios/as y/o ciudadanos/as navarros
Comisin Foral para la Evaluacin de Polticas Pblicas y de la Calidad de los Servicios Pblicos Servicio de Calidad de Polticas y de Servicios Pblicos Administracin Pblica estatal BENEFICIARIOS INDIRECTOS Entidades, organismos a nivel nacional e internacional (Agencias, Sociedades de Evaluacin, etc.) y mundo acadmico
Se trata de organismos de nueva creacin, surgidos a raz de la entrada en vigor de la Ley Foral.
Las evaluaciones realizadas generan conocimiento transferible. La Ley Foral 21/2005, siendo pionera, puede servir de ejemplo al resto de Comunidades Autnomas. Conocimiento de las acciones que realizan las Administraciones Pblicas mediante la consulta del Registro de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos (art. 11.2). La Ley contempla la contratacin de terceros para la ejecucin de los trabajos de evaluacin, de modo que esta circunstancia es una fuente de empleo para empresas de consultora y profesionales freelance del mundo de la evaluacin.
Empresas de consultora y profesionales especializados en materia de evaluacin
38
Organismos y herramientas de soporte a la Ley Foral 21/2005

La Ley Foral 21/2005 propone como una de sus medidas fundamentales, la creacin de un rgano colegiado de composicin interadministrativa, que ser el encargado de la evaluacin en el nuevo sistema que
se pretende configurar. Se trata de la Comisin Foral para la Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos, que se constituy el 14 de junio de 2006, tras la entrada en vigor la Ley Foral 21/2005. La composicin actual de esta Comisin es la siguiente:
PRESIDENTE:
Consejero de Presidencia, Justicia e Interior, designado por Acuerdo de 20 de febrero de 2006, de Gobierno de Navarra.
Un representante del Instituto Navarro de Administracin Pblica. Un representante de la Direccin General de Modernizacin y Administracin Electrnica del Departamento de Presidencia, Justicia e Interior. Un representante del Departamento de Administracin Local.
VOCALES:
Tres representantes de la Federacin Navarra de Municipios y Concejos. Un representante de la Fundacin Navarra para la Excelencia. Un representante de cada una de los dos organizaciones sindicales que tengan la consideracin de ms representativas conforme a la Ley Orgnica de Libertad Sindical. Un funcionario o empleado pblico designado por el Instituto Navarro de Administracin Pblica. En la actualidad la Directora del Servicio de Calidad.
SECRETARIO:
La Comisin Foral tiene como funciones especficas las mencionadas a continuacin12: El impulso en las Administraciones Pblicas de Navarra de una cultura de la evaluacin de lo pblico. La elaboracin de planes, y su propuesta al rgano competente para su adopcin, de acciones de mejora en la prestacin de los servicios pblicos y de sistemas de evaluacin de la calidad de dichos servicios. La elaboracin de criterios comunes y la definicin de metodologas.
La evaluacin externa de las polticas pblicas y de la calidad de los servicios pblicos que se le soliciten. Informar sobre los anteproyectos de disposiciones generales con rango de Decreto o Ley Foral relacionadas con la evaluacin de las polticas pblicas y de la calidad de los servicios pblicos. La formacin en evaluacin y gestin de la calidad. La recopilacin de informacin sobre evaluacin de los servicios pblicos, su anlisis y, en su caso, la formulacin de propuestas y recomendaciones sobre la metodologa.
12. Art. 23, Naturaleza y Funciones, Ley Foral 21/2005, de 29 de diciembre, de evaluacin de polticas pblicas y de la calidad de los servicios pblicos.
39
La gestin del Registro de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos. El fomento de la investigacin aplicada en materia de evaluacin, en colaboracin con otras entidades pblicas y privadas. La promocin de publicaciones y estudios relacionados con la evaluacin y la calidad de los servicios pblicos. La participacin en las instituciones metodolgicas de carcter nacional. La acreditacin y, en su caso, certificacin de las actuaciones que se realicen por entidades independientes pblicas o privadas respecto de las Administraciones Pblicas de Navarra. La realizacin de anlisis de la percepcin ciudadana sobre los servicios pblicos. La articulacin de un sistema de comunicacin con informadores clave representativos de los agentes socioeconmicos, y de los profesionales y entidades del sector de fomento de la calidad en el sector pblico. La Ley Foral establece que, para el cumplimiento de sus fines, la Comisin dispondr de los medios materiales y recursos humanos que le proporcione el Instituto Navarro de Administracin Pblica, al cual queda adscrita.
Por otro lado, la Ley Foral propone en su artculo 23.2.h. la creacin del Registro de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos, como un instrumento de censo de los diferentes sistemas de evaluacin, programas de mejora y cartas de servicios puestos en marcha por las Administraciones Pblicas de la Comunidad Foral Navarra. Este Registro es pblico y gratuito, pudiendo ser consultado desde la pgina Web de Gobierno de Navarra. Esta herramienta, adems de proporcionar informacin sobre el grado de aplicacin de la Ley, permite a las organizaciones ejecutoras de la Ley promocionar y difundir las actuaciones realizadas y facilita el intercambio de experiencias.
Medidas de la Ley Foral 21/2005

El rasgo ms singular de la Ley Foral 21/2005 es el hecho de que plantea medidas en dos mbitos de actuacin diferentes, puesto que regula dos materias que, con caractersticas diferenciadoras y especficas, son necesariamente complementarias en su aplicacin para la mejora de la gestin pblica: la evaluacin de polticas pblicas y la evaluacin de la calidad de los servicios pblicos. La Ley tiene un tronco comn donde se establecen criterios y principios que debern regir cualquier evaluacin, ya tenga sta como objeto la calidad del servicio pblico o una intervencin pblica.
Medidas establecidas por la Ley Foral 21/2005 para cada mbito o materia de evaluacin
Anlisis de la demanda y grado de sasfaccin ciudadana Premios a la Calidad de los Servicios Pblicos Quejas y Sugerencias
Evaluacin de las polcas pblicas
Cartas de Servicios Evaluacin de la Calidad de los Servicios Pblicos
Publicidad de las evaluaciones
Voluntariedad de evaluar Criterios y principios orientadores Adopcin de modelos de evaluacin comnmente aceptados Integralidad y objevidad Modalidades de evaluacin
40
Por otra parte, contempla un conjunto de medidas especfico para cada una de las dos materias reguladas, estableciendo de este modo dos recorridos o planes de actuacin diferenciados. Evaluacin de la calidad de los servicios pblicos: donde se establece un conjunto de programas de actuacin a poner en marcha por las organizaciones pblicas de Navarra: Cartas de Servicios, Quejas y Sugerencias, Evaluaciones de la Calidad de los Servicios Pblicos, Premios a la Calidad de los Servicios Pblicos y Anlisis de demanda y grado de satisfaccin ciudadana. Evaluacin de las polticas pblicas: concretando este programa de actuacin mediante el establecimiento de orientaciones y criterios de tipo metodolgico.
Las evaluaciones se realizarn conforme a la conveniencia de cada organizacin, que estimar cundo es el mejor momento para llevar a cabo este proceso, cul ser su rea o mbito material de atencin as como qu mtodo o tcnica se aplicar para su desarrollo de acuerdo a la realidad de su organizacin. La evaluacin deber ser integral y objetiva, basada en evidencias, y sus resultados, conclusiones y reas de mejora sern pblicos13. Se realizar conforme a modelos comnmente aceptados, que permitan la comparacin de sus resultados entre las distintas unidades administrativas o Administraciones Pblicas y el intercambio de experiencias14. En este sentido, para la autoevaluacin de la calidad de los servicios pblicos se recomienda la aplicacin de los siguientes mtodos: Cartas de Servicios, Modelo de Calidad Total de la Fundacin Europea para la Gestin de la Calidad (EFQM), Marco Comn de Evaluacin para el Sector Pblico (CAF) y cualquier otro mtodo comnmente aceptado que recoja con suficiencia y rigor la opinin de los usuarios, su grado de satisfaccin con los servicios recibidos y establezca programas de mejora consecuentes con la informacin obtenida15. La norma establece los criterios y/o principios generales que deben orientar el proceso de toda evaluacin16:
Aspectos comunes definidos por la Ley Foral 21/2005

La norma diferencia dos modalidades de evaluacin (tanto para las polticas pblicas como para la calidad de los servicios): autoevaluacin, por la propia organizacin, y evaluacin externa por parte de la Comisin Foral para la Evaluacin de las Polticas Pblicas y la Calidad de los Servicios Pblicos que podr servirse de entidades u organismos independientes.
PRINCIPIOS Legitimidad Democrtica DEFINICIONES
Aquella gestin de lo pblico que concibe la ciudadana como la razn de ser de la existencia de las Administraciones Pblicas y dirige las polticas y los servicios pblicos a la satisfaccin de las necesidades reales de los ciudadanos. Supone la gestin de las polticas pblicas y la prestacin de servicios pblicos mediante la aplicacin de procedimientos legal y reglamentariamente establecidos. Consecucin real de los objetivos pblicos que se persiguen. Ejecucin de polticas y prestacin de servicios pblicos mediante una ptima utilizacin de medios que posibilita la consecucin directa de los fines pblicos perseguidos.
Legalidad Eficacia Eficiencia
13. Art. 3.2., Captulo I, Ley Foral 21/2005. 14. Art. 3.1., Captulo I, Ley Foral 21/2005. 15. Art. 15, Captulo III, Ley Foral 21/2005. 16. Art. 4, Captulo I, Ley Foral 21/2005.
41
PRINCIPIOS Economa
DEFINICIONES
Consecucin de los objetivos pretendidos con el coste econmico ms racional para la Hacienda Pblica. Deber de la Administracin de realizar su actividad facilitando informacin necesaria a la ciudadana, sobre su organizacin y sobre su forma de prestar los servicios pblicos. Forma de disear polticas y de gestionar y prestar servicios que se anticipa a los problemas y demandas que puedan sucederse. Consecucin de los objetivos pretendidos en el menor tiempo posible. Prestacin de servicios pblicos de forma equitativa dando a cada destinatario el servicio que realmente necesita. Forma de gestionar que asume de forma expresa sus obligaciones ante la ciudadana y, en caso de mal funcionamiento de los servicios pblicos, adopta medidas adecuadas para su correccin en el menor tiempo posible e indemniza a los perjudicados en los trminos previstos en las leyes. Elaboracin y gestin de polticas pblicas y prestacin de servicios con aplicacin de sistemas y mtodos que permitan a los ciudadanos intervenir y formular sugerencias, observaciones y alegaciones, o presentar reclamaciones y quejas por el deficiente funcionamiento de los servicios pblicos. Aplicacin de mecanismos que permiten a una Administracin responsable de una poltica pblica o de la prestacin de un servicio pblico relacionarse con otras competentes para la consecucin de objetivos e intereses pblicos comunes.
Transparencia
Prevencin Celeridad Universalidad
Responsabilidad
Participacin ciudadana
Colaboracin y coordinacin con otras Administraciones Pblicas Coherencia Simplicidad
Prestacin de servicios de forma continua, cierta y estable. Utilizacin de tcnicas y mtodos que permitan la simplificacin de trmites, la eliminacin de procedimientos innecesarios y la disminucin de los tiempos de espera. Existencia de normas y procedimientos claros comprensibles para los usuarios, as como el empleo de medios pblicos de informacin en los que se utiliza un lenguaje comprensible. Gestin que utiliza nuevas tecnologas y mtodos de organizacin eficaces y participativos, y se rige por criterios de actualizacin y reforma de su estructura administrativa, de las infraestructuras, instalaciones y edificios en que los servicios se prestan. Puesta en prctica de mtodos que permiten sistemticamente a una Administracin detectar sus deficiencias, corregirlas y prestar sus servicios a los ciudadanos cada vez de forma ms eficiente, eficaz, econmica, participativa y con mayor celeridad.
Comprensin
Modernizacin
Mejora continua
42
Un atributo fundamental del concepto de evaluacin segn la Ley Foral 21/2005 es su voluntariedad17. La intencin del Gobierno de Navarra es promover la cultura de la evaluacin a travs de la difusin de los beneficios del uso de esta herramienta en el mbito pblico, dejando de lado actividades coercitivas o de imposicin. As, sern los propios actores pblicos quienes decidan cundo, por qu, qu y cmo evaluar18. La Ley Foral 21/2005 promueve la publicidad de las evaluaciones, dejando a las Administraciones Pblicas navarras la eleccin del modo y medios tcnicos para llevar a cabo la divulgacin19. Los siguientes apartados describen las medidas y actuaciones previstas en el texto legal de manera especfica para cada una de las materias reguladas.
PRINCIPIO/ORIENTACIN mbito material de la evaluacin de polticas pblicas Finalidades de la evaluacin de polticas pblicas CONTENIDO
3.3.3. Plan de medidas especfico para cada mbito de evaluacin

Evaluacin de polticas pblicas
La Ley Foral 21/2005 contempla en su artculo 2.a) la evaluacin de las polticas pblicas de las Administraciones Pblicas de Navarra como una de las medidas que establece. Posteriormente, en lugar de proponer una lista de medidas o actuaciones auxiliares, establece pautas, principios y orientaciones de tipo bsico que guen el proceso de aplicacin de esta herramienta. Todo ello se recoge en el segundo captulo de la norma, de la siguiente forma:
ARTCULO
Art. 5
Podrn realizarse evaluaciones sobre materias completas de competencia de cada Administracin o sobre sectores homogneos que integren dichas materias. Comprobar el grado de aplicacin de los criterios y principios referidos en el artculo 4 de la Ley (eficacia, eficiencia, economa, transparencia, prevencin, celeridad, participacin ciudadana, etc.) as como de aquellos que se considere conveniente analizar. Se contemplan tres momentos para la evaluacin: ex ante (durante la planificacin o programacin de una poltica pblica) intermedia (durante la aplicacin de la poltica pblica en el periodo programado) y ex post (con posterioridad a la ejecucin de la poltica pblica programada). Problemas detectados y problemas que se pretenden resolver. Objetivos que se pretende conseguir. Resultados alcanzados. Relacin entre los tres elementos anteriores. Distribucin de los efectos. Impactos que se han constatado y sectores sobre los que se han producido. Medios jurdicos, tcnicos y administrativos y recursos econmicos y humanos empleados, etc.
Art. 8
Momentos para la evaluacin de polticas pblicas
Art.9
Art. 10
Contenidos sobre los que puede versar una evaluacin de polticas pblicas
17. Exposicin de motivos, prrafo noveno, Ley Foral 21/2005. 18. Art. 5, Captulo II, Ley Foral 21/2005. 19. Art. 11.1., Captulo II, Ley Foral 21/2005.
43
Evaluacin de la calidad de los servicios pblicos

La evaluacin de la calidad de los servicios pblicos es tratada con detalle en el captulo tercero de la Ley Foral 21/2005, en el cual se definen conceptos y se establecen las lneas generales que han de guiar a las Administraciones Pblicas navarras durante la aplicacin de esta herramienta.
PRINCIPIO/ORIENTACIN Definicin de evaluacin de la calidad de los servicios pblicos CONTENIDO
Constituye un proceso integral y continuo que considera los niveles de prestacin de los servicios en relacin con las expectativas ciudadanas y la medicin del grado de cumplimiento de compromisos previamente establecidos por la unidad prestadora y, establece, a partir de los datos obtenidos, programas de mejora. 1. Identificar aquellos aspectos y reas de mejora que permitan y favorezcan a las organizaciones administrativas su evolucin y desarrollo. 2. Proporcionar a las unidades administrativas competentes la informacin necesaria para planificar y dirigir la accin administrativa de servicio a los ciudadanos, as como adoptar las iniciativas de mejora necesarias, en coordinacin, cuando se trate de la Administracin de la Comunidad Foral de Navarra y de sus organismos pblicos, con las estrategias de fomento de la calidad y modernizacin que promueve la Direccin General para la Sociedad de la Informacin del departamento de Economa y Hacienda. 3. Hacer llegar a los ciudadanos, en su condicin de destinatarios de la actividad administrativa, informacin sobre los niveles de calidad prestados por la Administracin Pblica. Cartas de Servicios. Modelo de Calidad Total de la Fundacin Europea para la Gestin de la Calidad (EFQM).
Art.9
ARTCULO
Art. 12
Art. 8
Finalidades de la evaluacin de la calidad de los servicios pblicos
Mtodos de autoevaluacin de la calidad de los servicios pblicos
Marco Comn de Evaluacin para el Sector Pblico (CAF). Cualquier otro mtodo comnmente aceptado que recoja con suficiencia y rigor la opinin de los usuarios, su grado de satisfaccin con los servicios recibidos y establezca programas de mejora consecuentes con la informacin obtenida. Cuando se trate de la Administracin de la Comunidad Foral de Navarra o de sus organismos pblicos dependientes, el mtodo deber haber sido previamente homologado por la Comisin Foral para la Evaluacin de las Polticas Pblicas y la Calidad de los Servicios Pblicos.
44
Para finalizar este captulo, la Ley Foral 21/2005 dedica su artculo diecisiete a los Programas de mejora de la calidad como una forma de aplicar la informacin obtenida de las evaluaciones ya sean autoevaluaciones o evaluaciones externas- de la calidad de los servicios pblicos realizadas. La norma dedica, as mismo, un captulo especfico para cada uno de los siguientes programas de actuacin enmarcados en el mbito de la mejora de la
PRINCIPIO/ORIENTACIN CONTENIDO
calidad de los servicios pblicos: Cartas de Servicios, Premios a la calidad de los servicios pblicos, Anlisis de la demanda y grado de satisfaccin ciudadana y, Quejas y Sugerencias. Las Cartas de Servicios son tratadas en el cuarto captulo de la Ley Foral, donde se indican pautas y orientaciones que guen el proceso de elaboracin e implantacin de este sistema de autoevaluacin de la calidad de los servicios pblicos:
ARTCULO
Art. 18
Concepto y alcance de la herramienta de Cartas de Servicios
Son documentos de acceso pblico que constituyen un medio para informar a los ciudadanos sobre los servicios pblicos prestados por las Administraciones Pblicas de Navarra. Incorporarn compromisos voluntariamente adquiridos por las Administraciones Pblicas para una mejor prestacin de sus servicios pblicos, y los indicadores que aseguren su cumplimiento. No tienen el carcter de disposiciones normativas y no surten efectos jurdicos vinculantes.
De carcter general:
Datos identificativos del rgano u organismo que elabore la Carta. Descripcin genrica de los objetivos y competencias del rgano u organismo que las lleva a cabo. Descripcin de los servicios que se prestan. Modalidades de colaboracin o participacin de los ciudadanos y usuarios en la mejora de los servicios. Relacin de las referencias normativas reguladoras de las prestaciones y servicios.
Art. 19
Contenidos mnimos de las Cartas de Servicios
Sistema de sugerencias y reclamaciones. Compromisos que se contraen en relacin con los servicios que se prestan.
De carcter complementario:
Las direcciones postales, telefnicas e informticas de todas las oficinas donde se prestan cada uno de los servicios. Direccin postal, telefnica e informtica de la unidad responsable de la Carta de Servicios. Referencia a otras posibles informaciones divulgativas sobre los servicios gestionados. Otros datos de inters sobre los servicios prestados.
45
Adems de estas orientaciones, se establece una obligacin para los Departamentos y Organismos Autnomos de la Administracin de la Comunidad Foral de Navarra: la elaboracin de sus respectivas Cartas de Servicios en el plazo mximo de tres aos desde la entrada en vigor de la Ley. El quinto captulo regula la promocin de Premios a la calidad de los servicios pblicos, dirigidos a reconocer y premiar a las Administraciones que se hayan distinguido en la realizacin de actividades de mejora en la calidad del servicio ofrecido al ciudadano. El programa de actuacin de Anlisis de la demanda y grado de satisfaccin ciudadana es regulado en el sptimo captulo. En este caso, se ofrece una aproximacin conceptual a la materia y orientacioPRINCIPIO/ORIENTACIN CONTENIDO
nes sobre la metodologa a emplear, las garantas de fiabilidad y seguridad a tener en cuenta en este tipo de trabajos de investigacin (confidencialidad de las personas que trabajan o colaboran en este tipo de trabajos de investigacin y posibilidad de consolidacin y comparacin de resultados, principalmente), y la utilizacin de los resultados (en la elaboracin y actualizacin de cartas de servicios y para abordar otras acciones de mejora continua). El octavo captulo orienta la actuacin de las Administraciones Pblicas de Navarra en lo que se refiere a las Quejas y Sugerencias, destacando la obligacin de contestar al interesado que formul la queja o sugerencia en el plazo de un mes desde su recepcin indicndole las actuaciones realizadas. Adems, este captulo, identifica los siguientes aspectos:
ARTCULO
Art. 28
Definicin
Cada Administracin Pblica de Navarra determinar la unidad o unidades responsables de la gestin de quejas y sugerencias, la cual deber ofrecer al ciudadano la respuesta a las mismas, as como informar sobre las actuaciones realizadas y medidas adoptadas. La ubicacin fsica de la unidad responsable de la gestin de quejas y sugerencias se sealizar de forma visible y deber ser la ms accesible para los usuarios.
Art. 29
Presentacin y tramitacin
Los canales para la formulacin de quejas y sugerencias son el presencial, correo postal y medios telemticos, para los que se requiere firma electrnica. Los usuarios recibirn justificante de la presentacin de su queja / sugerencia. La unidad responsable de la gestin de quejas y sugerencias informar a la persona interesada en el plazo de un mes de las actuaciones realizadas. La informacin sobre las quejas y sugerencias recibidas, as como su tramitacin, respuesta y medidas adoptadas, se incorporar a la memoria anual del departamento. Las quejas no tienen calificacin de recurso administrativo ni interrumpirn los plazos establecidos en la normativa vigente para los procedimientos administrativos.
Art. 30
Contestacin
Seguimiento
Art. 31
Efectos
Art. 32
46
3.4.
Fase III. Definicin del plan de actuaciones para materializar el sistema pblico de evaluacin en Navarra
El texto legislativo define los elementos clave (delimitacin de los mbitos de actuacin o materias a las que dar cobertura el sistema pblico de evaluacin, componentes bsicos, criterios de actuacin, actores implicados, medidas y preceptos bsicos, etc.) que conformarn el sistema pblico de evaluacin. Para llevar a la prctica el diseo planteado, es necesario concretar un plan de actuaciones que establezca prioridades de accin de manera gradual y a largo plazo para cada una de las materias o mbitos de evaluacin. El diagnstico de las evaluaciones sirvi de base para determinar el grado de institucionalizacin de la evaluacin de las polticas pblicas en Navarra, ofreciendo insumos sobre las mejoras necesarias a introducir y sobre las necesidades evaluativas no cubiertas. Sus conclusiones emitidas en abril de 2007 resultaron de gran utilidad para la Comisin Foral de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos, que ha contado con una herramienta que ha facilitado y orientado, en gran parte, el proceso de toma de decisiones sobre las actuaciones y estrategia a emprender en materia de evaluacin de polticas pblicas a medio-largo plazo. El trabajo de campo se centr en identificar las evaluaciones realizadas en los Departamentos, en los ltimos aos, recopilar informacin sobre el tipo de informacin suministrada por la evaluacin, su grado de relevancia y el nivel de satisfaccin de los destinatarios con el proceso de evaluacin y los datos aportados. El estudio diagnstico aporta numerosas recomendaciones, de entre las cuales, la Comisin Foral para la Evaluacin, consider prioritarias las siguientes: Fomentar las acciones de sensibilizacin sobre la importancia de la evaluacin de polticas pblicas para los procesos de toma de decisin y mejora de las actuaciones pblicas. Desarrollar actuaciones formativas para aumentar la capacitacin en materia de evaluacin de polticas pblicas y seguimiento. Disear y elaborar instrumentos que sirvan de referencia a todas las personas implicadas en la puesta en marcha de procesos de evaluacin de polticas pblicas.
3.4.1. Evaluacin de polticas pblicas

En septiembre de 2006 la recin creada Comisin Foral para la evaluacin de las polticas pblicas y de calidad de los servicios pblicos, decide encargar al Instituto Navarro de Administracin Pblica la realizacin de un estudio diagnstico que identifique cules son las acciones prioritarias a abordar en materia de evaluacin de polticas pblicas, y que permitirn delinear y construir los distintos componentes del sistema pblico de evaluacin navarro en esta materia. Este trabajo tuvo por objetivo estudiar los procesos de evaluacin llevados a cabo en la Administracin de la Comunicad Foral de Navarra durante los ltimos cinco aos. Se trata de una metaevaluacin de las evaluaciones de programas y polticas pblicas realizadas en esta Administracin, sobre la base de un conjunto de criterios que permitieron cualificar la demanda de evaluaciones y valorar su relevancia, validez y utilidad, as como su pertinencia en relacin con el contexto evaluativo y con las funciones que debe cumplir la evaluacin. Con esta investigacin se pretendi ofrecer respuesta a las siguientes preguntas: qu se est haciendo en Navarra sobre evaluacin de polticas pblicas?, y para qu ha servido?
47
3.4.2. Evaluacin de la calidad de los servicios pblicos

Tal como se ha mencionado en la descripcin de la Fase Pre Legislativa, en el ao 2005, previo a la elaboracin de la Ley Foral 21/2005, se realiz un Informe sobre la situacin de las diferentes unidades orgnicas de la Administracin de la Comunidad Foral de Navarra y de sus organismos autnomos en materia de calidad y mejora de los servicios pblicos, impulsado por el Servicio de Modernizacin y Estudios de las Administraciones Pblicas de Navarra del INAP. Dicho informe, recopila las condiciones de cada unidad administrativa respecto al grado de utilizacin de sistemas, modelos, instrumentos o herramientas favorecedores de la calidad (modelos comnmente aceptados como EFQM, ISO, CAF, Q turstica, etc.) y la mejora continua (cualesquiera otros mtodos como planes de modernizacin, planes estratgicos, etc.) de los servicios prestados. El estudio revel que un 51% de las unidades administrativas contaba con algn sistema o instrumento de calidad. De manera complementaria a este informe, se realiz un estudio comparativo con intencin de analizar las
experiencias existentes en otras Comunidades Autnomas respecto de la evaluacin y estudiar el marco normativo que la regula en otros contextos (nacional y autonmico). Este anlisis puso de manifiesto que, en general, las Administraciones Pblicas espaolas haban centrado su accin en la evaluacin de la calidad de los servicios pblicos. Por otro lado, en la Administracin de la Comunidad Foral de Navarra, se haban dado pasos importantes para su modernizacin y su configuracin como prestadora de servicios de calidad, como demuestran los planes de Modernizacin de la Administracin de la Comunidad Foral impulsados desde el Gobierno de Navarra (aos 1993 y 2002), as como la configuracin de reas, servicios y secciones dentro de los diferentes Departamentos dedicados al fomento de la mejora de la gestin y modernizacin administrativa. En esta fase, en la que se pretende establecer el plan de actuaciones que permitir hacer realidad el modelo de sistema pblico de evaluacin en relacin a la evaluacin de la calidad de los servicios pblicos, se decide considerar todos estos estudios y anlisis, con la intencin de emplear sus conclusiones como base para la definicin del conjunto de acciones y medidas a poner en marcha.
3.5.
Fase IV. Implementacin del plan de actuaciones: desarrollo de los componentes del sistema pblico de evaluacin
Una vez definida la estrategia de actuacin, es el momento de poner en marcha las actividades de configuracin del conjunto de componentes que irn conformando el sistema pblico de evaluacin navarro y que, en segundo plano y de forma gradual, coadyuvarn a institucionalizar la prctica de evaluacin en las Administraciones Pblicas de la Comunidad Foral Navarra. Este apartado describe, uno a uno, los ejes o marcos de actuacin definidos y presentados de manera resumida en el apartado 3.1 del presente documento, detallando los componentes, tareas y productos desarrollados hasta el momento actual. Tal y como se ha mencionado anteriormente, la configuracin del sistema pblico de evaluacin no ha sido ejecutada de forma lineal. Las fases de desarrollo de los diferentes marcos de actuacin han ido superponindose y abordndose en funcin de las necesidades y de acuerdo al contexto poltico, tcnico y a la disponibilidad de recursos.
48
3.5.1. Marco normativo

La Ley Foral 21/2005 establece los criterios y lneas de actuacin base sobre los que apoyar las tareas de configuracin y desarrollo del sistema pblico de evaluacin navarro pero, como todo texto legislativo, su carcter generalista requiere de su concrecin posterior a travs de desarrollos de distinto rango o acuerdos posteriores.
Este hecho justifica este Marco de actuacin, dirigido a elaborar las disposiciones normativas que permitan modificar y/o ampliar las medidas y contenidos bsicos establecidos por la Ley. Como puede observarse en el siguiente cronograma los desarrollos normativos dirigidos a cada una de las materias de evaluacin se alternan con los destinados a definir de una manera ms precisa las instituciones e infraestructuras que permitan el desarrollo del sistema pblico de evaluacin navarro.
ACTUACIONES REALIZADAS
CRONOGRAMA
REA DE EVALUACIN DE POLTICAS PBLICAS
REA DE EVALUACIN DE LA CALIDAD DE LOS SERVICIOS PBLICOS

Decreto Foral 72/2005, de 9 de mayo, por el que se regulan las Cartas de Servicios de la Administracin de la Comunidad Foral de Navarra y sus organismos autnomos. Orden Foral 119/2005, de 11 de octubre, por el que se regula el diseo y estructura de las Cartas de Servicios de la Administracin de la Comunidad Foral de Navarra y de sus organismos autnomos.
Acuerdo de 20 de febrero de 2006, de Gobierno de Navarra, por el que se designa al Presidente de la Comisin Foral para la Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos. Acuerdo de 8 de junio de 2006, de la Comisin Foral para la Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos, por el que se aprueba su Reglamento de funcionamiento.
AOS 2005-2007
Acuerdo del 21 de noviembre de 2006, de la Comisin Foral para la Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos, por el que se regula el Registro de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos. Decreto Foral 61/2006, de 4 de septiembre, que determina las unidades responsables de la gestin de quejas y sugerencias presentadas por los usuarios de los servicios de la Administracin de la Comunidad Foral de Navarra y de sus organismos autnomos. Acuerdo del 21 de noviembre de 2006, por el que se recomiendan sistemas de autoevaluacin de los servicios pblicos a los distintos departamentos y organismos pblicos de la Administracin de la Comunidad Foral de Navarra. Decreto Foral 117/2007, de 3 de septiembre, por el que se aprueban los Estatutos del organismo autnomo Instituto Navarro de Administracin Pblica. Este Decreto recoge la creacin del Servicio de Calidad de las Polticas y Servicios Pblicos.
49
ACTUACIONES REALIZADAS CRONOGRAMA REA DE EVALUACIN DE POLTICAS PBLICAS

Acuerdo de 10 de octubre de 2008, de la Comisin Foral para la Evaluacin de las Polticas Pblicas y la Calidad de los Servicios Pblicos, por el que se recomienda a las Administraciones Pblicas de Navarra que utilicen el material de soporte elaborado por el INAP en materia de evaluacin y seguimiento de las polticas pblicas.

Acuerdo de 10 de octubre de 2008, de la Comisin Foral para la Evaluacin de las Polticas Pblicas y la Calidad de los Servicios Pblicos, por el que se recomienda a las Administraciones Pblicas de Navarra que utilicen las guas elaboradas por el Instituto Navarro de Administracin Pblica para los procesos de seleccin, implantacin, difusin y seguimiento de Cartas de Servicios.
Acuerdo de 10 de octubre de 2008, de la Comisin Foral para la Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos, por el que se establece el sistema de comunicacin entre las Administraciones Pblicas de Navarra y la Comisin, a travs del INAP para el mantenimiento del Registro de Evaluacin de Polticas Pblicas y Calidad de Servicios.
AOS 2008-2010
Orden Foral 46/2010, de 25 de enero, del Consejero de Presidencia, Justicia e Interior, por la que se aprueba el Cdigo Orientativo de Buenas Prcticas Administrativas de la Administracin de la Comunidad Foral de Navarra y de sus Organismos Autnomos, en sus relaciones con los ciudadanos. Acuerdo de 16 de marzo de 2010, de la Comisin Foral para la Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos, por el que se modifica la estructura del Registro de Evaluacin de Polticas Pblicas y de la Calidad de los Servicios Pblicos y se determina su contenido. Acuerdo de 14 de diciembre de 2010, de la Comisin Foral para la Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos, por el que se establece el procedimiento para la formalizacin de encargos de evaluacin externa de las intervenciones pblicas que reciba la Comisin. Acuerdo de 14 de diciembre de 2010, de la Comisin Foral para la Evaluacin de las Polticas Pblicas y la Calidad de los Servicios Pblicos, por el que se establece el procedimiento de evaluacin externa de Cartas de Servicios por parte de la Comisin Foral de Evaluacin. Acuerdo de Gobierno de Navarra de 7 de marzo de 2011 por el que se aprueba el Plan Marco de Calidad, con el visto bueno previo de la Comisin Foral de Evaluacin, de fecha 14 de diciembre de 2010.
50
El procEso dE configuracin dEl sistEma pblico dE Evaluacin En navarra
ACCIONES O DESARROLLOS NORMATIVOS COMUNES A LAS DOS MATERIAS

una vez aprobada la ley foral 21/2005 por el parlamento de navarra, es la comisin foral el organismo encargado del ejercicio de la competencia de la evaluacin en las administraciones pblicas de navarra. El gobierno de navarra, el 20 de febrero de 2006, acuerda nombrar presidente de esta comisin a d. Javier Caballero Martnez, Consejero de Presidencia, Justicia e interior, y posteriormente, la propia comisin foral decide, en acuerdo del 8 de junio de 2006, dotarse de un reglamento de funcionamiento que le permita desempear con total efectividad las funciones encomendadas por la ley foral 21/2005, momento a partir del cual se puede decir que este organismo comienza a dar sus primeros pasos. por otro lado, la ley foral 21/2005 determina la creacin del Registro de Evaluacin de las Polticas pblicas y de la calidad de los servicios pblicos en el que debern ser inscritas las evaluaciones tanto de polticas pblicas como de calidad de los servicios pblicos concluidas, los programas de mejora as como las cartas de servicios de la administracin de la comunidad foral de navarra y de sus organismos pblicos dependientes20, siendo la comisin foral el rgano encargado de realizar esta inscripcin. En acuerdo adoptado el 21 de noviembre de 2006, la comisin foral aprueba la regulacin de este registro, detallando con precisin sus criterios generales de organizacin y funcionamiento (composicin o secciones; estructuracin de dichas secciones, coordinacin con otras fuentes de informacin existentes, etc.). Siguiendo con lo dispuesto en el texto legislativo, el artculo 23.4 de la Ley Foral 21/2005 indica que para el cumplimiento de sus fines, la Comisin dispondr de los medios materiales y recursos humanos que le proporcione el Instituto Navarro de Administracin Pblica, al cual quedar adscrita.
as, en los Estatutos de dicho organismo autnomo aprobados el 3 de septiembre de 2007, se crea el Servicio de Calidad de las Polticas y Servicios Pblicos, con la misin de contribuir a la mejora de la calidad de los servicios pblicos y fortalecer y generalizar la funcin de seguimiento y evaluacin en las Administraciones Pblicas de Navarra21. El decreto por el que se aprueban estos estatutos, en su artculo 34, le asigna las siguientes funciones: promover la implantacin de cuantos sistemas de mejora de la calidad de los servicios se estimen oportunos en las distintas unidades administrativas. Evaluar y analizar el rendimiento de los recursos humanos de las administraciones pblicas de navarra, elaborar y aplicar sistemas de mejora en su organizacin y funcionamiento. Gestin y convocatoria anual del Premio Navarro a la calidad de los servicios pblicos en las administraciones pblicas. Gestin y mantenimiento del Registro de Evaluacin de la Calidad de las Polticas Pblicas y los servicios pblicos. Asistir a la Comisin Foral de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios pblicos y desarrollar sus acuerdos. Establecimiento de vnculos de colaboracin con los diferentes organismos nacionales e internacionales con funciones similares. realizar estudios y publicaciones, promover jornadas, congresos y foros y convocar premios sobre cualquiera de las materias anteriormente enumeradas. la comisin foral y el inap, a travs del servicio de calidad como unidad que presta asistencia a la comisin se erigen, por tanto, como los principales impulsores de la cultura de la evaluacin en el marco de la
20. Art. 23.2. h), de la Ley Foral 21/2005, de 29 de diciembre, de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos. 21. http://www.navarra.es/home_es/Gobierno+de+Navarra/Organigrama/Los+departamentos/Presidencia+justicia+e+interior/ Organigrama/Estructura+Organica/INAP/El+Instituto/Mision+y+funciones/Evaluacion+y+Mejora+de+la+Calidad/Default.htm
51
Comunidad Foral de Navarra, velando por el cumplimiento y desarrollo de los preceptos contenidos en la Ley Foral 21/2005. El 10 de octubre de 2008, la Comisin Foral establece por Acuerdo el sistema de comunicacin con las Administraciones Pblicas de Navarra para el mantenimiento del Registro de Evaluacin de Polticas y Calidad de los Servicios Pblicos. Este acuerdo recuerda que la responsabilidad de gestin del Registro corresponde al Instituto Navarro de Administracin Pblica, por lo que se recomienda la utilizacin del sistema de inscripcin desarrollado por dicho Instituto para proporcionar toda la informacin sobre las actuaciones registables. En enero de 2010, el Consejero de Presidencia, Justicia e Interior aprueba la Orden Foral 46/2010 por la que se determina el nuevo Cdigo Orientativo de Buenas Prcticas Administrativas de la Administracin de la Comunidad Foral de Navarra y de sus Organismos Autnomos, en sus relaciones con los ciudadanos. Este Cdigo fue elaborado originalmente en el ao 2004, pero con la entrada en vigor de la nueva normativa como la Ley Foral 21/2005, se considera necesaria la revisin de su contenido. El documento recoge los principios bsicos y reglas generales que han de inspirar la que se considera relacin idnea entre una Administracin moderna, democrtica y colaboradora, y la ciudadana, que permita, por un lado, aproximar ms la Administracin a los ciudadanos y por otro, garantizar una mejor calidad en su actividad. Con este Cdigo se pretende dar a conocer al personal de la Administracin las pautas a seguir en el trato con la ciudadana, e informar a sta de la conducta que debe esperar en su trato normal con la Administracin. Posteriormente, como puede observarse en la tabla resumen, el 16 de marzo de 2010, aparece un nuevo Acuerdo de la Comisin Foral que tiene por objeto modificar la estructura del Registro de Evaluacin de Polticas Pblicas y de la Calidad de los Servicios Pblicos y determinar su contenido. Dicho Acuerdo es resultado de una de las actuaciones de mejora formuladas a raz de las conclusiones y recomendaciones emitidas por la Evaluacin
del grado de aplicacin y resultados de la Ley Foral 21/2005 realizada en el 2009.
ACCIONES O DESARROLLOS NORMATIVOS DE EVALUACIN DE LA CALIDAD DE LOS SERVICIOS PBLICOS

Por lo que respecta a la evaluacin de la calidad de los servicios pblicos, la Ley Foral 21/2005 establece cinco programas de actuacin que deben ser aplicados por las Administraciones Pblicas navarras. Por tanto, se desarrollan disposiciones normativas para favorecer la efectiva aplicacin de dichos programas.
Programa de Cartas de Servicios

El 9 de mayo de 2005, con carcter previo a la entrada en vigor de la Ley Foral 21/2005, fue aprobado un Decreto regulador de las Cartas de Servicios en la Administracin de la Comunidad Foral de Navarra y sus organismos autnomos. Posteriormente se aprob la Orden Foral 119/2005, de 11 de octubre, que tiene por objeto asegurar la uniformidad y visin corporativa de estas Cartas de Servicios, para lo cual establece su estructura y detalla los contenidos mnimos, que posteriormente son esbozados por el artculo 19 de la Ley Foral (identificacin; misin, competencia y valores; servicios prestados, compromisos adquiridos e indicadores de medicin, etc.). El 10 de octubre de 2008 la Comisin Foral adopta un nuevo Acuerdo por el que se recomienda a las Administraciones Pblicas de Navarra la utilizacin de las guas elaboradas, se invita a participar a su personal en las acciones formativas sobre el desarrollo de Cartas de Servicios organizadas por el Instituto Navarro de Administracin Pblica y se pone a disposicin de las mismas el asesoramiento del Servicio de Calidad. Finalmente, la Comisin Foral, con fecha 14 de diciembre de 2010, adopt el Acuerdo por el que se establece el procedimiento de evaluacin externa de Cartas de Servicios por parte de la Comisin Foral de Evaluacin. En l se indica que, en el caso de los departamentos y organismos pblicos dependientes de la Administracin de la Comunidad Foral de Navarra, la evaluacin de las Cartas de Servicios se realizar de oficio, transcurridos dos aos desde de su aprobacin. El resto de administraciones pblicas recogidas
52
en el mbito de aplicacin de la Ley Foral 21/200522, podr solicitar la evaluacin externa a la Comisin Foral cuando lo estimen conveniente.
Directores Gerentes de los Organismos Autnomos de la Administracin de la Comunidad Foral de Navarra. rgano directivo unipersonal de superior rango, en el resto de organismos pblicos dependientes de la Comunidad Foral de Navarra.
Programa de quejas y sugerencias

El 4 de septiembre de 2006 se aprueba un Decreto Foral cuyo objeto es concretar las unidades responsables de gestionar las quejas y sugerencias formuladas por las personas usuarias de los servicios de la Administracin de la Comunidad Foral de Navarra y sus organismos autnomos: Secretaras Generales Tcnicas de los Departamentos de la Administracin de la Comunidad Foral de Navarra.
Programa de evaluacin de la calidad de los servicios pblicos

El 21 de noviembre de 2006, la Comisin Foral aprueba un Acuerdo por el que recomienda a los departamentos y organismos pblicos de la Administracin de la Comunidad Foral de Navarra, qu sistemas de autoevaluacin de los servicios pblicos utilizar en funcin de unas determinadas caractersticas:
SISTEMA DE AUTOEVALUACIN RECOMENDADO
CARACTERSTICAS DEL DEPATAMENTO U ORGANISMO

Departamentos y Organismos Pblicos de la Administracin de la Comunidad Foral de Navarra que realizan exclusivamente funciones de naturaleza administrativa y no prestan servicios pblicos que tambin preste el sector privado. Centros pblicos de carcter educativo, sanitario o asistencial o que presten servicios que tambin sean prestados por el sector privado. Unidades que realizan actividades administrativas y trmites que sean susceptiblemente repetitivos y con secuencias muy pautadas.
Cartas de Servicios
EFQM CAF (indistintamente)
Normas ISO
Este Acuerdo tambin recomienda que, en cualquiera de los casos, previamente a la implantacin de cualquier sistema de autoevaluacin, se adopte el sistema de gestin por procesos (identificacin, ordenacin y simplificacin de los mismos) en lnea con lo dispuesto en el Plan de Modernizacin y Reforma de la Administracin aprobado por Acuerdo de Gobierno en el ao 2003.
As mismo, pone a disposicin de las organizaciones pblicas implicadas el asesoramiento especializado de la Comisin Foral para la Evaluacin de las Polticas Pblicas y la Calidad de los Servicios Pblicos, a travs del Servicio de Calidad.
22. Entidades locales y sus organismos pblicos, sociedades pblicas y fundaciones que gestionen servicios pblicos o presten servicios de inters general.
53
ACCIONES O DESARROLLOS NORMATIVOS EN EVALUACIN DE LAS POLTICAS PBLICAS

El primer desarrollo normativo posterior a la Ley Foral 21/2005 que afecta a esta materia data del ao 2008 y surge como consecuencia de la puesta en marcha del eje de actuacin de recursos y herramientas, destinado a proporcionar a las Administraciones Pblicas navarras una serie de instrumentos y soportes que les permitan desarrollar de manera efectiva la funcin de evaluacin. As, el 10 de octubre de 2008, la Comisin Foral acuerda recomendar a las Administraciones Pblicas de Navarra que utilicen el material de soporte elaborado por el INAP en materia de evaluacin de polticas pblicas.
Posteriormente, el 14 de diciembre de 2010, la Comisin Foral aprueba un nuevo Acuerdo que establece el procedimiento para la formalizacin de encargos de evaluacin externa de las intervenciones pblicas a dicha Comisin por parte de las Administraciones Pblicas navarras. Dicha evaluacin se realizar siempre a solicitud del rgano competente de cada Administracin. El Servicio de Calidad, como unidad que presta asistencia a la Comisin Foral, ser el encargado de analizar cada solicitud y elaborar, si procede, su aceptacin tras el anlisis del encargo, el convenio en el que se reflejen los compromisos tcnicos, jurdicos, administrativos y, en su caso, econmicos de cada parte.
3.5.2. Marco organizativo e infraestructuras

ACTUACIONES REALIZADAS CRONOGRAMA REA DE EVALUACIN DE POLTICAS PBLICAS REA DE EVALUACIN DE LA CALIDAD DE LOS SERVICIOS PBLICOS
Comisin Foral para la Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos.
AOS 2006-2010
Servicio de Calidad de Polticas y Servicios Pblicos. Registro de Evaluacin de Polticas Pblicas y de Calidad de los Servicios Pblicos. Plan Marco de Calidad de los Servicios Pblicos de la Administracin de la Comunidad Foral de Navarra.
A la par que se desarrolla el marco normativo, se desarrollan una serie de acciones destinadas, en primer lugar, a configurar el rgano colegiado encargado del ejercicio de la competencia de evaluacin en el mbito territorial de Navarra: la Comisin Foral para la Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos. A continuacin, se crean el Servicio de Calidad y el Registro de Evaluacin que constituyen las infraestructuras institucionales y tcnicas que ofrecen soporte a la labor y funciones de la Comisin. Este marco de actuacin integra, as mismo, la creacin de herramientas de planificacin que orientan el
proceso de constitucin del sistema pblico de evaluacin navarro, como es el caso del Plan Marco de Calidad de los Servicios Pblicos de la Administracin de la Comunidad Foral de Navarra, elaborado a finales del ao 2010 y aprobado el 7 de marzo de 2011.
La Comisin Foral para la evaluacin de las polticas y de los servicios pblicos

La Comisin Foral comienza su andadura en el mes de junio de 2006, fecha en que se aprueba su reglamento de funcionamiento. En su composicin estn representados los rganos de la Administracin de la Comunidad Foral con
54
competencia en materia de modernizacin, evaluacin y calidad, las entidades locales de Navarra a travs de la Federacin de Municipios y Concejos, as como la fundacin pblica dedicada a esta actividad y los sindicatos mayoritarios. La Comisin se rene de forma ordinaria cada seis meses y regula su actividad mediante Acuerdos que se publican en el Boletn Oficial de Navarra. Hasta la fecha, la actuacin de este organismo ha estado dirigida a: Proponer acciones para desarrollar una visin generalizada y compartida acerca del concepto de evaluacin y su finalidad. Elaborar y divulgar criterios de evaluacin comunes. Realizar recomendaciones sobre metodologas de evaluacin a emplear inicialmente.
Elaboracin de criterios comunes y definicin de metodologas mediante la publicacin de Guas de orientacin y el desarrollo de instrumentos de apoyo. Formacin general y talleres prcticos dirigidos a equipos de trabajo. Fomento y promocin de redes de trabajo para el intercambio de experiencias y la colaboracin entre las Administraciones de Navarra. Participacin en foros estatales pblicos y privados y traslacin y divulgacin de mejores prcticas a las Administraciones Pblicas de Navarra.
El Registro de Evaluacin de Polticas y Servicios Pblicos

Dentro de este eje tambin se incluye la puesta en marcha del Registro de Evaluacin que surge como instrumento operativo para facilitar tanto a la Comisin como al Servicio de Calidad la labor de seguimiento y difusin del grado de aplicacin de los programas de actuacin contemplados en la Ley Foral 21/2005. Como caractersticas del Registro, se pueden destacar las siguientes: Es pblico y gratuito. Cualquier ciudadano podr consultarlo sin necesidad de acreditar un inters personal y legtimo. Es accesible a travs de Internet, desde la pgina Web del Gobierno de Navarra, para su consulta por cualquier interesado23. Su gestin y mantenimiento corresponde al Instituto Navarro de Administracin Pblica dentro de las funciones de asistencia a la Comisin Foral para la evaluacin. La inscripcin es obligatoria para los rganos de la Administracin de la Comunidad Foral de Navarra o sus organismos pblicos. La inscripcin puede hacerse a peticin del rgano administrativo interesado o, en el caso de
El Servicio de Calidad de las Polticas y Servicios Pblicos

En septiembre de 2007 se constituye el Servicio de Calidad de las Polticas y Servicios Pblicos, que asume el marco de la evaluacin y calidad definido por la Ley Foral 21/2005 y a partir de l establece su estrategia y la desarrolla en funcin de los recursos existentes. De esta forma, ha diseado una lnea de trabajo de aplicacin general dirigida a las Administraciones Pblicas de Navarra y basada en las siguientes acciones: Divulgacin y sensibilizacin sobre el enfoque de una Administracin orientada al ciudadano, prestadora de servicios de calidad, segn los principios recogidos en la LF 21/2005, y sobre la importancia del seguimiento y la evaluacin para los procesos de toma de decisin y mejora de las actuaciones pblicas. Desarrollo de planes de accin en relacin con las medidas definidas por la Ley Foral en las materias de evaluacin de polticas pblicas y de la calidad de los servicios pblicos.
23. (http://www.navarra.es/home_es/Servicios/ficha/1715/Consulta-del-Registro-de-Evaluacion-de-las-Politicas-y-ServiciosPublicos#presentacion)
55
la Administracin de la Comunidad Foral de Navarra y sus organismos pblicos, de oficio por la propia Comisin Foral. Podrn inscribirse los actos que aprueben o adopten las entidades locales de Navarra, a solicitud de stas. El Registro se divide en las siguientes Secciones o Apartados24:
Las normas ISO y los modelos EFQM y CAF son ejemplos de los sistemas ms empleados.
4. Programas de mejora de la calidad

Esta seccin est destinada a recopilar los programas desarrollados a partir de la informacin obtenida en las evaluaciones de las intervenciones pblicas, as como de la aplicacin de las medidas que la Ley Foral 21/2005, de 29 de noviembre, de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos, establece para la mejora de la calidad de los servicios pblicos (Autoevaluaciones o evaluaciones de la calidad de los servicios pblicos, Cartas de Servicios, Anlisis de la demanda y grado de satisfaccin ciudadana, Quejas y sugerencias).
1. Evaluaciones de polticas pblicas

Este apartado agrupa las evaluaciones de intervenciones pblicas (polticas, planes o programas) realizadas en las Administraciones Pblicas de Navarra. Se entienden por intervenciones pblicas las acciones realizadas por la Administracin para beneficio de la sociedad, mejora de un determinado grupo social o situacin de inters general. Un ejemplo son los planes de empleo, el plan de igualdad, etc. En el Registro se incluirn las evaluaciones de este tipo de acciones, no las acciones en s mismas.
5. Premios a la calidad de los servicios pblicos

Los premios que, tanto la Administracin de la Comunidad Foral de Navarra como cualquier otro organismo pblico navarro, otorguen a las Administraciones Pblicas de Navarra en relacin con la mejora de la calidad de los servicios pblicos, as como los recibidos por estas administraciones de cualquier organismo nacional o internacional, deben ser inscritos en este apartado del Registro.
2. Cartas de Servicios
Las Administraciones Pblicas de Navarra deben inscribir en esta seccin las Cartas de Servicios aprobadas, as como las modificaciones de las mismas.
6. Estudios de anlisis de la demanda y del grado de satisfaccin ciudadana

En esta seccin se inscriben los estudios de anlisis de necesidades, expectativas y satisfaccin de las personas usuarias realizados por las Administraciones Pblicas de Navarra, de acuerdo a lo establecido en el captulo vI de la LF 21/2005.
3. Sistemas de evaluacin de la calidad de los servicios pblicos

Los sistemas de autoevaluacin y de evaluacin de la calidad de los servicios pblicos, cualquiera que sea su denominacin, que se lleven a cabo o se hayan implantado en las Administraciones Pblicas de Navarra, han de estar recogidos en este apartado del Registro. Estas autoevaluaciones son la labor que desempea la Administracin para identificar cmo presta sus servicios, y cmo trabaja internamente la organizacin para prestar dichos servicios.
7. Sistemas de quejas y sugerencias

Este apartado recoge la relacin de sistemas de quejas y sugerencias implantados en las Administraciones Pblicas de Navarra, de acuerdo a lo establecido en el captulo vIII de la LF 21/2005 de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos.
24. Esta estructuracin del Registro se define en el Acuerdo adoptado por la Comisin Foral el 10 de Marzo de 2010 por el cual se modifica la estructura anterior.
56
Todas las secciones de este Registro contienen un conjunto de datos comunes a cumplimentar por parte de las Administraciones, que permiten identificar la unidad responsable de la inscripcin. As se indica la denominacin de la organizacin y de la unidad responsable y los datos de contacto de la misma. Adems, cada seccin tiene establecidos una serie de datos especficos, en funcin de la naturaleza de las acciones que recoge. La relacin y descripcin completa de cada seccin puede consultarse en el documento: Registro de Evaluacin de Polticas y Calidad de Servicios. Descripcin, estructura y contenido elaborado por el INAP en octubre de 200925.
Sus destinatarios son: la Administracin de la Comunidad Foral de Navarra, sus departamentos y organismos autnomos, si bien puede extenderse al resto de Administraciones recogidas en el mbito de actuacin de la Ley Foral 21/200528, si as lo consideraran oportuno. Este documento pretende servir de marco de referencia, estableciendo los criterios de actuacin basados en la mejora continua y las distintas medidas e iniciativas que se pueden desarrollar para mejorar la calidad de los servicios que se prestan. As, cada departamento, organismo autnomo o unidad de rango inferior que quiera elaborar su propio Plan de Calidad podr hacerlo a partir de este marco general y bajo sus directrices. Se trata, pues, de compatibilizar los intereses y necesidades especficos con la existencia de un Plan de Calidad para el conjunto de la Administracin de la Comunidad Foral de Navarra. La elaboracin del Plan Marco ha sido fruto de la colaboracin y participacin de los departamentos y organismos autnomos de la Administracin de la Comunidad Foral de Navarra, la Federacin Navarra de Municipios y Concejos y la Fundacin Navarra para la Excelencia, a travs de grupos de trabajo, revisin y contraste. Como coordinador e impulsor del trabajo ha actuado el Instituto Navarro de Administracin Pblica, por medio del Servicio de Calidad de las Polticas y Servicios Pblicos. El objetivo general del Plan Marco de Calidad es establecer las actuaciones y medidas necesarias para potenciar la mejora de los servicios pblicos en Navarra y lograr la satisfaccin de las necesidades y expectativas de las mujeres y hombres a quines se ofrecen, adems de la del propio personal de la Administracin.
El Plan Marco de Calidad de los Servicios Pblicos de la Administracin de la Comunidad Foral de Navarra
La elaboracin de este Plan responde al compromiso de legislatura adquirido por el Gobierno de Navarra con la ciudadana para el periodo 2007-201126. La finalidad que persigue es la siguiente: Que la calidad de los servicios prestados a la ciudadana sea un factor clave en la gestin pblica. La bsqueda de la excelencia como elemento diferenciador de la Administracin Foral. Que la percepcin de la ciudadana sobre el funcionamiento de la Administracin y la prestacin de los servicios pblicos en Navarra contine siendo bastante positiva e incluso mejore27.
25.http://www.navarra.es/home_es/Temas/Administracion+Publica/Entidades+publicas/Evaluacion+y+calidad/ Evaluacion+y+Calidad/Registro+de+Evaluacion/ 26. El Gobierno de Navarra public en un documento su compromiso social con la ciudadana navarra en la legislatura 20072011, que incluye el conjunto de las principales actuaciones en los diversos mbitos de gestin en esta legislatura. Contiene 548 acciones, siendo una de estas iniciativas la elaboracin del Plan de Calidad de los Servicios Pblicos. 27. Se toma como referencia los resultados obtenidos en el Anlisis de percepcin ciudadana sobre los servicios pblicos en Navarra, realizado por el Instituto Navarro de Administracin Pblica en el ao 2010. 28. Las Entidades Locales de Navarra y sus organismos autnomos; otras instituciones pblicas creadas o reguladas por las leyes forales de la Comunidad Foral de Navarra en la medida en que presten servicios a los ciudadanos; las sociedades pblicas incluidas en el mbito de aplicacin de la Ley Foral 15/2004, de 3 de diciembre, de la Administracin de la Comunidad Foral de Navarra, y en la Ley Foral 6/1990, de 2 de julio, de la Administracin Local de Navarra, y las fundaciones pblicas que stas constituyan conforme a dichas Leyes Forales, siempre que gestionen servicios pblicos o presten servicios de inters general para la ciudadana navarra.
57
Para el logro de este objetivo general, se plantean los siguientes objetivos especficos: Orientar la aplicacin de las medidas facilitando referencias y mtodos a los departamentos o unidades para que desarrollen sus propios Planes de Calidad especficos:
l
3.5.3. Marco de capacitacin y sensibilizacin

Este tercer marco de actuaciones tiene un doble propsito: incrementar el grado de inters y conocimiento acerca de la evaluacin y de la mejora de la calidad; y, por otro lado, implementar las condiciones y recursos que favorezcan el desarrollo de la capacidad de evaluacin con la intencin de potenciar la creacin de organizaciones y personas capaces de gestionar y ejecutar la funcin de evaluacin con aptitud y competencia. Para ello se han realizado las siguientes actuaciones:
Concienciar y promocionar la importancia estratgica de la implantacin de medidas para la mejora de la calidad de la gestin pblica. Proporcionar un itinerario o gua que recoja las medidas e iniciativas que se pueden poner en marcha. Este itinerario permitir unificar las diferentes acciones en mejora de calidad que emprendan las distintas unidades de la Administracin foral.
Facilitar la coordinacin y la comunicacin:

l
Compartir experiencias y coordinar acciones en mejora de calidad que emprendan las distintas unidades de la Administracin foral. Comunicar y difundir las acciones puestas en marcha.
Estos objetivos especficos se concretan en tres ejes de actuacin: Un primer eje de sensibilizacin y formacin para concienciar a las personas del departamento u organismo autnomo de la importancia de mejorar la calidad en la gestin pblica, de forma sistemtica y continua, y dotarles de los conocimientos necesarios para la implantacin de herramientas de gestin que lo posibiliten. Un segundo eje, que responde a la necesidad de disponer de un Plan de Calidad especfico, en el mbito de cada departamento, organismo autnomo o unidad de la Administracin Foral, y que facilita la metodologa para su desarrollo. Y un tercer y ltimo eje, dedicado a fomentar la coordinacin y la comunicacin en el propio sector pblico.
58
ACTUACIONES REALIZADAS REA DE EVALUACIN DE POLTICAS PBLICAS

Cursos ofertados en Plan de Formacin del INAP rea de evaluacin y mejora de la calidad de polticas y servicios pblicos (ao 2010): Bsico de Evaluacin de Intervenciones Pblicas. Cmo disear una Intervencin Pblica. Diseando la evaluacin de una intervencin pblica. Gestionando la evaluacin de una intervencin pblica. Jornadas de Sensibilizacin Cuestiones clave para el diseo de sistemas de seguimiento y evaluacin (3 abril de 2008). Evaluabilidad (26 de noviembre de 2008). El seguimiento como parte del ciclo de la evaluacin (25 de marzo de 2009). Uso estratgico de los resultados de la evaluacin (30 de octubre de 2009). El proceso de mejora y el plan de comunicacin de resultados de una evaluacin (12 de marzo de 2010). La evaluacin de impacto (22 de noviembre de 2010).

Cuatro convocatorias del programa de Premios a la Calidad de los Servicios Pblicos Cursos ofertados en Plan de Formacin del INAP: rea de evaluacin y mejora de la calidad de polticas y servicios pblicos (ao 2010) General Cmo mejorar mi unidad. La Evaluacin y la mejora de la Calidad en la Administracin. Buenas prcticas administrativas. Conductas pblicas. Disear un Plan de Comunicacin. Definir un Programa de Mejora. Cartas de Servicios Curso bsico de Cartas de Servicios. Taller para la implantacin de Cartas de Servicios. Taller para el seguimiento de Cartas de Servicios. Anlisis y mejora del servicio prestado. Programa anlisis de la demanda y grado de satisfaccin ciudadana Curso bsico sobre medicin de la satisfaccin expectativas de los usuarios. Taller para el desarrollo de estudios cuantitativos de medicin de la satisfaccin y expectativas de los usuarios. Programa de quejas y sugerencias Los sistemas de quejas y sugerencias. Programa de evaluacin de la Calidad de los Servicios Pblicos Ventajas de aplicar un sistema de calidad. Taller para la autoevaluacin mediante un modelo de gestin de la excelencia. Gestin por procesos en la Administracin Pblica: definicin, indicadores y objetivos. Herramientas tcnicas para la gestin de la calidad en las Administraciones Pblicas. Cuadro de mando integral para la direccin de la calidad. Programa de Premio a la Calidad de los Servicios Pblicos Cmo preparar una candidatura al Premio a la Calidad de los Servicios Pblicos.
59
Estas acciones se pueden agrupar en dos tipos de actuaciones:
2. Plan de acciones de formacin:

El objetivo de este Plan es dotar al personal director y tcnico de las Administraciones Pblicas de Navarra de los conocimientos necesarios, tanto sobre evaluacin de polticas pblicas como sobre evaluacin de la calidad de los servicios pblicos, que les permitan implementar los programas de actuacin contemplados en la Ley Foral 21/2005. La mayor parte de los cursos ofertados se apoyan en los recursos y guas desarrolladas por el Servicio de Calidad del INAP, como soporte terico a la implementacin prctica de los diferentes programas. Se distinguen dos tipos de formacin: Formacin General: tiene por objetivo sensibilizar y aportar conocimientos bsicos o generales sobre las materias de la Ley Foral. Esta formacin est dirigida a todos los empleados pblicos y/o a colectivos concretos. Formacin Especfica: se dirige a grupos, equipos de trabajo o unidades completas. Es una formacin eminentemente prctica. El objetivo es que los grupos que participen mejoren su sistemtica de trabajo llevando a la prctica el conocimiento adquirido. Las actuaciones de formacin derivadas de la puesta en marcha de este marco de capacitacin se iniciaron en el ao 2008. La oferta formativa ha ido incrementndose ao a ao pero, sin duda, el hecho ms relevante es la incorporacin en el Plan de Formacin General del ao 2010 de una nueva rea denominada: rea de evaluacin y mejora de la calidad de polticas y servicios pblicos30. Esta nueva rea incorpora el conjunto de cursos de contenido general sobre evaluacin y mejora de la calidad (buenas prcticas administrativas; conceptos bsicos sobre evaluacin y calidad en la administracin, etc.), dirigidos a personal directivo y tcnico.
1. Acciones de sensibilizacin:
La sensibilizacin en evaluacin de polticas pblicas se ha realizado a travs de un ciclo de jornadas, celebradas con periodicidad semestral. En estas jornadas se han incluido sesiones formativas sobre un aspecto concreto de la evaluacin que han sido impartidas por especialistas en la materia y otras actividades como, por ejemplo, talleres y mesas de intercambio de experiencias. Las jornadas se han dirigido a las personas implicadas en las tareas de diseo, gestin, seguimiento y evaluacin de intervenciones pblicas, que constituyen la Red de actores de Evaluacin29. Por otro lado, las acciones orientadas a la sensibilizacin en materia de evaluacin de la calidad de los servicios pblicos, se han centrado en dos actividades: Promocin del Premio a la Calidad de los Servicios Pblicos que convoca anualmente (desde 2007) el Gobierno de Navarra, con el objeto de dar cumplimiento al art. 22 de la Ley Foral 21/2005. El Premio tiene por objeto reconocer y distinguir a los organismos, unidades y entidades de las Administraciones Pblicas navarras que se hayan destacado por sus actividades de mejora de la calidad de los servicios pblicos y por la satisfaccin de los ciudadanos mediante buenas prcticas de gestin. Comunicacin peridica con la Comisin de Secretarios Tcnicos con el objetivo de sensibilizar en la necesidad de cumplir las prerrogativas establecidas por la Ley Foral 21/2005 en cuanto a los programas de actuacin de Cartas de Servicios, Sistemas de quejas y sugerencias y al Registro de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos.
29. Esta Red de actores de Evaluacin se explica de manera detallada en el apartado 3.5.6 dedicado al marco de cooperacin. 30. La tabla resumen que encabeza la explicacin de este eje o marco de actuacin incluye, nicamente, la relacin de cursos contenida en este Plan de Formacin del ao 2010 como muestra de las acciones formativas vigentes. No obstante, si se desea ms informacin sobre los planes de formacin aplicados en aos anteriores, se puede contactar con el Servicio de Calidad del INAP.
60
En cuanto a la formacin especfica, es el programa de Cartas de Servicios el que cuenta con una mayor oferta de cursos y talleres. Esto responde, principalmente, a la prioridad de capacitar al personal de la Administracin de la Comunidad Foral de Navarra y sus Organismos Autnomos, para el cumplimiento de la obligacin estipulada en la Ley Foral 21/2005, de disponer de Cartas de Servicios, en un plazo mximo de tres aos desde su entrada en vigor. En este marco de capacitacin se ha contemplado tambin la formacin de las personas que forman parte del Servicio de Calidad, para mejorar y enriquecer el conocimiento. As, las personas responsables del Servicio y de las Secciones que lo componen han recibido la siguiente formacin: Formacin especfica en materia de evaluacin de polticas pblicas y de calidad de los servicios pblicos, asistiendo al curso Experto Universitario en Evaluacin de Polticas y Calidad de los Servicios Pblicos organizado por la AEVAL, con una duracin de 250 horas lectivas. Cursos de capacitacin para Evaluadores de EFQM, que organiza la Fundacin Navarra para la Excelencia, con objeto de formar parte del Club de Evaluadores de dicha Fundacin. El personal tcnico del Servicio ha asistido a los diferentes Cursos de formacin ofertados por el INAP en dichas materias.
3.5.4. Marco de difusin

Este eje integra el conjunto de actuaciones orientadas a dar a conocer el plan de trabajo previsto para constituir el sistema pblico de evaluacin navarro y a divulgar los avances y experiencias aprendidas en este proceso. Este marco est ligado con el marco de capacitacin y sensibilizacin, puesto que ambos buscan motivar e impulsar la toma de conciencia por parte de las organizaciones pblicas navarras de las utilidades y beneficios del uso de la evaluacin, con la finalidad de aumentar el crecimiento de la demanda de evaluaciones y la mejora de la capacidad de evaluacin. Las acciones de comunicacin realizadas han estado inicialmente orientadas a potenciar el cumplimiento de los programas de actuacin previstos por la Ley Foral 21/2005, por lo que se han dirigido al personal de las distintas unidades y organismos que integran las Administraciones Pblicas de Navarra. No obstante, tambin se ha procurado dotar el proceso seguido de un criterio de transparencia y publicidad, facilitando el acceso a la ciudadana navarra a toda la informacin disponible en materia de evaluacin. A partir del ao 2010, se observa una mayor apertura hacia el exterior con el propsito de difundir y poner en valor el camino recorrido, de manera que las experiencias y actuaciones realizadas puedan servir de ayuda a otras instituciones pblicas y profesionales dedicados a la evaluacin. Las actuaciones ms destacadas han sido:
61
ACTUACIONES REALIZADAS EN CADA MBITO O REA DE ACTUACIN CRONOGRAMA AOS 2008-2010 REA DE EVALUACIN DE POLTICAS PBLICAS REA DE EVALUACIN DE LA CALIDAD DE LOS SERVICIOS PBLICOS
Plan de Comunicacin del Premio a la Calidad de los Servicios Pblicos en las Administraciones Pblicas de Navarra (2008-2011). Plan de Comunicacin de las actividades y productos desarrollados por el Servicio de calidad del INAP (2009 -2010). Plan de Comunicacin del Registro de las Polticas y de los Servicios Pblicos (2009 - 2011). Presentacin del marco institucional de evaluacin en todos los cursos sobre las materias de evaluacin y calidad que organiza el INAP desde el 2009. Presentacin del Programa de Cartas de Servicios a los responsables de rea del Ayuntamiento de Pamplona (2009). Participacin como profesoras del mdulo de experiencias en evaluacin de polticas pblicas en el II Master Iberoamericano de Evaluacin de Polticas Pblicas (Huelva, 2009). Participacin en la mesa redonda de evaluacin de polticas pblicas en la II Conferencia Estatal de Calidad, celebrada en La Rioja en noviembre de 2009. Plan de divulgacin del Informe de Evaluacin de la Ley Foral 21/2005 (2010). Presentacin del Anlisis de Percepcin Ciudadana de los Servicios Pblicos (2010) y del Seguimiento del Cdigo de Buenas Prcticas Administrativas (2010). Accsit del I Premio de la Sociedad Espaola de Evaluacin (2010). Presentacin del Registro de Evaluacin en la Fundacin Maragall (2010). Presentacin del marco institucional de evaluacin de Navarra en la Jornada anual de Observatorios de Empleo organizada por el Servicio Navarro de Empleo (2010). Publicacin en la Revista de la Sociedad Espaola de Evaluacin (2010). Presentacin de la experiencia de creacin del Sistema Pblico de Evaluacin de Navarra en la Jornada de buenas Prcticas en Evaluacin de Polticas Pblicas y de Gestin de la Calidad organizada por la Regin de Murcia y la AEVAL en noviembre de 2010. Participacin en la mesa redonda Hacia una cultura de la Excelencia en la Funcin Policial, organizada por la Escuela de Seguridad de Navarra. (2010). Visita realizada por la Diputacin de Mlaga a Pamplona para conocer la experiencia navarra de creacin de un sistema pblico de evaluacin como orientacin para disear el Observatorio de poltica local de Mlaga. (2010). Plan de Comunicacin del Plan Marco de Calidad (2011).
62
Las acciones desarrolladas, en funcin de a quin se dirigen, se clasifican en acciones de difusin interna y acciones de difusin externa. Entre las acciones de difusin interna, dirigidas a las Administraciones Pblicas navarras, destacan: La promocin del programa de Premios a la Calidad de los Servicios Pblicos, a travs de un Plan de difusin especfico ejecutado anualmente desde el ao 2008 y que contiene las siguientes acciones: Difusin de la convocatoria. Con el objetivo de dar a conocer la existencia de los Premios y animar a los Departamentos de la Administracin de la Comunidad Foral, sus Organismos Autnomos y Entidades locales a presentar sus candidaturas se han realizado acciones como: anuncio en la web de la Orden Foral por la que se convoca el Premio; distribucin por correo ordinario y electrnico de un folleto anunciador; notas de prensa; jornadas de presentacin de candidaturas que han obtenido el Premio, taller para la elaboracin de la memoria soporte de la candidatura, etc. Difusin de las candidaturas presentadas para dar a conocer a la ciudadana, a las Administraciones Pblicas de Navarra y a la Comisin Foral, las candidaturas presentadas al Premio, as como la composicin del jurado que proceder a su valoracin. Difusin de los resultados de la valoracin efectuada por el jurado a los galardonados y al resto de los candidatos, Administraciones Pblicas de Navarra y ciudadana navarra a travs la web, correo electrnico y notas de prensa. La difusin del contenido y funcionamiento del Registro de Evaluacin de las Polticas Pblicas y los Servicios Pblicos a travs de un Plan especfico de difusin dirigido a todo el personal de las Administraciones Pblicas de Navarra y a la sociedad en general, con el doble objetivo de incrementar el nmero de inscripciones en el Registro y la utilizacin de la consulta pblica. El Plan contempla la realizacin de acciones de difusin con distinta periodicidad:
Permanentes, consisten en la inclusin del Registro en diferentes soportes web: Catlogo de Servicios del Gobierno de Navarra, web del INAP; Intranet de la Administracin de la Comunidad Foral de Navarra; la pantalla de televisin situada en el edificio del INAP; la extranet del sector local y la pgina de la Federacin Navarra de Municipios y Concejos. Peridicas: dos veces al ao, a travs de medios electrnicos (correo electrnico, pgina web e intranet), se informa a la Administracin de la Comunidad Foral de Navarra sobre la obligatoriedad de inscribir las acciones realizadas y se invita al resto de Administraciones a realizar inscripciones. Puntuales: el plan de difusin del Registro contempla la realizacin de acciones de comunicacin especficas siempre que se produzca algn hecho relevante, como por ejemplo: acuerdos de la Comisin Foral que modifiquen su estructura, contenido o funcionamiento, inscripcin de actos de especial inters, etc. Plan de Comunicacin de las actividades y productos desarrollados por el Servicio de Calidad. El objetivo de este documento es dar a conocer a los responsables y empleados de las Administraciones Pblicas de Navarra el programa, las guas de orientacin y apoyo elaboradas por el INAP y las acciones previstas para cada ao en relacin a las medidas y programas de actuacin establecidos en la Ley Foral 21/2005. Plan de Comunicacin de los resultados de la Evaluacin de la aplicacin de la Ley Foral 21/2005. A finales del ao 2009 fue presentado a la Comisin Foral el Informe de resultados derivado esta evaluacin. En este sentido, la propia Ley Foral 21/2005 indica que los resultados de las evaluaciones sern pblicos, por lo que el Instituto Navarro de Administracin Pblica elabor este Plan de comunicacin en el que se definen los mensajes, canales y formatos ms adecuados para los diferentes destinatarios y se recogen 25 acciones para ejecutar en el primer semestre de 2010, dirigidas a diferentes colectivos y con distinta finalidad.
63
Difusin de los resultados del Anlisis de Percepcin de la ciudadana navarra respecto a la prestacin de servicios pblicos. La Comisin Foral de Evaluacin para dar cumplimiento a una de sus funciones realiz en 2010 un estudio denominado Anlisis de Percepcin de la ciudadana navarra respecto a la prestacin de servicios pblicos, a travs de la asistencia tcnica prestada por Nasersa. Tras la presentacin de sus resultados en la sesin extraordinaria de la Comisin Foral celebrada el 11 de mayo de 2010, se acord la difusin de dicho informe en el Portal web de Navarra, junto con el resto de recursos documentales (guas, publicaciones, manuales) elaborados por el INAP en materia de evaluacin. Plan de difusin del Plan Marco de Calidad de los servicios pblicos de la Administracin de la Comunidad Foral de Navarra. En paralelo a la elaboracin del Plan Marco de Calidad de los servicios pblicos de la Administracin de la Comunidad Foral de Navarra, se defini el Plan de comunicacin del mismo para su promocin. Las acciones de difusin externa, dirigidas a la ciudadana navarra con la intencin de dar a conocer toda la informacin disponible en el mbito de la evaluacin, se concretan en la puesta a disposicin de la misma en la web, para su consulta a travs Portal Web del Gobierno de Navarra. Por lo que respecta a la difusin externa, -dirigida a las Administraciones Pblicas de otras Comunidades Autnomas u otros entornos geogrficos y a otras entidades profesionales interesadas en la materia de evaluacin-, destacan las siguientes actuaciones por su repercusin y potencialidad futura: Presentacin de candidatura al I Premio de Investigacin Carlos Romn convocado por la Sociedad Espaola de Evaluacin. En mayo de 2010, el Servicio de Calidad decidi aprovechar la oportunidad que supone la convocatoria de este Premio para compartir la experiencia vivida con todas las personas que puedan tener inters en esta materia.
Para ello, formando un equipo mixto con personas pertenecientes a la esfera privada especializadas en la evaluacin de polticas pblicas, elabor una memoria que recopila el proceso de diseo y desarrollo, a lo largo de cuatro aos, del sistema pblico de evaluacin en la Comunidad Foral de Navarra. Como resultado, el 19 de noviembre de 2010 el Servicio de Calidad del INAP fue galardonado con una mencin especial por la calidad del trabajo presentado y, en consecuencia, la Sociedad Espaola de Evaluacin public un resumen del mismo en el nmero 13 de su revista, correspondiente al mes de diciembre de 2010. Participacin del Servicio de Calidad en representacin de la Comisin Foral en diversos foros y mesas redondas, donde ha llevado a cabo presentaciones para dar a conocer el marco institucional de evaluacin en Navarra y la experiencia de creacin del sistema pblico de evaluacin navarro, as como de algunas de las infraestructuras creadas, como es el caso del Registro de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos. Destaca en este sentido su participacin en la mesa redonda de evaluacin de polticas pblicas de la II Conferencia Estatal de Calidad, celebrada en La Rioja en noviembre de 2009; en la Jornada anual de Observatorios de Empleo organizada por el Servicio Navarro de Empleo en octubre de 2010; el intercambio de experiencias con la Diputacin de Mlaga en su visita a Pamplona en octubre de 2010 y la Jornada de buenas prcticas en Evaluacin de Polticas Pblicas y de Gestin de la Calidad organizada por la Regin de Murcia y la AEvAL en diciembre de 2010.
3.5.5. Marco Metodolgico (recursos y herramientas)

El INAP, a travs del Servicio de Calidad de las Polticas y Servicios Pblicos, ha desarrollado un conjunto de recursos y herramientas en forma de guas, manuales, documentos informativos, etc., como orientacin y material de apoyo al personal de las Administraciones Pblicas navarras implicado en procesos de evaluacin de intervenciones pblicas y de la calidad de los servicios pblicos.
64
As, se han elaborado los siguientes documentos, que se encuentran disponibles para su completa consulta en la Web de Gobierno de Navarra:
ACTUACIONES REALIZADAS EN CADA MBITO O REA DE ACTUACIN CRONOGRAMA REA DE EVALUACIN DE POLTICAS PBLICAS
Glosario de Trminos relacionados con el seguimiento y la evaluacin de las Polticas Pblicas.

Gua para la seleccin de servicios. Gua de implantacin y seguimiento de Cartas de Servicios. Gua tcnica para la definicin de compromisos de calidad y sus indicadores. Gua para la difusin de Cartas de Servicios. Gua para la presentacin de Cartas de Servicios. Gua para medir la satisfaccin respecto a los servicios prestados. Gua tcnica para el anlisis y mejora de los procesos del servicio que se presta. Gua para la puesta en marcha de sistemas de atencin de quejas y sugerencias.
AOS 2007-2008
Modelo de Pliego de Condiciones Tcnicas o Plan de Trabajo para la evaluacin de polticas pblicas. Protocolo de Evaluabilidad.
Cuaderno de Gestin de la Evaluacin de Intervenciones Pblicas en Navarra.
AOS 2009-2010
Cdigo orientativo de buenas prcticas administrativas
rea de evaluacin de la calidad de los servicios pblicos

Programa de Cartas de Servicios
Con el fin de apoyar a los Departamentos y Organismos Autnomos de la Administracin de la Comunidad Foral de Navarra en el cumplimiento de la obligacin, establecida por la Ley Foral 21/2005, de disponer de su Carta de Servicios en el plazo de tres aos desde la entrada en vigor de esta Ley Foral, el Servicio de Calidad ha elaborado un conjunto de documentos-gua que orientan y sirven de soporte al proceso de diseo, implantacin y seguimiento de dichas Cartas.
La gua propone criterios objetivos para determinar el alcance, mbito y nivel de desarrollo de las Cartas de Servicios a elaborar. La Gua se compone de: Documento informativo donde se explica el objeto de la misma y el funcionamiento de los instrumentos de seleccin de Cartas de Servicios. Cuestionario. Se trata de un documento con preguntas dirigidas a los responsables de unidades administrativas y sus equipos de trabajo. Est dividido en dos bloques, uno con preguntas sobre las unidades administrativas y otro sobre los servicios prestados. Esta informacin ayudar a determinar el alcance de las Cartas de Servicios que desarrollar el Departamento u Organismo autnomo. Matriz de priorizacin. Se trata de un libro Excel donde se introducen las respuestas a los
Gua para la seleccin de Cartas de Servicios

El objetivo de esta gua es facilitar el proceso de seleccin de las Cartas de Servicios a desarrollar en cada Departamento y Organismo Autnomo de la Administracin de la Comunidad Foral de Navarra.
65
cuestionarios y se obtiene, mediante un clculo automtico, una puntuacin para cada uno de los servicios prestados. Las preguntas del cuestionario invitan a la reflexin y los criterios de seleccin junto con la matriz de priorizacin permiten obtener una lista ordenada de servicios candidatos a la elaboracin de una Carta de Servicios. El uso de esta Gua es opcional. No obstante, se aconseja su utilizacin en aquellos Departamentos u Organismos autnomos que, por su tamao o diversidad de actividades, necesiten concretar el alcance de su Carta de Servicios. La Gua se dirige a las personas que vayan a participar en el proceso de seleccin de las Cartas de Servicios de un Departamento u Organismo Autnomo. Se aconseja la participacin de, al menos, los siguientes perfiles: la Direccin del Departamento u Organismo Autnomo, un Coordinador, los responsables de las unidades administrativas afectadas por la Carta y personal tcnico.
Estas fichas facilitan los pasos a realizar durante el desarrollo y elaboracin de la Carta de Servicios y permiten registrar el trabajo realizado, para su posterior revisin y mejora. Debern ser cumplimentadas y actualizadas por la persona coordinadora de la Carta de Servicios, para poder ser utilizada en cada una de las reuniones del equipo de trabajo.
Gua tcnica para el anlisis y mejora de los procesos del servicio que se presta
El objetivo fundamental de esta gua es facilitar a las Administraciones Pblicas de Navarra orientaciones sencillas y prcticas para el anlisis y mejora de los servicios que proporcionan. Para ello, propone analizar los procesos de trabajo, verificando la forma en que se desarrollan las actividades, para identificar los puntos dbiles y fortalezas, de manera que pueda mejorarse la calidad del servicio prestado. Tiene como destinatarias a las organizaciones pertenecientes a las Administraciones Pblicas de Navarra, con independencia de que estn inmersas o no en el proceso de desarrollo e implantacin de Cartas de Servicios. El documento describe todos los pasos necesarios para realizar el anlisis y mejora de los procesos que se llevan a cabo en la prestacin de los servicios. Para clarificar el desarrollo de estos pasos en la prctica, se muestra un ejemplo de su aplicacin completa.
Gua de implantacin y seguimiento de Cartas de Servicios

El objetivo fundamental de esta Gua es facilitar a las Administraciones Pblicas de Navarra el desarrollo, implantacin y gestin de las Cartas de Servicios. La Gua est dirigida a las personas que van a participar en el proceso de implantacin y seguimiento de las Cartas de Servicios en las Administraciones Pblicas de Navarra. Esta gua contiene una descripcin detallada de: Los pasos necesarios para el desarrollo y elaboracin de la Carta de Servicios. La metodologa para el seguimiento de la Carta. Las acciones de comunicacin tanto interna como externa, que deben tenerse en cuenta y realizarse desde el momento en que se empieza a elaborar la Carta. Cada uno de los pasos y actividades a realizar se acompaa de un ejemplo prctico desarrollado sobre los modelos de Fichas de Trabajo-Registro, que se incorporan a la gua como Anexo.
Gua tcnica para la definicin de compromisos de calidad y sus indicadores

El objetivo fundamental de esta Gua es facilitar a las Administraciones Pblicas de la Comunidad Foral de Navarra orientaciones prcticas y sencillas para la identificacin y definicin de compromisos de calidad del servicio que prestan, as como de los indicadores ms adecuados en cada caso, de forma que contribuya a desarrollar una Carta de Servicios coherente y realista. Esta Gua est dirigida a todas aquellas unidades, organizaciones, equipos y personas implicadas en el proceso de desarrollo e implantacin de Cartas de Servicios y/o que tengan la responsabilidad de mejorar el servicio prestado.
66
El documento contiene una descripcin de los pasos necesarios para la identificacin y definicin de compromisos de calidad y sus indicadores, incluyendo descripciones y nociones tericas bsicas y modelos de Fichas de Trabajo para poder realizar esta tarea con sencillez y precisin.
Al final incorpora un cuadro resumen de todas las acciones de difusin recomendadas, y un Anexo con la relacin de las fases del proceso de implantacin y seguimiento de Cartas de Servicios.
Gua para la difusin de las Cartas de Servicios

Este documento ofrece una orientacin sobre las acciones de difusin de las Cartas de Servicios que se elaboren. Tal como se define en la Ley Foral 21/2005, las Cartas de Servicios son documentos de acceso pblico que constituyen un medio a travs del cual las Administraciones Pblicas de Navarra informan a los ciudadanos sobre los servicios pblicos que prestan. Es necesario, por tanto, realizar acciones que permitan que esta informacin llegue a la ciudadana La Ley establece tambin que las Cartas de Servicios incorporarn compromisos voluntariamente adquiridos por las Administraciones Pblicas para una mejor prestacin de sus servicios pblicos y los indicadores que aseguren su cumplimiento. Por tanto, tambin se muestra necesario que las personas que prestan los servicios conozcan los compromisos adquiridos para poderlos cumplir. La Gua est dirigida a las personas que participan en el proceso de implantacin y seguimiento de las Cartas de Servicios en las Administraciones Pblicas de Navarra, as como a las personas responsables de su difusin. La Gua propone la difusin a diferentes niveles: Por un lado, en funcin de quin realiza la comunicacin: difusin por parte de la organizacin que elabora la Carta de Servicios y difusin institucional. Por otro, en funcin de a quin se dirige la comunicacin: difusin externa e interna. Las acciones de difusin recomendadas se sitan en cada una de las fases del proceso de implantacin y seguimiento de la Carta de Servicios, segn la Gua de implantacin y seguimiento. En cada una de ellas se orienta sobre los objetivos de la comunicacin, a quin se dirige y los medios ms adecuados para realizarla.
Gua para la presentacin de Cartas de Servicios

Esta gua proporciona apoyo para lograr una comunicacin eficaz de la Carta de Servicios a las personas usuarias. Uno de sus objetivos fundamentales es unificar la imagen de las Cartas de Servicios pertenecientes a la Administracin de la Comunidad Foral, de manera que se transmita una imagen nica que identifique las Cartas de la citada Administracin y sirva para generar un sello de confianza y calidad. Por otro lado, esta Gua pretende orientar el desarrollo de los soportes de comunicacin que se vayan a utilizar (trpticos, carteles, folletos, informacin en web, etc.), en funcin de cada servicio, respecto a su diseo (tipologa y color, cuadrcula y anagrama), contenidos y lenguaje ms idneos de acuerdo a la tipologa de personas destinatarias. Incorpora tambin un apartado destinado a ofrecer orientaciones sobre el diseo y contenido de la hoja de sugerencias y reclamaciones.
Gua prctica para el seguimiento de las Cartas de Servicios

Esta gua tiene como objetivo fundamental facilitar a las Administraciones Pblicas de Navarra, que tengan implantadas Cartas de Servicios, orientaciones prcticas para llevar a cabo el seguimiento y revisin necesarios para su mantenimiento y actualizacin, de forma que continen siendo la herramienta de gestin de la calidad del servicio que se pretendi con su desarrollo. Realizar el Seguimiento de la Carta de Servicios a travs de esta gua permite: Analizar y valorar los resultados generales obtenidos con nuestra Carta de Servicios. valorar el grado de cumplimento de los compromisos de calidad definidos.
67
Analizar la adecuacin de los compromisos de calidad manifestados. valorar el grado de adecuacin de los Indicadores marcados y de sus niveles objetivo. Mejorar los niveles de prestacin del servicio. Incorporar las opiniones y expectativas de las personas usuarias. Mejorar y facilitar la gestin interna y el funcionamiento de los equipos de trabajo. Sus destinatarias son aquellas Administraciones Pblicas de Navarra que tengan implantadas y publicadas Cartas de Servicios y que tengan la necesidad y responsabilidad de mantenerlas vigentes, de forma que sigan siendo tiles en el objetivo de mejorar, de forma continua, el servicio prestado. Este documento explica detalladamente la metodologa a seguir para un seguimiento basado en: Revisiones Continuas: Seguimiento y control, continuado, del grado de cumplimiento los compromisos de calidad definidos. Revisiones Peridicas: Revisiones de la Carta de Servicios, en su totalidad, cada ao o cada dos aos.
La primera parte del documento realiza un repaso terico de los mtodos ms comnmente empleados para realizar estudios de satisfaccin: directos o estudios especficos (entrevista semiestructurada; grupos de trabajo; panel de personas usuarias y encuestas peridicas) e indirectos (sistemas de quejas y sugerencias; aportaciones del personal en contacto directo con las personas usuarias e indicadores objetivos de la gestin de la actividad). La segunda parte del documento explica las fases de desarrollo de un estudio cuantitativo de satisfaccin mediante encuestas peridicas, que se ilustra con un ejemplo de aplicacin prctica.
Programa de quejas y sugerencias Gua para implantar un sistema de reconocimientos, quejas y sugerencias
El objeto de esta gua es facilitar a las Administraciones Pblicas de Navarra la implantacin de un sistema para la atencin y gestin de reconocimientos, quejas y sugerencias de las personas usuarias, para mejorar la calidad de los servicios pblicos. Se dirige, por tanto, a todas aquellas unidades, organizaciones, equipos y personas pertenecientes a las Administraciones Pblicas de Navarra, que vayan a iniciar la implantacin de un Sistema de Atencin y Gestin de Reconocimientos, Quejas y Sugerencias. El documento se compone de dos partes fundamentales: La descripcin de los pasos a seguir en el proceso de implantacin del Sistema. El Procedimiento bsico para la atencin y gestin, que describe las tareas a desarrollar para posibilitar la presentacin, recepcin, notificacin, tramitacin, respuesta y seguimiento de los reconocimientos, quejas y sugerencias. Este procedimiento deber ser adaptado por cada organizacin a sus caractersticas y circunstancias particulares. La Gua se completa con modelos de formularios y otros soportes necesarios para la implantacin y gestin del Sistema, y para la utilizacin del Procedimiento.
Programa de anlisis de la demanda y grado de satisfaccin ciudadana Gua para medir la satisfaccin respecto de los servicios prestados
El objetivo fundamental de esta Gua es facilitar a las Administraciones Pblicas de Navarra una orientacin clara, sencilla y prctica para conocer el nivel de satisfaccin de las personas usuarias con respecto a los diferentes servicios que se prestan, de forma que los resultados puedan ser analizados y faciliten la puesta en marcha de mejoras concretas en los servicios pblicos prestados. Por tanto, esta Gua est dirigida a todas aquellas unidades, organizaciones, equipos y personas pertenecientes a las Administraciones Pblicas de Navarra, que tengan por objetivo la mejora del servicio prestado y, especialmente, para aquellas que estn desarrollando una Carta de Servicios.
68
rea de evaluacin de las polticas pblicas

Teniendo en cuenta que el estudio-diagnstico Evaluacin de las Polticas Pblicas: la experiencia en la Comunidad Foral de Navarra realizado entre septiembre de 2006 y mayo de 2007 puso de manifiesto que la mayor parte de las evaluaciones de intervenciones pblicas realizadas por la Administracin de la Comunidad Foral de Navarra eran ejecutadas por equipos de evaluacin externos, el Servicio de Calidad consider conveniente comenzar por elaborar materiales dirigidos al conjunto de personas que desempean el rol de gestor del proceso de evaluacin31, con el fin de homogeneizar conceptos, procesos de trabajo y trazar un marco mnimo de conocimiento.
La Gua para la Evaluacin de Polticas Pblicas, editada por el Instituto de Desarrollo Regional en el ao 2000. El Manual para la Gestin de Evaluaciones de la Cooperacin Espaola, editada por el Ministerio de Asuntos Exteriores y de Cooperacin en el ao 2007. Se trata de un documento vivo, que con el tiempo y la experiencia pretende ir amplindose, incorporando nuevos trminos, siendo el Servicio de Calidad el organismo responsable de esta labor de actualizacin, bien por iniciativa propia, bien a propuesta de las personas que lo utilicen.
Glosario de Trminos relacionados con el seguimiento y la evaluacin de las polticas pblicas

El glosario es un diccionario de trminos sobre seguimiento y evaluacin. Su objetivo es facilitar la comprensin de los conceptos principales y ms comnmente usados y favorecer la utilizacin de un lenguaje comn en relacin con esta materia. Es, en definitiva, un recurso de aprendizaje en evaluacin de polticas pblicas. Tiene como propsito ayudar a las personas de las Administraciones Pblicas de Navarra, que no poseen conocimientos especficos sobre la materia, a entender los conceptos utilizados, de modo que, cuando se realicen evaluaciones tanto de tipo interno como externo, exista una definicin clara de lo que se demanda, facilitando conocer mejor para qu se demanda. Para su elaboracin se han consultado dos referencias fundamentales:
Modelo de Pliego de Condiciones Tcnicas o Plan de Trabajo para el seguimiento y la evaluacin de las polticas pblicas en Navarra
Para asegurar la calidad y utilidad de las evaluaciones es necesario establecer de forma clara y explcita los propsitos de la evaluacin, determinando por qu y para qu se evala, considerando las necesidades informativas y los intereses de los actores implicados en la puesta en marcha del proceso evaluativo. Por ello, es necesario trasladar de manera adecuada al equipo que va a realizar la evaluacin los aspectos que las personas o entidades usuarias de la evaluacin consideran esenciales y que son elementos relacionados con decisiones que deben tomarse para facilitar el diseo, realizacin y comunicacin de la evaluacin que va a realizar. Estos elementos se recogen en un documento que, en caso de realizar una evaluacin externa, es decir, con un equipo de evaluacin ajeno a la implementacin y gestin de la intervencin a evaluar, se conoce como Pliego de Condiciones Tcnicas (a partir de
31. El rol o papel de gestor del proceso de evaluacin se refiere a las personas responsables del proceso de evaluacin, desde que se disea hasta que se ofrecen las recomendaciones. La gestin del proceso de evaluacin se refiere, exclusivamente, a las tareas, actuaciones, pautas, orientaciones u hoja de ruta que ha de seguir el gestor del proceso de evaluacin con la intencin de garantizar que se desarrolle de manera efectiva y acorde a los lineamientos de trabajo establecidos. Por tanto, este itinerario o procedimiento de gestin de la evaluacin agrupa acciones enmarcadas en el mbito del liderazgo, la gerencia, la coordinacin y el seguimiento (INAP (2010): Cuaderno de Gestin de la Evaluacin de Intervenciones Pblicas en Navarra, 2 versin, pg. 32, disponible en: ht tp://www.navarra.es/home_es/ Temas/Administracion+Publica/Entidades+publicas/Evaluacion+y+calidad/ Evaluacion+y+Calidad/Evaluacion+de+las+politicas+publicas/
69
ahora PCT) o Trminos de Referencia32, y en el caso de una evaluacin interna se constituye como un Plan de trabajo interno. El Modelo, elaborado por el Servicio de Calidad, incorpora aquellos contenidos mnimos que los principales manuales de referencia en materia de evaluacin sugieren33, entre los que se encuentran las preguntas a las que debe dar respuesta la evaluacin, la acotacin de la intervencin a evaluar, el tipo de evaluacin y sus contenidos primordiales, el tiempo y recursos econmico-financieros, materiales y recursos humanos, asignados a la evaluacin. Esta propuesta fue revisada y completada de forma participada en la I Jornada de Sensibilizacin y Formacin sobre Evaluacin de Polticas Pblicas, celebrada el 3 de abril de 2008, y en la que participaron veintids personas pertenecientes a la Red de Evaluacin. Estos contenidos mnimos se presentan en forma de check list en dos bloques: el primero, con los elementos que deben ser definidos por quien encarga la evaluacin, y el segundo, que podr ser definido por el equipo de evaluacin. En este caso, de una evaluacin externa, en el Pliego debe sealarse el nivel de detalle exigido sobre estos elementos, pero, en cualquier caso, su concrecin ser uno de los criterios de baremacin que se usarn para valorar la idoneidad de las propuestas presentadas. El Modelo de pliego se completa con un tercer bloque que contiene orientacin sobre criterios de valoracin a aplicar en el caso de evaluaciones externas.
una cultura que se adquiere por cada Administracin o unidad competente y que se desarrolla conforme a sus propias previsiones temporales. En este sentido, el propsito de este Protocolo de Evaluabilidad es ayudar a los actores pblicos a decidir qu evaluaciones deben de llevar a cabo, cundo, sobre qu contenidos y en base a qu mtodo y tcnicas, ofreciendo las pautas a seguir para determinar la evaluabilidad de las intervenciones pblicas34. El documento propone un anlisis de evaluabilidad basado en un examen gil y sencillo de la intervencin, que no implique un trabajo de largo tiempo ni consuma muchos recursos, y que facilite al personal de las Administraciones Pblicas de Navarra, a quien va dirigido, la tarea de seguir los pasos previos a la puesta en marcha de cualquier tipo de evaluacin de manera flexible35. El Protocolo es una herramienta de carcter prctico y operativo, pensada, a modo de cuaderno de trabajo, que tiene como objetivo reducir incertidumbres que faciliten la toma de decisiones en relacin con la asignacin de recursos para encargar o realizar la evaluacin posterior de una intervencin pblica, al tiempo que su aplicacin favorecer la adopcin de medidas que mejoren la intervencin pblica. Este documento fue validado mediante una sesin de trabajo participativa durante la II Jornada de Sensibilizacin y Formacin sobre Evaluacin de Polticas Pblicas celebrada en noviembre de 2008.
Protocolo de Evaluabilidad
El marco legislativo de la Ley Foral 21/2005 confiere a todas las evaluaciones un elemento comn: su voluntariedad. La evaluacin no se impone; es el reflejo de
Cuaderno de Gestin de la Evaluacin de Intervenciones Pblicas en Navarra

El objetivo de este Cuaderno es orientar sobre las tareas a realizar durante la gestin del proceso de
32. Es el documento que sirve para establecer la relacin contractual entre quien encarga la evaluacin y el equipo que llevar a cabo el trabajo. Deben ser breves (habitualmente de 5 a 10 pginas) y pueden ser complementados si es necesario por anexos administrativos. 33. Especialmente, el Manual de Gestin de Evaluaciones de la Cooperacin Espaola, publicado por el Ministerio de Asuntos Exteriores y de Cooperacin en 2007. 34. Se utiliza el trmino intervencin pblica para hacer referencia a cualquier tipo de actuacin pblica: poltica, plan, programa, medida, actuacin, etc. 35. Los que defienden la utilizacin del trmino evaluacin de la evaluabilidad hablan de la necesidad de dedicar entre 3 y 6 meses para llevarla a cabo (Merino, 2007: 12), mientras que la aplicacin de las pautas propuestas en este Protocolo no debe llevar ms de 1 mes de trabajo. Lgicamente, la disponibilidad de tiempo y recursos tambin determinarn la profundidad del anlisis de evaluabilidad que se podr realizar.
70
evaluacin de una intervencin pblica36, para lo que se ofrecen indicaciones sobre el procedimiento a seguir desde que surge la necesidad u oportunidad de poner en marcha la evaluacin hasta que se hace uso de sus resultados. Las personas destinatarias principales son los gestores de los procesos de evaluacin, independientemente de que sean o no los responsables de realizar dichas evaluaciones, si bien es necesario aclarar que no se ofrece informacin metodolgica sobre la forma en que stas deben llevarse a cabo. Es decir, no se trata de un manual terico que presenta tcnicas de evaluacin. El documento se estructura de la siguiente forma: En el Captulo 1 se presentan algunos conceptos bsicos sobre de evaluacin de polticas pblicas, haciendo referencia al marco institucional de la evaluacin en Navarra37, proporcionando as el aporte terico mnimo necesario que cualquier gestor del proceso de evaluacin debe conocer. Los Captulos 2 y 3 sirven de introduccin en los aspectos clave que deben tenerse en cuenta para gestionar el proceso de evaluacin: cmo se estructura el proceso?, y qu capacidades, aptitudes tiene un buen gestor? El Captulo 4 detalla y explica en profundidad cada una de las preguntas-gua que orientarn a la persona o unidad responsable de ejercer la funcin de gestin del proceso de evaluacin. Identifica las tareas que debe ejecutar el gestor (complementarias al trabajo propio del equipo evaluador), ofreciendo las orientaciones oportunas que permitan asegurar la calidad del proceso, resultados y productos de la evaluacin. Con el fin de facilitar la aplicacin del Cuaderno, en el Captulo 5 se ofrece, a modo de resumen, las cuestiones ms relevantes a considerar durante el proceso de gestin de una evaluacin, identificando una/s serie de buena/s prctica/s.
Recursos y herramientas generales

El 15 de julio de 2004, mediante Orden Foral del Consejero de Presidencia, Justicia e Interior, se aprob el Cdigo Orientativo de Buenas Prcticas Administrativas de la Administracin de la Comunidad Foral de Navarra y de sus Organismos Autnomos. En este documento se recogen los principios bsicos y reglas generales que han de inspirar la que se considera relacin idnea entre una Administracin moderna, democrtica y colaboradora, y la ciudadana, que permita, por un lado, aproximar ms a los ciudadanos, y por otro, garantizar una mejor calidad en su actividad. La entrada en vigor de nueva normativa, incluida la Ley Foral 21/2005, de evaluacin de polticas pblicas y de la calidad de los servicios pblicos, que influyen en la relacin entre Administracin y ciudadana, ha generado la necesidad de revisar y adaptar los contenidos de este Cdigo. Fruto de este anlisis, coordinado por el Servicio de Calidad, se aprob, mediante la Orden Foral 46/2010, de 25 de enero, del Consejero de Presidencia, Justicia e Interior una nueva versin de este Cdigo38. Con el Cdigo, no slo se pretende dar a conocer al personal de la Administracin las pautas a seguir en el trato con la ciudadana, sino tambin informar a sta de la conducta que debe esperar en su trato normal con la Administracin de la Comunidad Foral de Navarra.
36. Al igual que en otros trabajos previos, se utiliza el trmino intervencin pblica para hacer referencia a cualquier tipo de actuacin pblica: poltica, plan, programa, medida, actuacin, etc. 37. En Navarra, el marco institucional de la evaluacin contempla dos materias, la evaluacin de polticas pblicas y la evaluacin de la calidad de los servicios pblicos. 38. El contenido completo del Cdigo de Buenas Prcticas Administrativas puede consultarse en la siguiente direccin electrnica: http://www.lexnavarra.navarra.es/detalle.asp?r=29943
71
3.5.6. Marco de cooperacin

ACTUACIONES REALIZADAS EN CADA MBITO O REA DE ACTUACIN CRONOGRAMA REA DE EVALUACIN DE POLTICAS PBLICAS REA DE EVALUACIN DE LA CALIDAD DE LOS SERVICIOS PBLICOS
Colaboracin con:
Servicio de Calidad e Inspeccin de la Direccin General de Asuntos Sociales y Cooperacin al Desarrollo (Dpto. Asuntos Sociales, Familia, Juventud y Deporte de Gobierno de Navarra).
AO 2007
Negociado de Calidad Educativa de la Seccin de Innovacin Educativa (Servicio de Formacin e Innovacin Educativa de la Direccin General de Ordenacin, Calidad e Innovacin del Departamento de Educacin de Gobierno de Navarra). Servicio de Calidad y Modernizacin de la Direccin General de Administracin Local (Departamento de Administracin Local de Gobierno de Navarra). Red de actores de Evaluacin Colaboracin con el Servicio de Calidad y Modernizacin de la Direccin General de Administracin Local y el Servicio de Calidad e Inspeccin de la Direccin General de Asuntos Sociales y Cooperacin al Desarrollo en la organizacin y financiacin de acciones de sensibilizacin y formacin para el Desarrollo de Cartas de Servicios en los Servicios Sociales de Base.
AO 2008
Colaboracin con el Servicio de Formacin del INAP. Colaboracin con la Direccin General de Modernizacin y Administracin Electrnica. Redes de cooperacin interna Colaboracin con el Servicio de Formacin del INAP. Colaboracin con la Direccin General de Modernizacin y Administracin Electrnica. Servicio de Calidad e Inspeccin de la Direccin General de Asuntos Sociales y Cooperacin al Desarrollo (Dpto. Asuntos Sociales, Familia, Juventud y Deporte de Gobierno de Navarra). Negociado de Calidad Educativa de la Seccin de Innovacin Educativa (Servicio de Formacin e Innovacin Educativa de la Direccin General de Ordenacin, Calidad e Innovacin del Departamento de Educacin de Gobierno de Navarra). Servicio de Calidad y Modernizacin de la Direccin General de Administracin Local (Departamento de Administracin Local de Gobierno de Navarra).
AO 2009-2011
Redes de cooperacin externa Red interadministrativa estatal AEVAL IVLUA Sociedad Espaola de Evaluacin Fundacin Navarra para la Excelencia Diputacin de Mlaga Universidad del Pas Vasco Universidad de Sevilla
UNED (Campus de Tudela)
72
Las acciones llevadas a cabo dentro de este marco de cooperacin han tenido un doble objetivo: Desarrollar, a nivel interno de las Administraciones Pblicas de Navarra, una serie de redes de colaboracin que permitan, hacer efectivas las medidas y programas de actuacin contemplados en la Ley Foral 21/2005. Crear, a nivel externo, vnculos de relacin con otras organizaciones pblicas interesadas en la materia de evaluacin tanto de polticas pblicas como de la calidad de los servicios pblicos- con el objetivo de compartir experiencias y recursos, identificar buenas prcticas capaces de ser transferidas y, en ltimo trmino, contribuir a aumentar la capacidad de evaluacin a nivel estatal.
ciones formativas, talleres y una jornada de intercambio de experiencias destinadas a capacitar y motivar al personal directivo y tcnico de estos Servicios. Posteriormente, se ha mantenido la colaboracin con estas unidades para cualquier actuacin relacionada con ste y otros programas. En el mbito de la evaluacin de polticas pblicas, la primera actuacin de este marco se realiza en 2008 si bien se inici en 2007- y consiste en la creacin y consolidacin de una Red de actores de Evaluacin, con la pretensin de crear una estructura participativa que contribuya al establecimiento de relaciones de colaboracin estables que, a su vez, favorezcan el intercambio de ideas, enfoques y formas de trabajo. Los miembros de la Red, identificados de manera selectiva en una primera instancia, son personas implicadas en tareas de diseo, gestin, seguimiento y evaluacin de intervenciones pblicas que ocupan puestos de carcter directivo y tcnico en las Administraciones Pblicas navarras. La relacin de miembros que conforman esta Red es estable aunque, con los aos, y debido a la intensa labor de difusin y de sensibilizacin realizada por el Servicio de Calidad de las Polticas y Servicios Pblicos, ha ido incrementando el nmero de participantes. La Red ha funcionado desde su creacin con participacin intensa y peridica en el siguiente tipo de actividades: Acciones de formacin Jornadas de sensibilizacin Talleres de trabajo para la validacin de los recursos (materiales y guas) elaborados: modelo de pliego de condiciones tcnicas y protocolo de evaluabilidad. Por otro lado, se han estrechado lazos de relacin constante con el Servicio de Formacin del INAP, con la intencin de incluir en el Plan de Formacin para empleados pblicos las actuaciones contempladas en el marco de capacitacin y sensibilizacin. La Direccin General de Modernizacin y Administracin Electrnica, que presta sus servicios de soporte a nivel informtico a los departamentos
Actuaciones de cooperacin a nivel interno

Una de las primeras actuaciones a nivel interno, estuvo relacionada con la evaluacin de la calidad de los servicios pblicos, en concreto, con la elaboracin de Cartas de Servicios para dar cumplimiento a la obligacin establecida por la Ley Foral 21/2005. As se estableci colaboracin con: Servicio de Calidad e Inspeccin de la Direccin General de Asuntos Sociales y Cooperacin al Desarrollo (Dpto. Asuntos Sociales, Familia, Juventud y Deporte de Gobierno de Navarra). Negociado de Calidad Educativa de la Seccin de Innovacin Educativa (Servicio de Formacin e Innovacin Educativa de la Direccin General de Ordenacin, Calidad e Innovacin del Departamento de Educacin de Gobierno de Navarra). Servicio de Calidad y Modernizacin de la Direccin General de Administracin Local (Departamento de Administracin Local de Gobierno de Navarra). Adems, para facilitar el diseo e implantacin de Cartas de Servicios en los Servicios Sociales de Base, el Servicio de Calidad de las Polticas y Servicios Pblicos particip con el Departamento de Administracin Local y el Servicio de Calidad e Inspeccin de la Direccin General de Asuntos Sociales y Cooperacin al Desarrollo en la organizacin y financiacin de una serie de ac-
73
y organismos de la Administracin de la Comunidad Foral de Navarra, ha colaborado tambin en todo el proceso de difusin del sistema pblico de evaluacin en Navarra, a travs de los diferentes canales electrnicos disponibles: web, intranet y extranet, as como en el desarrollo del sistema informtico que soporta el Registro de Evaluacin.
La Red tiene por objetivo institucionalizar la cooperacin interadministrativa en los mbitos relacionados con la calidad y la excelencia en los servicios pblicos. La Comisin Foral, a travs del personal del Servicio de Calidad, participa activamente en el Grupo de Trabajo de Evaluacin de Polticas Pblicas de esta Red. Como ejemplo del trabajo realizado por este grupo, en el ao 2010, se han llevado a cabo los siguientes proyectos:
l
Actuaciones de cooperacin a nivel externo

Por lo que respecta a nivel externo, se han mantenido redes de colaboracin con las siguientes entidades e instituciones:
Definicin de un modelo de protocolo para la formalizacin de encargos de evaluacin entre organismos pblicos Identificacin y valoracin de estrategias y actividades para la implicacin de la alta direccin en el impulso de la evaluacin y/o en proyectos concretos de evaluacin.
En general y para ambas materias de evaluacin:

La Fundacin Navarra para la Excelencia. Esta entidad forma parte de la Comisin Foral para la Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos, por lo que participa en la aprobacin de los acuerdos y en los planes de trabajo para hacer efectivo el sistema pblico de evaluacin navarro. Adems, destaca su colaboracin en las acciones de difusin del Premio a la Calidad de los Servicios Pblicos convocado por el Gobierno de Navarra. La Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios Pblicos (AEVAL). La Comisin Foral, a travs del Servicio de Calidad, mantiene una comunicacin constante con esta entidad para intercambiar experiencias, realizar consultas y emplear el material elaborado por la Agencia. La Red Interadministrativa de Calidad de los Servicios Pblicos. La Red Interadministrativa de Calidad en los Servicios Pblicos (en adelante, la Red) es un rgano de cooperacin integrado por los rganos responsables de calidad de la Administracin General del Estado (la Agencia de Evaluacin y Calidad, AEvAL), los de la Administracin de las Comunidades Autnomas (CC.AA.) y de las Ciudades Autnomas de Ceuta y Melilla, la Federacin Espaola de Municipios y Provincias (FEMP) y la Agencia Nacional de Evaluacin de la Calidad y Acreditacin (ANECA).
Federacin Navarra de Municipios y Concejos. Esta entidad forma parte de la Comisin Foral para la Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos, por lo que participa en la aprobacin de los acuerdos y en los planes de trabajo para hacer efectivo el sistema pblico de evaluacin navarro. El Plan de Trabajo del Servicio de Calidad, correspondiente a este ao 2011, contempla la firma de un acuerdo de colaboracin formal con esta entidad que posibilite la extensin de las medidas contenidas en la Ley Foral 21/2005 a los municipios y dems entidades locales de Navarra, en cumplimiento con lo dispuesto en el artculo 24 de dicha Ley.
De forma especfica en materia de evaluacin de polticas pblicas:

El Instituto Cataln de Evaluacin de Polticas Pblicas. La Universidad del Pas Vasco (UPV-EHU). La Universidad de Sevilla. Diputacin de Mlaga.
De forma especfica en materia de evaluacin de la calidad de los servicios pblicos:
74
Universidad Nacional de Educacin a Distancia (UNED) a travs de La Ctedra de Calidad de la UNED.
Fundacin para los Compromisos de la Calidad (IFQA). Participacin en el Barmetro de Cartas Ciudadanas en los portales web de las comunidades y ciudades autnomas de Espaa.
3.6.
Seguimiento y evaluacin de las actuaciones implementadas para la configuracin del sistema pblico de evaluacin navarro
En paralelo a la puesta en marcha de las actuaciones en los marcos expuestos, las personas responsables de liderar y gestionar el proceso de configuracin del sistema pblico de evaluacin en Navarra han establecido perodos de reflexin con el fin de orientar la toma de decisiones futura. De esta forma, se ha llevado a cabo un proceso continuo de seguimiento y evaluacin con la intencin de observar y poder corregir el curso de las actuaciones implementadas y sus resultados, as como detectar posibles reas de mejora. En este proceso destaca la evaluacin conceptual y de aplicacin de la Ley Foral 21/2005 que tuvo por objetivos determinar su grado de racionalidad y coherencia y conocer el grado de aplicacin de los programas de actuacin especficos contemplados en dicha Ley. A partir de las conclusiones y recomendaciones emitidas por este proceso de evaluacin, en los primeros meses del ao 2010, se elabor el Programa de Mejora de la Ley Foral 21/2005, con el objeto de transformar y concretar los resultados de la evaluacin en lneas de trabajo y actuaciones especficas, para mejorar y avanzar en el desarrollo del modelo de sistema de evaluacin ya configurado. El Programa de Mejora identifica actividades asociadas a los actores responsables de su aplicacin y establece un calendario para su implementacin en funcin de su prioridad, viabilidad y oportunidad. A lo largo del ao 2010 se han ejecutado las actuaciones previstas de acuerdo a las necesidades y contexto econmico y poltico existente. Otra actuacin destacada en este perodo de reflexin ha sido el anlisis de la percepcin ciudadana sobre los servicios pblicos realizado con el fin de proponer iniciativas generales de mejora y facilitar a los ciudadanos informacin global sobre la calidad en la prestacin de los servicios, en cumplimiento de una de las funciones asignadas a la Comisin Foral, tal y como establece la Ley Foral en su artculo 23.2 m. A continuacin se describen algunos aspectos relevantes relacionados con estas actuaciones:
3.6.1. Evaluacin conceptual de la Ley Foral 21/2005, de 29 de diciembre, de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos
La investigacin realizada consiste en el estudio y anlisis de la Ley Foral 21/2005, de 29 de diciembre, de evaluacin de polticas pblicas y de la calidad de los servicios pblicos, y tiene como propsito general: Describir y analizar el contexto de la elaboracin de la Ley Foral 21/2005 para reconstruir su proceso de definicin y formulacin. Analizar el discurso de la Ley Foral 21/2005, con el objeto de identificar su lgica interna (implcita y explcita). La herramienta metodolgica utilizada ha sido el marco interpretativo de poltica, cuyo enfoque est basado en el estudio de tres dimensiones: DIAGNSTICO DEL PROBLEMA o NECESIDAD a legislar; PRONSTICO o SOLUCIN -que especifica qu es lo que se debe hacer-, y ACCIN,
75
que fundamenta las razones y medios requeridos para dar respuesta a esa necesidad planteada. Las conclusiones ms significativas fueron:
Conclusiones sobre el Contexto y Contenidos de la Ley Foral 21/2005

La Ley Foral 21/2005 es una Ley pionera en Espaa, de clara oportunidad poltica, que introduce novedades en relacin con la herramienta de evaluacin en la Administracin Foral de Navarra. La propia existencia de la Ley puede contribuir a la institucionalizacin e implantacin de una cultura de evaluacin y de responsabilidad en la gestin pblica, por lo que se convierte en un instrumento clave para conseguir este propsito. En cuanto a las materias legisladas, evaluacin de las polticas pblicas y evaluacin de la calidad de los servicios pblicos, se aprecia una asimetra de informacin y contenido. De los siete programas de actuacin citados en la Ley Foral, cinco de ellos corresponden a la evaluacin de la calidad de los servicios pblicos, definiendo medidas concretas. En el caso de la evaluacin de polticas pblicas, no se definen medidas concretas, ms all de establecer la propia necesidad de realizar evaluaciones de intervenciones pblicas, lo cual plantea, a priori, la necesidad de detallar las actuaciones a realizar.
En el caso de la evaluacin de polticas pblicas se entiende que cada actor o unidad competente debe decidir cundo es el mejor momento para llevar a cabo una evaluacin, sobre qu materia y conforme a qu mtodo, pero no fomenta de manera expresa contenidos que marquen unos mnimos de aplicacin. El nico aspecto obligatorio y comn para ambas materias reguladas se refiere a la incorporacin de todas las evaluaciones concluidas y realizadas al Registro de Evaluacin de Polticas Pblicas y Calidad de los Servicios. Esta ltima cuestin suscita la siguiente reflexin: qu consecuencias tiene su incumplimiento?, qu ocurre en los casos en los que se estn realizando evaluacin de polticas pblicas no de manera adecuada y/o pertinente?
Factores facilitadores
Un criterio determinante para dar impulso a una cultura de la evaluacin de lo pblico en Navarra es la creacin de los rganos establecidos por la Ley Foral: la Comisin Foral de Evaluacin de Polticas Pblicas y la Calidad de los Servicios Pblicos (destaca el carcter poltico y tcnico de esta Comisin, ya que est representada por agentes con competencia tcnica en las materias legisladas, como es el caso de Fundacin Navarra de la Calidad) y el Servicio de Calidad de las Polticas y Servicios Pblicos. Por otra parte, la evaluacin de la Ley Foral, tal y como queda reflejado en la Disposicin Adicional Primera, va a permitir generar informacin til sobre su implantacin efectiva, sus consecuencias y efectos. Es sta la manera ms certera y rigurosa de introducir mejoras si lo que se pretende es renovar o extender su vigencia. As, reconocida la consistencia de la Ley Foral 21/2005 ya que se inserta adecuadamente en el marco legal y regulatorio existente-, y reconocida la necesidad planteada ya que es clara la oportunidad y novedad de las materias que regula-, parece oportuna y razonable una reforma de la Ley o un desarrollo ms amplio y detallado que mejore el texto y el contenido inicial, que especifique y delimite con exactitud las imprecisiones detectadas con el fin de introducir los instrumentos necesarios para asegurar una adecuada y efectiva aplicacin de la norma.
Conclusiones sobre el Marco Interpretativo de la Ley Foral 21/2005: Diagnstico, Pronstico y Accin
Las medidas propuestas son oportunas y novedosas, puesto que pretenden sensibilizar e introducir la institucionalizacin de la evaluacin en las Administraciones Pblicas de Navarra. El aspecto ms determinante de esta Ley y que se presta a una mayor reflexin y posterior debate tiene que ver con el carcter de voluntariedad y obligatoriedad de la misma. Es, por un lado, una Ley de voluntades; sin embargo, pese a su voluntariedad, la materia de evaluacin de la calidad de los servicios pblicos tiene una mayor autoridad ya que precisa obligaciones o exigencias directas en dos programas de actuacin concretos: cartas de servicios y quejas y sugerencias.
76
3.6.2. Evaluacin del grado de aplicacin de la Ley Foral 21/2005, de 29 de diciembre, de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos
Este segundo informe de evaluacin, llevado a cabo de manera complementaria a la evaluacin conceptual de la Ley, viene motivado por la exigencia expresada en su Disposicin Adicional Primera. En ella, insta a realizar una valoracin acerca del grado de aplicacin de la norma que establezca las mejoras convenientes a abordar para alcanzar los objetivos previstos, transcurridos tres aos desde la entrada en vigor de la citada Ley. Tiene por objeto proporcionar informacin til que oriente la toma de decisiones de las personas responsables poltico-administrativas de la Comunidad Foral Navarra en la materia de evaluacin y plantear lneas de mejora en base a las concusiones y resultados obtenidos.
definicin de los objetivos de la evaluacin exponiendo sus necesidades concretas de informacin; en la elaboracin de la matriz de evaluacin y en la identificacin, seleccin y validacin de las preguntas clave del cuestionario y guin de las entrevistas a realizar. Fases de la evaluacin y trabajo de campo: 1. Evaluacin de la implementacin de la Ley Foral 21/2005. Esta fase, comprende los meses de marzo a junio de 2009, y en ella el equipo de evaluacin realiz una labor de recogida de toda la informacin que sobre la implantacin y aplicacin de la norma se fue generando a travs del trabajo de campo en el que se emplearon tcnicas de anlisis de carcter cuantitativo y cualitativo. La pregunta principal, raz del trabajo llevado a cabo es: Se ha cumplido lo dispuesto en los preceptos de la Ley Foral 21/2005? 2. Establecimiento y valoracin de resultados e impactos del proyecto. Esta fase ha tenido por objeto conocer el grado de sostenibilidad-permanencia e impacto de la norma en el conjunto de la Administracin Pblica Navarra y, en particular, en el pblico destinatario implicado. Tambin se ha analizado el grado de satisfaccin percibido respecto de la norma y su proceso de implantacin, ejecucin y seguimiento. El objetivo ltimo se ha centrado en identificar si se han producido cambios tanto en el contexto donde se enmarca la Ley como en sus destinatarios. Esta fase se desarroll entre abril y junio de 2009. Las preguntas a la que, principalmente, se ha pretendido dar respuesta son: La aplicacin de la Ley Foral 21/2005 ha producido los cambios o efectos deseados en el pblico destinatario? Cul ha sido su repercusin inmediata?, es sostenible la ley, tal y cmo est formulada, a futuro? o, por el contrario, es necesario abordar algn cambio? Se han utilizado dos herramientas para la recogida de informacin: un cuestionario en formato de formulario dinmico Access y un panel de entrevistas a agentes clave participantes en el proceso de elaboracin, implantacin y aplicacin de la Ley Foral 21/2005.
Tipologa de la evaluacin
Segn el agente evaluador, la evaluacin del grado de aplicacin de la Ley Foral 21/2005, es una evaluacin mixta realizada por personal del servicio de Calidad y profesionales de la evaluacin del mbito privado. Atendiendo al contenido evaluado, se trata de una evaluacin de implementacin y de resultados. En cuanto al momento en que se ha llevado a cabo es una evaluacin intermedia, puesto que el proceso evaluativo se desarrolla durante la fase de aplicacin de la Ley. Sin embargo, debido a la coincidencia temporal entre la presentacin del informe de evaluacin intermedia y el plazo previsto por la propia Disposicin Adicional Primera de la Ley Foral 21/2005, puede considerarse tambin una evaluacin final o de resultados. Por ltimo, con relacin a su funcin se trata de una evaluacin formativa y sumativa.
Metodologa
En cuanto a la metodologa de evaluacin, se ha optado por un modelo de evaluacin participativo, a travs de la colaboracin activa del Servicio de Calidad con el equipo evaluador externo en la
77
Conclusiones
La siguiente tabla resume las conclusiones ms destacadas obtenidas a partir del anlisis del grado de aplicacin de cada uno de los programas de actuacin establecidos por la Ley Foral 21/2005:
Es el programa de actuacin con mayor grado de visibilizacin, aunque su alto nivel de aplicacin no est ligado a la caracterstica de obligatoriedad establecida en el Art. 20 de la Ley Foral para los Departamentos y Organismos Autnomos de Gobierno de Navarra, ya que ms de la mitad de las organizaciones que han implantado Cartas de Servicios no estn afectadas por este requerimiento.
Focalizacin de actuaciones en el programa de actuacin de Cartas de Servicios
Reducido porcentaje de Cartas de Servicios certificadas por una entidad externa. Se confirman como una herramienta vlida y til para la autoevaluacin de los servicios pblicos prestados y como un buen mtodo para la promocin de la cultura de la evaluacin en la Administracin Pblica de Navarra. El escaso tiempo transcurrido desde la puesta en marcha de la mayor parte de las Cartas de Servicios, no permite, todava, visibilizar cambios importantes en las organizaciones. Fuerte impacto de la Ley Foral 21/2005 en cuanto a la duplicacin del nmero de evaluaciones de polticas pblicas realizadas en los tres aos posteriores a la entrada en vigor de la norma. No existe un impacto reflejo con relacin al nmero de entidades que las ponen en marcha (son 5 las organizaciones que concentran la actividad en materia de evaluacin de polticas pblicas). La incorporacin de esta herramienta durante todo el ciclo de vida de la intervencin pblica evaluada es el cambio ms notable producido por la Ley.
Elevado grado de impacto de la aplicacin de la Ley Foral en materia de evaluacin de polticas pblicas
Moderado nivel de impacto de la aplicacin de la Ley Foral en materia de evaluacin de la calidad de los servicios pblicos
Freno en la actividad de las Administraciones Pblicas en materia de autoevaluaciones mediante la metodologa EFQM, ISO, as como de las certificaciones emitidas por el Dpto. Educacin relativas a Centros Excelentes. Los beneficios de la puesta en marcha de sistemas de evaluacin de la calidad de los servicios pblicos en las organizaciones encuestadas se centran en la mejora de procesos y no tanto en dar respuesta a las demandas de las personas usuarias, de manera que la ptica de la ciudadana pasa a ser una dimensin de segundo orden. La mayora de entidades que disponen de un sistema para la gestin de quejas y sugerencias, paralelamente ha implantado algn sistema de la calidad de los servicios pblicos u otras actuaciones, por lo que el alto grado de actuaciones en estas materias puede interpretarse como una consecuencia de la puesta en marcha, por parte de las Administraciones Pblicas navarras, de sistemas de gestin de la calidad as como de la implantacin de Cartas de Servicios. Inexistencia de actuaciones especficas en materia de anlisis de la demanda. En la mayor parte de los casos registrados, la tcnica de investigacin ms utilizada es la encuesta de satisfaccin.
Porcentaje elevado de actuaciones en las materias de: Anlisis de la demanda y grado de satisfaccin ciudadana, quejas y sugerencias
78
Los Centros Educativos son las organizaciones que ms candidaturas presentan y que ms Premios a la calidad de los servicios pblicos obtienen. La motivacin ms argumentada para presentar candidatura tiene que ver con la utilidad del premio como medio de publicidad de la organizacin y con la posibilidad del logro de reconocimiento social por la labor realizada. El principal factor de xito para alcanzar un mayor nivel de cumplimiento e impacto de la Ley Foral ha sido la labor de difusin y los programas de actuacin ejecutados por el Servicio de Calidad del INAP. Reducido nivel de influencia e impacto de la Ley Foral en la realizacin de evaluaciones. La motivacin para evaluar no est basada en el carcter de obligatoriedad en los casos que aplica, sino en la posibilidad del aprendizaje y la mejora continua de las organizaciones. Reducido grado de liderazgo e implicacin en la difusin y promocin de la Ley Foral 21/2005 por parte de los miembros de la Comisin Foral de Evaluacin de Polticas Pblicas y de Calidad de los Servicios Pblicos y Directores de Servicios que tienen bajo su responsabilidad materias relacionadas con evaluacin. Bajo nivel de conocimiento de las caractersticas y particularidades de las materias objeto de regulacin de la Ley Foral 21/2005. El Plan de Formacin anual especfico para las materias reguladas en la Ley Foral no parece despertar un gran inters entre las personas responsables de aplicar los programas (existe un aparente desconocimiento de la oferta formativa y un escaso nivel de asistencia a los mismos). Deteccin de actuaciones no inscritas en el Registro de Evaluacin de Polticas Pblicas y de la Calidad de los Servicios Pblicos. Necesidad de acompaar la convocatoria de Premios a la Calidad con otras medidas para lograr incentivar la produccin de evaluaciones. Principales obstculos para aplicar la Ley Foral: falta de tiempo y escasez de recursos humanos a nivel interno y, dificultad para lograr la participacin de los usuarios/as de los servicios pblicos prestados, a nivel externo. El cumplimiento de todas las funciones asignadas a la Comisin Foral para la Evaluacin de las Polticas y de la Calidad de los Servicios Pblicos, no ha tenido el mismo nivel de prioridad y, por tanto, de desempeo en estos aos de aplicacin de la Ley Foral.
Elevada participacin de los centros educativos en las candidaturas a los premios a la calidad de los servicios pblicos
Otras valoraciones respecto de la aplicacin de la Ley Foral en las Administraciones Pblicas de Navarra:
79
3.6.3. Actuaciones realizadas como consecuencia de la evaluacin conceptual y de aplicacin de la Ley Foral 21/2005
Una vez finalizados los procesos de evaluacin y emitidos sus correspondientes informes, se elabor un Plan de Comunicacin con el objeto de difundir los resultados (conclusiones y recomendaciones) derivados de dicha investigacin. Este Plan, se dirige a la totalidad de colectivos implicados y/o beneficiarios de la evaluacin y cumple con lo estipulado en el artculo 11, de la propia Ley Foral que dispone que: Las Administraciones Pblicas darn a sus evaluaciones, que sern pblicas, la publicidad que juzguen oportuno y por los medios tcnicos que consideren ms adecuados. Por otro lado, presentados los informes de evaluacin a la Comisin Foral, se estableci un periodo de
anlisis y reflexin. Tras su aprobacin, se encomienda al Servicio de Calidad, la elaboracin del Programa de Mejora de la Ley Foral 21/2005, con objeto de cumplir con la funcin de aprendizaje interno y mejora continua. Este programa se elabor durante los primeros meses de 2010 y recoge la transformacin y concrecin de las recomendaciones establecidas en el informe de evaluacin, en actuaciones y actividades especficas, identificando a las unidades u organismos responsables de su aplicacin y estableciendo un calendario para su implementacin en funcin de su prioridad, viabilidad y oportunidad. En cualquier caso, se determina el inicio de aquellas acciones definidas con prioridad central, posibilidad de puesta en marcha alta y tiempo de aplicacin inferior a 12 meses. La siguiente tabla resume el contenido del Programa de Mejora:
80
N 1
RECOMENDACIN Replantear el carcter de voluntariedad u obligatoriedad de la Ley Foral 21/2005.
ACCIN DE MEJORA PROPUESTA

Creacin de un grupo de trabajo que, a partir de las conclusiones obtenidas de la evaluacin conceptual de la Ley Foral 21/2005, interprete, valore y reflexione la exigencia o no del mantenimiento de esta caracterstica de la Ley. Este grupo debiera estar compuesto por: Personas que participaron en el proceso de elaboracin de la Ley, por ej. el actual Defensor del Pueblo; Entidades impulsoras, como el Servicio de Calidad; Miembros de la Comisin Foral de Evaluacin como la Federacin Navarra de Municipios y Concejos (FNMC), la Direccin General de Modernizacin y Administracin Electrnica (DGMAE), Administracin Local, Sindicatos; Especialistas en materia jurdica del Gobierno de Navarra.
Reformar o desarrollar de manera ms amplia y detallada el texto y contenido inicial de la Ley Foral.
El mismo grupo de trabajo planteado para la primera accin de mejora, junto con profesionales especialistas de las materias reguladas por la Ley, elaborar un documento-base que permita la emisin de una orden o decreto foral para clarificar y desarrollar los contenidos del actual texto legal, todo ello a partir de las conclusiones obtenidas de la evaluacin conceptual de la Ley Foral 21/2005. Este grupo debiera estar compuesto por: Personas que participaron en el proceso de elaboracin de la Ley, por ejemplo el actual Defensor del Pueblo; Entidades impulsoras, como el Servicio de Calidad de las Polticas y Servicios Pblicos del INAP; Miembros de la Comisin Foral de Evaluacin como la Federacin Navarra de Municipios y Concejos (FNMC), la Direccin General de Modernizacin y Administracin Electrnica (DGMAE), Administracin Local, Sindicatos; especialistas en materia jurdica del Gobierno de Navarra; profesionales especialistas de las materias reguladas por la norma.
Incrementar la visibilizacin de la Ley Foral 21/2005.
Diseo y puesta en marcha de un paquete de actuaciones de difusin destinadas a la movilizacin de los actores responsables de la aplicacin de la Ley, es decir, a los llamados a la accin por la norma. Persigue el objetivo de potenciar su conocimiento sobre la Ley en cuanto a su oportunidad, objetivos, materias reguladas, contenido de sus disposiciones y obligaciones previstas. El efecto pretendido por esta accin es el incremento de la implicacin e inters por la aplicacin efectiva de la norma. Esta accin no busca la informacin y publicidad de los resultados alcanzados hasta el momento sino la movilizacin de los actores encargados de aplicar la Ley Foral 21/2005. Se muestra especialmente necesario incidir en los siguientes grupos: nivel local (Ayuntamientos y Organismos Autnomos dependientes); Sociedades Pblicas y Fundaciones Pblicas.
81
N 4
RECOMENDACIN Disear un Programa/taller(es) de formacin dirigido de manera especfica a los miembros de la Comisin Foral y a funcionarios con cargos directivos (cuadros de Alta Direccin) del Gobierno de Navarra para promocionar la aplicacin efectiva de las materias reguladas en sus correspondientes Direcciones Generales u Organismos Autnomos, asegurando su participacin efectiva. Realizar una profunda reflexin sobre la composicin, tareas asignadas, sistema de funcionamiento, nivel de compromisos y funcin de liderazgo y grado de implicacin de los miembros de la Comisin Foral para la Evaluacin de Polticas Pblicas y de la Calidad de los Servicios Pblicos.

Diseo e implementacin de un Programa/taller(es) de formacin dirigido de manera especfica a los miembros de la Comisin Foral y a funcionarios con cargos directivos (cuadros de Alta Direccin) del Gobierno de Navarra para promocionar la aplicacin efectiva de las materias reguladas en sus correspondientes Direcciones Generales u Organismos Autnomos.
Creacin de un grupo de trabajo que aborde la reflexin y establezca un plan de actuaciones con calendario de ejecucin hasta la finalizacin de la legislatura actual. En este grupo debiera participar el Servicio de Calidad de las Polticas y Servicios Pblicos como representante del equipo evaluador.
Consolidar y dotar al Servicio de Calidad de Polticas y Servicios Pblicos de la infraestructura necesaria (tcnica y econmica) con el fin de asegurar un ptimo nivel de cobertura de actuaciones con previsin de tareas y calendario.
Realizar un anlisis que permita determinar y valorar las necesidades del Servicio de Calidad de las Polticas y Servicios Pblicos en cuanto a recursos, infraestructura y medios. Este diagnstico deber identificar las necesidades y puntos crticos teniendo en cuenta las funciones asignadas a este Servicio en comparacin con los objetivos de actuacin previstos en este ejercicio y a medio plazo y tambin las acciones previstas en el Programa de mejora . Creacin de un grupo de trabajo que permita identificar medidas y/o actuaciones que necesiten del trabajo conjunto de la DGMAE y el Servicio de Calidad.
Mayor coordinacin y establecimiento de nexos de actuacin conjunta entre el Servicio de Calidad de las polticas y Servicios Pblicos y la Direccin General de Modernizacin y Administracin Electrnica (DGMAE). Promocionar, difundir e impulsar el uso y utilidad del Registro de Evaluacin de Polticas Pblicas y de la Calidad de los Servicios Pblicos entre todas las Administraciones Pblicas de Navarra.
Aplicar las actuaciones previstas en el Plan de Comunicacin y Difusin de los resultados de la evaluacin. Dicho Plan contempla una serie de actuaciones a nivel de divulgacin interna y externa, muchas de las cuales tienen como objetivo transmitir el limitado uso que hasta el momento se ha realizado del Registro en contrapartida con los beneficios y oportunidades que ofrece esta herramienta.
82
N 9
RECOMENDACIN Potenciar el uso y funcionalidad de los materiales elaborados por El Servicio de Calidad de las polticas y Servicios Pblicos tanto en materia de evaluacin de polticas como de la calidad de los servicios pblicos...

Aplicar las actuaciones previstas en el Plan de Comunicacin y Difusin de los resultados de la evaluacin sobre esta cuestin. Aprovechar las Jornadas de sensibilizacin previstas por el Servicio de Calidad y las Jornadas de formacin organizadas por el INAP para promocionar los recursos y materiales disponibles. Durante estas sesiones se recomienda efectuar una valoracin para detectar posibles necesidades de otro tipo de recursos y formacin especfica consultando a los asistentes a travs de un breve cuestionario. Los materiales y guas elaborados tienen como caracterstica principal la de ser documentos vivos, por lo que debe realizarse una revisin de los mismos por si fuera necesaria la actualizacin de algunos contenidos.
10 Incrementar la creacin de equipos de trabajo mixto que incorporen la visin externa de personal tcnico especializado.
Identificacin de unidades con escasez de recursos para llevar a cabo la puesta en marcha de los diversos programas de actuacin contemplados en la Ley Foral 21/2005 con especial incidencia en aquellos de obligado cumplimiento. Este anlisis debiera efectuarse de manera especfica en todas aquellas organizaciones que en el proceso de evaluacin de la Ley Foral 21/2005 indicaron la falta de recursos como condicionante para la ejecucin de los programas de actuacin.
11 Promover y fortalecer los procesos de capacitacin y formacin de los programas y medidas previstos en la Ley Foral 21/2005 a travs del Plan de Formacin anual del INAP y las actuaciones de formacin especfica diseadas y programadas por El Servicio de Calidad de las polticas y Servicios Pblicos. 12 Potenciar la diversificacin de organizaciones que aplican la herramienta de evaluacin de polticas pblicas e incrementar la realizacin de evaluaciones estratgicas.
Talleres de trabajo con personal tcnico responsable de poner en marcha los programas de actuacin de la Ley Foral. Entrevistas focalizadas a agentes identificados como clave (Directores Generales y/o Gerentes).
Formacin en materia de evaluacin de polticas sectoriales a nivel de la Administracin de la Comunidad Foral de Navarra y formacin general en evaluacin al resto de AAPP navarras. Respecto al nivel local esta formacin podra ser liderada por el Departamento de Administracin Local de la Comunidad Foral o por la Federacin Navarra de Municipios y Concejos.
83
N 13
RECOMENDACIN Impulsar procesos de evaluacin de la calidad de servicios pblicos desde una dimensin u orientacin a la ciudadana.

Formacin en materia de evaluacin de la calidad de los servicios pblicos, potenciando la dimensin u orientacin a la ciudadana. Esta formacin debera impartirse tanto a nivel de la Administracin de la Comunidad Foral de Navarra como al resto de AAPP navarras. Respecto al nivel local esta formacin podra ser liderada por el Departamento de Administracin Local de La Comunidad Foral o por la Federacin Navarra de Municipios y Concejos.
14
Seguimiento de actualizacin y de procesos de certificacin externa de las Cartas de Servicios implantadas.
Creacin de un Comit de Seguimiento encargado de comprobar que se realiza el seguimiento de las Cartas de Servicios publicadas por la Administracin y de analizar alternativas de evaluacin externa y certificacin aplicables en las Administraciones navarras.
15
Incrementar el nmero de organizaciones que ponen en marcha un Sistema de gestin y tratamiento de quejas y sugerencias.
Aprovechar las acciones ya previstas del Plan de Comunicacin y Difusin de los resultados de la evaluacin de la Ley Foral 21/2005 para divulgar a las entidades ejecutoras que an no hayan puesto en marcha un sistema de gestin y tratamiento de quejas y sugerencias la importancia de su incorporacin a su organizacin. Realizacin de un estudio que identifique y analice las experiencias de otras Comunidades Autnomas que como la CFN, conceden Premios de Calidad y la viabilidad de su puesta en prctica en Navarra.
16
Complementar la convocatoria de Premios a la Calidad con otros incentivos que potencien el incremento de la realizacin de evaluaciones por parte de las Administraciones Pblicas: subvenciones o dotaciones econmicas, actuaciones de benchmarking entre entidades premiadas y aquellas que no han presentado candidatura, etc. Impulsar el grado de aplicacin del programa de anlisis de la demanda.
17
Formacin especfica en la materia de anlisis de la demanda. Esta formacin debera impartirse tanto a nivel de la Administracin de la Comunidad Foral de Navarra como al resto de AAPP navarras. Respecto al nivel local esta formacin podra ser impulsada por el Departamento de Administracin Local de la Comunidad Foral o por la Federacin Navarra de Municipios y Concejos. Aprovechar las acciones previstas en el Plan de Comunicacin y Difusin de los resultados de la evaluacin de la Ley Foral 21/2005, para transmitir la importancia de aplicar este programa de actuacin.
84
3.6.4. Anlisis de la percepcin ciudadana sobre los servicios pblicos

En el ao 2010, con la finalidad de cumplir las obligaciones de la Ley Foral 21/2005 y los compromisos de la legislatura, la Comisin Foral presenta, en su plan de trabajo anual la realizacin del estudio Percepcin de la prestacin de servicios pblicos, con el objetivo general de realizar un acercamiento al conocimiento de la percepcin de la ciudadana navarra sobre la prestacin administrativa de los servicios en la Comunidad Foral. Esta investigacin ha contado con la asistencia tcnica de la empresa pblica NASERSA (Navarra de Servicios, S.A.). Mediante la aplicacin de una metodologa cuantitativa, a travs de un proceso de encuesta telefnica a una muestra representativa de diferentes grupos de poblacin. Sus resultados han permitido conocer la opinin de la ciudadana navarra sobre la prestacin administrativa de los servicios pblicos. Es preciso destacar que, para la realizacin de la encuesta, se elaboraron las preguntas que se consideraban pertinentes dentro del mbito de actuacin siguiendo los aspectos que se plantean dentro del Cdigo de Buenas Prcticas de la Administracin de la Comunidad Foral de Navarra.
Por tanto, la ciudadana ha sido consultada sobre cuestiones tales, como: dificultad para realizar gestiones o trmites administrativos; trato recibido; igualdad de condiciones en la prestacin de servicios; cumplimiento de la legalidad y respuesta a los errores por parte de la Administracin; transparencia; canales ms utilizados para contactar con la Administracin; proteccin de datos, etc. El anlisis realizado concluye que la valoracin media, de forma general, del funcionamiento de las Administraciones Pblicas en Navarra ha sido de 6,37 puntos sobre 10. Atendiendo a criterios cualitativos, se califica la valoracin promedio de bastante positiva. Si se comparan estos datos con los de la encuesta elaborada por el CIS en mayo de 2008, se confirma que el porcentaje de personas que valora muy positiva o bastante positivamente la forma en que funcionan las administraciones pblicas en Espaa es un 36%, mientras que en Navarra es de un 71,99%. Se concluye, por tanto, con la afirmacin de la valoracin general de las Administraciones Pblicas es muy superior en Navarra a la del conjunto del Estado.
85
4
A
Reflexin y planteamiento de retos futuros

Con objeto de disponer de una opinin experta, a peticin del Instituto Navarro de Administracin Pblica, el Presidente de la Sociedad Espaola de Evaluacin, D. Jos Luis Osuna Llaneza, ha elaborado un informe sobre las posibilidades de evolucin del sistema pblico de evaluacin de Navarra. Para el segundo semestre del ao, y en base a los resultados obtenidos de este proceso de reflexin, est prevista la elaboracin de un Plan Estratgico de la Evaluacin en la Comunidad Foral de Navarra, atendiendo tanto al nuevo contexto en que se desarrolle como a la propia organizacin que lo integre. Como se desprende de la lectura de este documento, poner en marcha el proceso de configuracin y desarrollo del sistema pblico de evaluacin en la Comunidad Foral de Navarra en estos cuatro aos de legislatura (2006-2010) es un propsito pionero en el Estado y ambicioso en todos los sentidos. Sin embargo, el trabajo continuado de los organismos creados por la Ley Foral 21/2005 para liderar el proceso: la Comisin Foral y el Instituto Navarro de Administracin Pblica, han posibilitado a las instituciones pblicas de Navarra un marco de aprendizaje que puede facilitar el desarrollo de la capacidad de evaluacin y la oportunidad de convertir estos aprendizajes y experiencias en fortalezas y mayores competencias. El camino recorrido debe servir en el futuro para reforzar el compromiso por parte del Gobierno de Navarra de alcanzar los retos pendientes en la materia de evaluacin de polticas pblicas y de la calidad de los servicios pblicos y garantizar la permanencia y sostenibilidad del sistema pblico de evaluacin configurado.
lo largo de este trabajo se ha procedido a realizar una descripcin lo ms detallada posible sobre el proceso de diseo, configuracin y desarrollo del sistema pblico de evaluacin en Navarra desde el ao 2006 hasta los primeros meses del ao 2011, detallando de manera pormenorizada las fases en las que se han organizado las actuaciones puestas en marcha. Este proceso, como ya se ha explicado anteriormente, se ha implementado como si de una lnea continua se tratara, poniendo en marcha de forma paralela seis marcos de trabajo con un objetivo comn: contribuir al desarrollo de la capacidad de evaluacin en la Comunidad Foral de Navarra. En este ao 2011 y coincidiendo con el final de la legislatura, la Comisin Foral de Evaluacin se ha propuesto en su plan de trabajo para el primer semestre del ao, realizar dos actuaciones que van a marcar, sin duda, el marco futuro de la evaluacin en Navarra: 1. Realizacin de un informe de valoracin de la actividad de la Comisin Foral durante el periodo 2006 a 2010, con el objetivo de mejorar sus prcticas, enriqueciendo la toma de decisiones sobre su misin, objetivos y estrategia de planeamiento futura. 2. Iniciar un proceso de reflexin, que permita identificar lneas de trabajo y nuevos retos a afrontar en los prximos aos dentro de un marco estratgico de referencia en el mbito de la evaluacin.
87
Bibliografa
AMEZCUA, C. y JIMNEZ, A. (1996). Evaluacin de programas sociales, Madrid, Ediciones Daz de Santos, D.L. American Evaluation Association (1994). Guiding Principles for Evaluators. ATIENZA, M., Contribucin para una teora de la legislacin, en CARBONELL,M. y PEDROZA DE LA LLAVE, S.T. (coords), Elementos de Tcnica Legislativa, IIJ-UNAM, 2000. Disponible en Internet: http://www.bibliojuridica.org/libros/libro.htm?l=21 BALLART, X. (1993). Evaluacin de Polticas. Marco Conceptual y Organizacin Institucional. Revista de Estudios polticos 80. (abril-junio 1993): 199-224. BALLART, X (1996). Modelos tericos para la prctica de la evaluacin de programas, en BRUGU, Q y SUBIRATS, J. (eds): Lecturas de Gestin Pblica, Madrid. BERNSTEIN, I. Y FREEMAN, H.E., (1975). Academic and Entrepreneural Research: Consequences of Diversity in Federal Evaluation Studies. Nueva York: Rusell Sage. BALSA, C., La better regulation., Papeles de Evaluacin n 1. Ministerio de Administraciones Pblicas. Agencia Espaola de Evaluacin. 2.006. Disponible en internet: http://www.aeval.es/es/difusion_y_comunicacion/ documentacion_y_publicaciones/publicaciones_periodicas/papeles_evaluacion2/Papeles_de_Evaluacixn_nx_1.html BALLART, X. (1992). Cmo evaluar programas y servicios pblicos?. Aproximacin sistemtica y estudios de caso. Madrid. Ministerio para las Administraciones Pblicas.
Guas y recomendaciones
Consejo de la Unin Europea (presidencias italiana, irlandesa y holandesa), A comparative analysis of regulatory impact assessment in ten EU countries, reporte preparado para el Directors of Better Regulation Group, Dublin, mayo de 2004. OECD (1995), Recommendation of the OECD Council on Improving the Quality of Government Regulation, incorporating the OECD Reference Checklist for Regulatory Decision-Making, Paris. Reino Unido, Cabinet Office, Legislative and Regulatory Reform Bill Final Regulatory Impact Assessment y Regulatory Impact Assessment Guidance.
Publicaciones y artculos
AGUILAR, M. J. y ANDER-EGG, E. (1992). Evaluacin de servicios y programas sociales. Madrid, Siglo XXI de Espaa, Editores, S.A. AGUILAR, M. J. y ANDER-EGG, E. (1992). Evaluacin de servicios y programas sociales, Siglo XXI de Espaa, Editores, S.A. AGUIL REGLA, J., Tcnica legislativa y documentacin automtica de legislacin, Informtica e Diritto, Italia, Instituto per la documentazione giurdica, ao XVI, enero-abril 1990, pp. 89-90. ALVIRA, F. (1997). Metodologa de la evaluacin de programas: un enfoque prctico. Buenos Aires: Lumen/Humanitas. ALVIRA, F. (2002). Metodologa de la evaluacin de programas Centro de Investigaciones Sociolgicas. Cuadernos metodolgicos n 2, Madrid 3 edicin.
89
BIBLIOGRAFIA
BAN i MARTNEZ, R. (2003). La evaluacin de la accin y de las polticas pblicas, Daz de Santos, Madrid. Espaa. BAIZERMAN, M.; COMPTON, D. W. y STOCKDILL, S.H. (2005): Article on Capacity Building, en MATHISON, S.: Encyclopedia of Evaluation, Sage, Thousand Oaks. BARRAGN, J., Cmo se hacen las leyes, Caracas, Editorial Planeta venezolana, 1994. BOYLE, R.; BREUL, J. y DAHLER-LARSEN, P. (eds.) (2006): Open to the Public. Evaluation in the Public Arena, Transaction, New Brunswick. BOYLE, R. (1999). Professionalizing the Evaluation Function Human Resource Development and the Building of Evaluation Capacity. En Boyle, R./Lemaire, D.(ed): Building Effective Evaluation Capacity. Lessons from Practice. P.135-151. BOYLE, R., LEMAIRE, D. y RIST, R. C. (1999): Introduction: Building Evaluation Capacity en Boyle, R./Lemaire, D.(ed): Building Effective Evaluation Capacity. Lessons from Practice. P.1-19. BULYGIN, E., Teora y tcnica de la Legislacin, Revista Mexicana de Estudios Parlamentarios, Mxico, 1 poca, vol. I, nm. 3, septiembre-diciembre de 1991, p.37. BUSTELO, M., (1998), Deontologa de la Evaluacin: El modelo de los cdigos ticos anglosajones. Gestin y Anlisis de Polticas Pblicas 11-12 (enero/ agosto 1998): 141-156. BUSTELO, M. (1999). Diferencias entre evaluacin e investigacin: una distincin necesaria para la identidad de la evaluacin de programas. En Revista Espaola de Desarrollo y Cooperacin n 4, pginas 9 a 29. Madrid. Espaa. BUSTELO, M. (2001). La evaluacin de polticas pblicas de igualdad de gnero de los gobiernos central y autonmicos de Espaa: 1995-1999. Tesis Doctoral. Universidad Complutense. BUSTELO, M. (2002). Qu tiene de especfico la metodologa de evaluacin? en BAON, R. (comp), La evaluacin de la accin y de las polticas pblicas. Madrid, Daz de Santos.
BUTT, M., Modern Legal Drafting, Statute Law Review, vol. 23, No. 1, pp. 12-23, 2002. CRUZ vILLALN, P., Control de la calidad de la ley y calidad del control de la ley, Derecho Privado y Constitucin, No. 17, enero-diciembre, 2003, pp. 147-168. CAD (2002). Glossary of Key Terms in Evaluation and Results Based Management. Evaluation and Aid Effectiveness N 6. OECD. Pars. Francia. CIvANTOS CANTERO, M.v. y colaboradores (2006). Informe. Deteccin de necesidades de evaluacin en salud pblica. 2006-2007. Subdireccin General de Salud Pblica. Direccin General de Salud Pblica y Alimentacin. Consejera de Sanidad y Consumo de la Comunidad de Madrid. COMISIN EUROPEA (1999). Evaluating socio-economic programmes. En MEANS Collection. Lyon. Francia. CONSEIL SCIENTIFIQUE DE LEvALUATION (1996): Petit guide de levaluation des politiques publiques, Paris, la Documentation franaise, citado en GARDE ROCA, J.A. (2006): La evaluacin de polticas pblicas y su institucionalizacin en Espaa, en Papeles de Evaluacin, n 3, pg. 3. DALHER-LARSEN, P. (2007). Debemos evaluarlo todo? O de la estimacin de la evaluabilidad a la cultura de la evaluacin. En Evaluacin de polticas pblicas. mayo-junio 2007. n 836. ICE. Madrid. Pginas 93-104. DELGADO GODOY, L. Documentacin sobre gerencia pblica, Administracin de la Junta de Comunidades de Castilla-La Mancha, Tema 3. DEZ LPEZ, M.A. (2001). La evaluacin de la poltica regional: propuestas para evaluar las nuevas polticas regionales. Serie Tesis Doctorales. Universidad del Pas vasco. DGPOLDE (Direccin General de Planificacin y Evaluacin de Polticas para el Desarrollo) (2007). Manual de Gestin de Evaluaciones de la Cooperacin Espaola, Madrid. ESPINOZA, M. (1983): Evaluacin de Proyectos Sociales. Buenos Aires, Humanitas.
90
BIBLIOGRAFIA
FERNNDEZ BALLESTEROS, R. (2001). Evaluacin de programas. Una gua prctica en mbitos sociales, educativo y de salud. Sntesis Psicologa. Madrid. GARDE ROCA , J.A. y Vera F. (2005). La institucionalizacin de la Evaluacin de las polticas pblicas en Espaa. En Economistas. N 105. GLOSARIO (2005). Material docente del Magster en Evaluacin de Programas y Polticas Pblicas. Centro Superior de Estudios de Gestin, Anlisis y Evaluacin. Universidad Complutense, Madrid. GRANADO HIJELMO, I., La doctrina del Consejo Consultivo de La Rioja sobre tcnica legislativa entre 1996 y 2005. Disponible en Internet: http://www.ccrioja.es/cms/fileadmin/consejo/ESTUDIOS/Estudio_sobre_tecnica_legislativa.pdf GRAY, A., JENKINS, B. y SEGSWORTH, B. (eds) (1993): Budgeting, Auditing and Evaluation. Functions and Integration in Seven Governments. New Brunswick, NJ. Transaction Publishers. Grupo de Evaluacin de las Naciones Unidas (UNEG) (2005). Estndares de evaluacin en el Sistema de las Naciones Unidas. Grupo de Evaluacin de las Naciones Unidas (UNEG) (2005). Normas de evaluacin en el Sistema de las Naciones Unidas. HAARICH, S.N. (2006): Mejora en los sistemas de evaluacin. Desarrollo de la capacidad de evaluacin respondiendo a la nueva demanda de la poltica regional europea. Tesis Doctoral. Disponible en: http://descargas.cervantesvirtual.com/servlet/ SirveObras/01350519799915395534802/019034. pdf?incr=1 HIERRO, L., La eficacia de las normas jurdicas, Barcelona, Editorial Ariel, 2003. INAP (2008): Glosario de Trminos relacionados con el seguimiento y la evaluacin de las Polticas Pblicas, disponible en: http://www.navarra.es/home_es/Temas/ Administracion+Publica/Entidades+publicas/ Evaluacion+y+calidad/Evaluacion+y+Calidad/ Evaluacion+de+las+politicas+publicas/.
INAP (2008): Modelo de Pliego de Condiciones Tcnicas o Plan de trabajo para el seguimiento y evaluacin de las polticas pblicas de Navarra, disponible en: http://www.navarra.es/home_es/Temas/ Administracion+Publica/Entidades+publicas/ Evaluacion+y+calidad/Evaluacion+y+Calidad/ Evaluacion+de+las+politicas+publicas/. INAP (2008): Protocolo de Evaluabilidad de las polticas pblicas en la Comunidad Foral de Navarra, disponible en: http://www.navarra.es/home_es/Temas/ Administracion+Publica/Entidades+publicas/ Evaluacion+y+calidad/Evaluacion+y+Calidad/ Evaluacion+de+las+politicas+publicas/. INAP (2010): Cuaderno de gestin de Intervenciones Pblicas de Navarra, disponible en: http://www.navarra.es/home_es/Temas/ Administracion+Publica/Entidades+publicas/ Evaluacion+y+calidad/Evaluacion+y+Calidad/ Evaluacion+de+las+politicas+publicas/. KARPEN, U., Obligation to evaluate the effects of legislation on the exercise of fundamental rights y German Experience, en Evaluation of Legislation: Proceedings of the Council of Europes legal co-operation and assistance activities (2000-2001). LEEUW, F.L, RIST, R.C. y SONNICHSEN, R.C. (eds.). Can Governments Learn? Comparative Perspectivas on Evaluation and Organizacional Learning. Transaction Publishers. New Brunswick (USA). MADER, L., Evaluation of legislation contribution to the quality of legislation y Swiss experience, en Evaluation of Legislation: Proceedings of the Council of Europes legal cooperation and assistance activities (2000-2001). MAEC (2007). Manual de Gestin de Evaluaciones de la Cooperacin Espaola. Madrid. MARTINEZ, M. (2004). Diagnstico del contexto de la Evaluacin, mdulo 5, material del Mster de Evaluacin de Programas y Polticas Pblicas, UCM, Promocin 2004-2005.
91
BIBLIOGRAFIA
MERINO, M. (2007). La evaluabilidad: de instrumento de gestin a herramienta estratgica en la evaluacin de polticas pblicas. En Papeles de Evaluacin 7. Ministerio de Administraciones Pblicas. Agencia Estatal de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios. Madrid. MONIERE,E. (1995). Evaluacin de la accin de los Poderes Pblicos. Ministerio de Economa y Hacienda. Madrid MONTORO CHINER, M.J., Tcnica legislativa y evaluacin de las normas, Anuario jurdico de La Rioja, n 6-7, 2000-2001, pp. 155-172. MONTORO CHINER, M.J. La calidad de las normas, desafo al Estado de Derecho? El test de los proyectos de ley como sistema para mejorar la calidad de las leyes. Revista Espaola de Derecho Administrativo, n 48, 1985. Idem. Adecuacin al ordenamiento y factibilidad: presupuestos de calidad de las normas. Centro de Estudios Constitucionales, 1989. NIRENBERG, O., BRAWERMAN, J. Y RUIZ, V. (2000). Evaluar para la transformacin: innovaciones en la evaluacin de programas y proyectos sociales. Paids. OSS ABANDO, J., Evaluacin legislativa y Parlamento, Revista Debate, Ao VI, n 15, diciembre de 2008, pgs. 58-69. OSPINA BOZZI, S.(2000): Evaluacin de la gestin pblica: conceptos y aplicaciones en el caso latinoamericano, V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Santo Domingo, Rep. Dominicana, 24-27 octubre. OSUNA, J.L., MRQUEZ, C., CICERA, A. y VLEZ, C. (2000). Gua para la evaluacin de polticas pblicas. Instituto de Desarrollo Regional, Fundacin Universitaria, Sevilla. OSUNA, J.L. y VLEZ, C. (2005). Gua de planificacin y evaluacin para agentes de desarrollo local. Sevilla, Sevilla Siglo XXI. PALUMBO, D.J. (1987). The Politics of Program Evaluation, Beverly Hills, Sage.
PARDO FALCN, J. (coord) y PAU I VALL, F. (coord), La evaluacin de las leyes, XII Jornadas de la Asociacin Espaola de Letrados de Parlamentos, Tecnos, Madrid, 2006. PATTON, M.Q. (1997). Utilization-Focused Evaluation. The New Century Test. 3rd. ed. Thousand Oaks, Sage. RIST, R.C. (ed.) (1999): Program Evaluation and the Management of Government. Patterns and Prospects across Eight Nations. Paperback Eedition (First Edition 1990) New Brunswick, NJ. Transaction Publishers. RIST, R. C. (1999b): Managing of Evaluations or Managing by Evaluations: Choices and Consequences, en RIST, R.C. (ED.): Program Evaluation and the Management of Government. Patterns and Prospects across Eight Nations, p.3-17. RODRIGUEZ ESPINAR, S. (1998): El Proceso de la Evaluacin Institucional, en Revista de Educacin. Nm. 315, p. 45-65RODRGUEZ MONDRAGN, R., El proceso de produccin legislativa, un procedimiento de diseo institucional, en CARBONELL, M. y PEDROZA DE LA LLAVE, S.T. (coordinadores), Elementos de Tcnica Legislativa, IIJ-UNAM, 2000. Disponible en Internet: http://www.bibliojuridica.org/libros/libro.htm?l=21 Red de Evaluacin del Comit de Ayuda al Desarrollo (CAD) de la OCDE (2006). Estndares de Calidad de Evaluacin del CAD. ROSSI, P. Y FREEMAN, H. (1989) Evaluacin: un enfoque sistemtico para programas sociales. Trillas, Mxico. ROSSI, P.H.(1981): The Professionalization of Evaluation Research in the United States, en Levine, Robert A. et al. (eds.): Evaluation and Practice. Comparative and International Perspectives. P. 220-236 ROSSI, P.H., FREEMAN, H.E. y LIPSEY, M.K. (1999) Evaluation: A practical approach. Thousand Oaks, CA: Sage. RUTMAN, L. (1980). Planning useful evaluations. Evaluability assessment. Beverly Hills: Sage. SINZ MORENO, F. (coord) y DA SILVA OCHOA, J.C. (coord), La calidad de las leyes, Parlamento Vasco, Coleccin de Informes y Documentos, Vitoria-Gasteiz, 1989.
92
BIBLIOGRAFIA
SCRIVEN, M., (1967), "The Methodology of Evaluation", Perspectives on Curriculum Evaluation, AERA Monograph Series on Curriculum Evaluation, 1, Chicago: Rand McNally. (1991), Evaluation Thesaurus, Newbury Park: Sage. SHADISH, W.R., COOK, T.D. y LEVITON, L.C., (1991), Foundations of Program Evaluation. Theories and Practice. Londres. Sage. SMITH, M.F. (1989) Evaluability assessment: A practical approach. Norwell, MA: Kluwer. STAKE, R.E., (1986), Quieting Reform, Urbana/Chicago: University of Illinois Press. STUFFLEBEAM, D. y SHINKFIELD, A (1987): Evaluacin Sistemtica. Gua Terica y Prctica. Madrid, Paidos/ MEC STUFFLEBEAM, D.(2001): "Evaluation Models. San Francisco, Jossey-Bass. Sociedad Canadiense de Evaluacin (1996). Orientaciones para una actuacin tica. Sociedad Francesa de Evaluacin (2006). Carta de la Evaluacin de las Polticas Pblicas y de los Programas Pblicos. THE EVALUATION CENTER. List of Evaluation Glossary Terms. En lnea en: http://ec.wmich.edu/glossary/glossaryList.htm. TIANA FERRER, A., (1996): La Evaluacin de los Sistemas Educativos Revista iberoamericana de Educacin, 10: 37-61. UNDP (United Nations Development Programme) (1998): Capacity Assessment and Development in a Systems and Strategic management Context. Technical Advisory Paper No.3. New York, en HAARICH, S.N. (2006): Mejora en los sistemas de evaluacin. Desarrollo de la capacidad de evaluacin respondiendo a la nueva demanda de la poltica regional europea. Tesis Doctoral. Disponible en: http://descargas.cervantesvirtual.com/ servlet/SirveObras/01350519799915395534802/01 9034.pdf?incr=1.
VEDUNG, E. (1997). Evaluacin de polticas pblicas y programas. Ministerio de Trabajo y Asuntos Sociales. Instituto Nacional de Servicios Sociales. Madrid. Espaa. VLEZ, C. (2000): La evaluacin de las polticas pblicas en Andaluca: una realidad en proceso de gestacin. En Cuadernos Econmicos de Granada n 11: Estrategia y tcticas de desarrollo regional y convergencia econmica: urbanismo, coyuntura inmobiliaria y sistema financiero. enero del ao 2000. Pginas 53-68. VLEZ, C. (2003): La Evaluacin de las Polticas Pblicas en Espaa. En lnea, consultado el 19 de marzo de 2007 en http:// www.internationalevaluation.com. VLEZ, C. (2006): La evaluacin: un nuevo yacimiento de empleo en E-valuacin, Revista de la Sociedad Espaola de Evaluacin, n 3, diciembre. Sevilla. VLEZ, C. (2006): Spain: Sociedad Espaola De Evaluacin (SEE) en SEGONE, M. y OCAMPO, A. (Edit.). Creating and developing evaluation organizations: lessons learned from Africa, Americas, Asia, Australasia and Europe. Per, DESCO-UNICEF. ViAS, E.V. y A. OCAMPO (2006). Conceptos clave de seguimiento y evaluacin de programas y proyectos. Breve gua. PREVAL y FIDA. Per. WEISS, C.H., (1991): "Evaluation Research in the Political Context" en M.W. McLoughlin y D.C. Phillips, eds. WEISS, C.H. (1998): Evaluation. Methods for Estuding Programs and Policies. Second Edition. Uper Saddle River (NJ). Prentice may. WIESNER, E. (2000): Funcin de evaluacin de planes, programas, estrategias y proyectos, en CEPAL Serie Gestin Pblica, n 4, Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social (ILPES), Santiago de Chile. WHOLEY, J.S. (1987) Evaluability assessment: Developing Program Theory. San Francisco: Jossey Bass. WHOLEY, J.S. (1994) Assessing the feasibility and likely usefulness of evaluation. En J.S. Wholey, H.P. Hatry y K.E. Newcomer (eds) Handbook of Practical Program Evaluation. San Francisco: Jossey Bass.
93
BIBLIOGRAFIA
Regulacin. Leyes, normas, reglamentos.

ACUERDO de 20 de febrero de 2006, de Gobierno de Navarra, por el que se designa al Presidente de la Comisin Foral para la Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos ACUERDO de 8 de junio de 2006, de la Comisin Foral para la evaluacin de las polticas pblicas y de la calidad de los servicios pblicos, por el que se aprueba su Reglamento de funcionamiento. ACUERDO del 21 de noviembre de 2006, de la Comisin Foral para la evaluacin de las polticas pblicas y de la calidad de los servicios pblicos, por el que se regula el Registro de Evaluacin de las Polticas Pblicas y de la Calidad de los Servicios Pblicos. ACUERDO de 10 de octubre de 2008, de la Comisin Foral para la evaluacin de las polticas pblicas y la calidad de los servicios pblicos, por el que se recomienda a las Administraciones Pblicas de Navarra que utilicen el material de soporte elaborado por el INAP en materia de evaluacin y seguimiento de las polticas pblicas. ACUERDO de 10 de octubre de 2008, de la Comisin Foral para la evaluacin de las polticas pblicas y de
la calidad de los servicios pblicos, por el que se establece el sistema de comunicacin entre las Administraciones Pblicas de Navarra y la Comisin, a travs del INAP para el mantenimiento del Registro de Evaluacin de polticas y calidad de servicios. ACUERDO de 16 de marzo de 2010, de la Comisin Foral para la evaluacin de las polticas pblicas y de la calidad de los servicios pblicos, por el que se modifica la estructura del Registro de Evaluacin de Polticas Pblicas y de la Calidad de los Servicios Pblicos y se determina su contenido. DECRETO FORAL 117/2007, de 3 de septiembre, por el que se aprueban los Estatutos del Organismo Autnomo Instituto Navarro de Administracin Pblica. Este Decreto establece la creacin dEl Servicio de Calidad de las polticas y Servicios Pblicos. LEY FORAL 21/2005, de 29 de diciembre, de evaluacin de las polticas pblicas y de la calidad de los servicios pblicos. RESOLUCIN de 28 de julio de 2005, de la Subsecretara, por la que se da publicidad al Acuerdo del Consejo de Ministros, de 22 de julio de 2005, por el que se prueban las Directrices de tcnica normativa. Publicadas en el Boletn Oficial de Estado n 180, de 28 de julio de 2005, pginas 26878-26890.
94
Anexos
Consulta electrnica a los recursos y herramientas del sistema pblico de evaluacin de la Comunidad Foral de Navarra
Todo el material de soporte tanto de evaluacin de polticas pblicas como de calidad de servicios pblicos presentado en este documento, se encuentra disponible en el portal Web del Gobierno de Navarra. Teniendo en cuenta el carcter pblico de los mismos, se ofrece en este apartado anexo- un link desde el cual las personas interesadas podrn consultarlo.
http://www.navarra.es/home_es/Gobierno+de+Navarra/Organigrama/Los+departamentos/Presidencia+justicia+e+interior/Organigrama/Estructura+Organica/INAP/
95

El Sistema Publico de Evaluacion en Navarra 1

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

El Sistema Publico de Evaluacion en Navarra 1

Hochgeladen von

Copyright:

Verfügbare Formate

EL SISTEMA PBLICO DE EVALUACIN EN NAVARRA

LEY Y DESARROLLOS NORMATIVOS

El sistema pblico de evaluacin en Navarra

El Sistema Pblico de Evaluacin en Navarra

El Sistema Pblico de Evaluacin en Navarra

El Sistema Pblico de Evaluacin en Navarra

Objetivos de este documento

El Sistema Pblico de Evaluacin en Navarra

Definicin de un sistema pblico de evaluacin en Navarra

2.1.1. Origen y desarrollo de la evaluacin

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

2.1.2. La Sociedad Espaola de Evaluacin de Polticas Pblicas

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

Hitos en Navarra 2002 2004 2005 2007 2008

2.1.5. El concepto de institucionalizacin de la evaluacin

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

2.2.1. El interior de un sistema pblico de evaluacin (componentes bsicos)

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

DEFINICIN DE UN SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

El proceso de configuracin del sistema pblico de evaluacin en Navarra

Flexibilidad y capacidad para ser ampliable

El Sistema Pblico de Evaluacin en Navarra

EL PROCESO DE CONFIGURACIN DEL SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

EL PROCESO DE CONFIGURACIN DEL SISTEMA PBLICO DE EvALUACIN EN NAvARRA

FASE IV SISTEMA PBLICO DE EVALUACIN NAVARRO

APLICACIN DEL PLAN DE ACTUACIONES

Principios orientadores bsicos para la ejecucin de los trabajos en materia de evaluacin.

El Sistema Pblico de Evaluacin en Navarra

EL PROCESO DE CONFIGURACIN DEL SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

EL PROCESO DE CONFIGURACIN DEL SISTEMA PBLICO DE EvALUACIN EN NAvARRA

Nuevos ejes o marcos de actuacin? Ampliacin de los existentes?

EJE 1 MARCO NORMATIVO Desarrollos y acuerdos posteriores a la Ley Foral 21/2005

EJE 2 MARCO ORGANIZATIVO E INFRAESTRUCTURAS

EL PROCESO DE CONFIGURACIN DEL SISTEMA PBLICO DE EvALUACIN EN NAvARRA

El Sistema Pblico de Evaluacin en Navarra

EL PROCESO DE CONFIGURACIN DEL SISTEMA PBLICO DE EvALUACIN EN NAvARRA

3.3.2. Contenido del texto legislativo

El Sistema Pblico de Evaluacin en Navarra