Curso Seminario Internacional: Polticas Presupuestarias y Gestin Pblica por Resultados Santiago de Chile, 26 de Noviembre al 7 de Diciembre

Indicadores de Desempeo para las instituciones pblicas

Marianela Armijo

Consultora rea de Polticas Presupuestarias y Gestin Pblica

ILPES/CEPAL Marianela.armijo@cepal.org

EVALUACION DE LA GESTION
MEDICION DEL DESEMPEO FOCO DE LA EVALUACION
LOGRADO POR LAS INSTITUCIONES

ELABORACION DE MEDIDAS DE DESEMPEO

PUEDE ABARCAR TODO EL PROCESO DE PRODUCCION INSUMOS PROCESOS PRODUCTOS RESULTADOS

Indicadores de desempeo

Objetivos del uso de indicadores Qu son

De que tipo hay

Cmo se disean Que requisitos deben tener

OBJETIVOS USO INDICADORES

Induce mejoras en Informacin Fundamenta la discusin de Resultados Posibilita la Evaluacin Apoya el proceso de Formulacin de Polticas Facilita el establecimiento de Compromisos de Resultado

Uso de los indicadores y de la evaluacin en el Presupuesto

Indicadores ao n-1 y ao +1
Discusin Aprobacin

Indicadores de Ejecucin presupuestaria, Procesos Ejecucin

Formulacin

Evaluacin de Inversiones

Planificacin Programacin

Evaluacin Indicadores Evaluaciones Complementarias

Evaluacin de Impacto Evaluacin de Programas

INFORMES

Retroalimentacin Para la toma de decisiones

Rendicin de Cuentas

Gobierno Sectores/ Ministerios Jerarcas

Asamblea Legislativa rganos de Control

INDICADORES DE DESEMPEO
Que indica o sirve para indicar

Del latn Indicare, significa: Mostrar o significar algo, con indicios y seales
Real Academia de la Lengua

INDICADORES DE DESEMPEO
Es una herramienta que entrega informacin cuantitativa respecto del logro o resultado en la entrega de productos (bienes o servicios) generados por la institucion, cubriendo aspectos cuantitativos o cualitativos.

Indicadores: que miden

Un indicador establece lo que ser medido a lo largo de varias escalas o dimensiones, sin especificar un nivel determinado de desarrollo. Indicador es una parte del problema
Niveles esperados de desempeo o metas a lograr son otra parte.

Ejemplo
Indicador
Porcentaje de ingresos marginales, derivados de recaudacin 2007 Nmero de das Promedio en entrega De pensin

Nivel de desempeo
(Meta del indicador)
5%

180

Metas

Pasos bsicos para la construccin de los indicadores

Tener claro lo que quiero medir: Productos Objetivos estratgicos como referencia para establecer la medicin.

Identifico las reas de desempeo: Eficiencia, Eficacia, Calidad, Economa (Insumo, Producto, Proceso, Resultado Intermedio, Resultado Final) Formulo el indicador para medir el producto u objetivo Describo la frmula de clculo. Establezco la lnea base. Establezco las metas o el valor deseado del indicador. Periodicidad de la medicin Sealo la fuente de informacin.

Tipos de Fichas para monitoreo de indicadores de desempeo y su integracin al presupuesto Chile, Costa Rica, Uruguay, Mxico, Colombia, Brasil

CHILE: MATRIZ DE INDICADORES (*)

Producto relevante (bien y/o servicio) al que se vincula

Indicador de Desempeo

Informacin Histrica Estimacin Meta

Frmula de clculo 1998 1999 2000 2001 2002

Programa/ Subttulo/ tem/ Medios de verificacin asignacin

Eficacia

Eficiencia

Economa

DIMENSIONES DEL DESEMPEO

Calidad

(*)

Indicadores de Desempeo. www.dipres.cl

COSTA RICA
Productos Objetivos Estratgicos
Indicador (Producto, Resultado Intermedio , Resultado Final) Eficacia, Eficiencia, Calidad, Economa Frmula

Desempeo histrico

Metas del Indicador

Usuarios

Monto Estimacin Recursos Presupuestarios (millones de colones) 2007 Mo nto FF 2008 M o nt o FF

Fuen te De Dato s

Observacione s

Lnea Base

Direccin Administr ativa Financier a, RRHH

Contar con el personal profesionaliza do y comprometido con altos estndares de calidad

Porcentaje de centros PANI que cuentan con siclogos capacitado s en tratamient o de nios

Total de Centros que cuenta n con psicolo gos capacit ados/ Total de Centros

2005 10%

2006 15%

2007 15%

2008 30%

2009 50%

2010 60%

El financiamiento es a travs de transferencia de Ministerio de Trabajo

Supervi sin y Control

Alcanzar altos estndares de calidad de los Centros de atencin.

Porcentaje de Centros Supervisad os anual

Total
Centros supervis ados/ Total Centros
Total Centros con estndar /Total Centros

Centros Supervisados a Nivel Nacional

Porcentaje de Centros que cumplen con estndares de calidad

Los estndares de calidad estn certificados por norma ISO 9000

INDICADORES DE DESEMPEO (*)

AMBITOS DE CONTROL
PROCESO D I M EFICACIA E N EFICIENCIA S I ECONOMA O N CALIDAD E S PRODUCTO RESULTADO

TIPOS DE INDICADORES

Indicadores que entregan informacin del desempeo desde el punto de vista de la actuacin pblica en la generacin de los productos:

Indicadores desde el punto de vista del

desempeo de dichas actuaciones en las dimensiones:

Insumos (Inputs) Procesos o actividades Productos (outputs) Resultados finales (outcomes)

Eficiencia Eficacia, Calidad Economa.

Resultados Intermedios:

RESULTADOS

cambios en el comportamiento o estado o certificacin de los beneficiarios una vez recibidos los bienes o servicios.
Alumnos egresados del nivel de enseanza media Hectreas explotadas Crecimiento de la recaudacin en portal de pagos

Resultados Finales o Impacto:

Resultados a nivel de fin de los bienes y servcios entregados, significan un mejoramiento en las condiciones objetivas de la poblacin objetivo.

nivel de nutricin-desnutricin nivel de competencias e ingresos laborales tasa muerte por accidentes en las carreteras niveles de exportaciones
Aumento de ingresos tributarios

RESULTADO FINAL O IMPACTO (OUTCOME)

Cmo estn cambiando las

condiciones que estamos interviniendo?

Cuntas unidades de
PRODUCTO (OUTPUT)

productos y servicios estamos generando?

Con qu rapidez lo estamos haciendo? Cuanto nos cuesta? Cuntos recursos invertimos, cuanto personal trabaj en el proceso?

PROCESO

INSUMO (INPUTS)

EJEMPLOS
Indicador de Producto Indicador de Resultado Intermedio
Indicador de Resultado Final

N de nios matriculados en Educacin preescolar pblica/N de nios entre 3 a 6 aos del pas

Porcentaje de nios de 3-6 aos matriculados que logran terminar la enseanza preescolar

Porcentaje de nios que terminan preescolar logran Manejo de habilidades bsicas en lecto escritura

Porcentaje de padres y madres satisfechos con la educacin impartida

PRODUCTO

RESULTADO INTERMEDIO
Tasa anual de variacin de reclusos con contrato de trabajo

RESULTADO FINAL O IMPACTO

Porcentaje de desempleo da poblacin reclusa aprobada

Porcentaje de reclusos participando en el programa de reinsercin/Total poblacin reclusa potencialmente beneficiaria del Programa

Talleres de capacitacin realizados/Talleres de capacitacin programados

Participantes que consiguen certificarse /Total de participantes

(Produtividad de los participantes ao t Productividad participantes ao t1/Produtividad participantes ao t-1)*100

EFICACIA

Indicador de eficacia: nos dice acerca del grado de cumplimiento de los objetivos de la organizacin, sin referirse al costo de los mismos. Por esta razn podemos obtener indicadores de eficacia, tanto de los productos (outputs), o bien de los resultados ya sea intermedios o finales (impactosoutcomes)

CONCEPTOS
EFICACIA

RESULTADO (% RESULTADO LOGRADO EXITOSAMENTE RESPECTO REALIZADO-SOLICITADO) FOCALIZACION (LOGRADO RESPECTO DEL UNIVERSO) COBERTURA ( LOGRADO RESPECTO DE LA DEMANDA POSIBLE) IMPACTO (LOGRADO RESPECTO DEL PROBLEMA QUE SE QUIERE ATACAR)

EFICACIA (Cobertura)/Producto
PORCENTAJE DE AREA DE CULTIVO INCLUIDA EN EL PROGRAMA

Area de cultivo incluida en el

Programa

Area Total del Programa

de Cultivo

Direccin General de Servicios Agrcolas . Uruguay

COBERTURA DE CONTROL DE EMISIONES DE LOS BUSES INTERURBANOS Controles de emisiones de Buses Interurbanos Total de Buses Inter urbanos

Subsecretaria de Transportes Chile

PORCENTAJE DE RECLUSOS INCLUIDOS EN PROGRAMA DE ACTIVIDAD INDUSTRIAL

Reclusos con actividad industrial

Direccin Nacional de Crceles Uruguay

Total de reclusos

PRODUCTO

RESULTADO INTERMEDIO
Tasa anual de variacin de reclusos con contrato de trabajo

RESULTADO FINAL O IMPACTO

Porcentaje de desempleo de poblacin reclusa aprobada

Porcentaje de reclusos participando en el programa de reinsercin/Total poblacin reclusa potencialmente beneficiaria del Programa

Talleres de capacitacin realizados/Talleres de capacitacin programados

Participantes que consiguen certificarse /Total de participantes

(Produtividad de los participantes ao t Productividad participantes ao t1/Produtividad participantes ao t1)*100

EFICIENCIA

Indicador de eficiencia: costo por unidad de servicio o bienes provistos; o productividad de un input, son tiles en evaluar los costos relativos y productividad que diferente mtodos de servicio entregan o la produccin de bienes. Los indicadores de eficiencia pueden expresarse como costo por producto, o unidades por insumo, o costo por resultado.

EFICIENCIA

Describe la relacin entre dos magnitudes:

La produccin fsica de un producto (bien o servicio) y Los insumos o recursos que se utilizaron para alcanzar ese nivel de produccin

Mayor cantidad de servicios dado el mismo nivel de recursos Alcanzar un determinado nivel de servicios utilizando la menor cantidad de recursos posible

Ejemplos de Indicadores de Eficiencia

EFICIENCIA
EFICIENCIA-Producto Medio Nmero de inspecciones/nmero de inspectores Nmero de expedientes resueltos por semestre/dotacin de personal en la tarea Nmero de inspecciones al transporte de pasajeros/personal que participa en la tarea Nmero de consultas/nmero de mdicos

Calidad
Capacidad de la institucin por responder en forma consistente, rpida y directa a las necesidades de los usuarios A) Mediciones Indirectas. Mejorar los atributos y caractersticas de los productos. B) Mediciones Directas. Grado de satisfaccin de los usuarios.

CALIDAD
Calidad-Tiempo de respuesta
Tiempo de espera media para atender una consulta

Direccin General de Salud Tiempo de tramitacin media de solicitudes mineras Direccin General de Geologa e Minas
Tiempo medio para o estudio de cada Plan de Reforestamiento Direccin General de Recursos Naturales Dias de demora media de trmites de legalizacin Direccin General de Secretara

CALIDAD
Calidad- Satisfaccin de usuarios
Porcentaje de aprobacin Encuesta de opinin a los usuarios Direccin Nacional de Registos
Porcentaje de reclamos/casos atendidos Direccin Nacional de Topografa Asuntos resueltos/ Nmero de servicios reclamados Subsecretaria de Ministerio de Educacin y Cultura Nmero de servicios reclamados/nmero total de servicios Hospital de Montevideo

INDICADORES DE CALIDAD
Oportunidad Accesibilidad Percepcin usuarios de Precisin

Porcentaje de respuestas a los Parlamentarios dentro de los lmites acordados.

Nmero de localidades cubiertas por atenciones mviles

Porcentaje de aprobacin excelente de los talleres de trabajo, por los participantes

Porcentaje contratos terminados errores

de por

Porcentaje de reportes econmicos entregados en tiempo acordado

N de horas que la Biblioteca est abierta fuera de las horas de trabajo

Porcentaje de usuarios satisfechos

N de usuarios satisfechos/ Total usuarios encuestados N de usuarios Satisfechos con el trato en la atencin/ Total usuarios

Nmero de fallas reales/ Fallas programadas

Nmero de intervenciones con retraso/ Nmero de intervenciones totales

Porcentaje de Poblacin con necesidades especiales que son miembros activos de la Biblioteca

Porcentaje de contratos con uno o ms errores encontrados por revisiones externas

ECONOMIA

Indicador de economa: mide la capacidad de de la institucin para movilizar adecuadamente sus recursos financieros para lograr el cumplimiento de sus objetivos

Porcentaje de recuperacin de crditos de corto plazo Gasto de actividades de apoyo/gastos totales Aporte de beneficiarios a financiamento/Monto total de inversin del programa Gasto de funcionamento/gastos ejecutados totales Recuperacin de cobranza/Facturacin

ECONOMIA
Porcentaje de recuperacin de crditos de corto plazo Gasto de actividades de apoyo/gastos totales

Aporte de beneficiarios a financiamento/Monto total de inversin del programa

Gasto de funcionamento/gastos ejecutados totales Recuperacin de cobranza/Facturacin

INSUMO

PROCESO

PRODUCTO

RESULTADO INTERMEDIO

RESULTADO FINAL
HAY ALGUNA MEJORIA

CUANTOS RECURSOS OCUPAMOS

CUAN BIEN LO HACEMOS

QUE HACEMOS

COMO CAMBIAN LOS COMPORTAMIENTOS DE LA VARIABLE, USUARIOS Porcentaje de viviendas con estndares de calidad en la normal Porcentaje de viviendas con entorno urbano mejorado

COMO CAMBIAN LAS CONDICIONES INICIALES

I N D I C A D O R E S T I P O

Costos planilla Costos unidades de productos Nmero de funcionarios Licitaciones realizadas Actividades

Costo por vivienda Costo por kilmetro construido Tiempo de respuesta inspecciones Gasto administrativo/ Gasto Total Gasto Ejecutado/Gasto programado

Nmero de viviendas Kilmetros construidos Inspecciones realizadas

Disminucin del dficit habitacional Provincia X Porcentaje de usuarios que reciben vivienda declaran satisfaccin por calidad y entorno

Insumos Inptus

Eficiencia Calidad Economa

Eficacia (Cobertura, Focalizacin) Calidad

Eficacia (Cobertura, Focalizacin) Eficiencia Calidad

Eficacia Eficiencia Calidad

U S O I N F.

Sistema de Informacin Interna Entidades Contralora

Presupuesto
(Productos Finales) Sistema de Informacin Interna (Productos Intermedios)

Presupuesto
Sistema de Informacin interna (Productos intermedios, Productos finales, no relacionados con O.Estratgicos)

Presupuesto Sistema de Informacin Directivo

Presupuesto Sistema de Informacin Directivo ORGANISMO DE PLANIFICACION

CONSTRUCCION DE FORMULAS

DEFINIR LAS FORMULAS O ALGORITMOS

A) BASES DE COMPARACIN:
Sirve para medir cobertura lograda, cumplimiento programado, cumplimiento solicitado Lo que se hace
N de usuarios atendidos

Lo que debe hacerse

N de usuarios por atender

N de certificados emitidos

N Certificados solicitados

Monto inversin ejecutada

Monto asignado para inversin

EJEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO

LO PROGRAMADO, COMPARACION RESPECTO DEL OBJETIVO DEFINIDO

Porcentaje de vas navegables ya habilitadas Frmula de clculo

Vas navegables habilitadas ao t/ Vas navegables programadas ao t

1999 s/d

2000 s/d

2001 (120/143)*100 83,9%

FORMULAR ALGORITMOS B) DEFINICIN DE RATIOS

Sirve para medir Costos medios, producto medio, indicadores de eficiencia Costos medios: Costo total consultas/ consultas realizadas

Producto medio: N inspecciones realizadas/ N inspectores

EJEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO

TASA DE VARIACION
Porcentaje de aumento del parque informtico de la Unidad Ejecutora y su conexin en red Frmula de clculo:
[(Equipos incorporados y conectados en el ao t/ equipos conectados ao t-1) -1] *100 1999 53 2000 71 2001 96

33,9%

35,2%

EJEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO Tiempo mximo de respuesta de tramitacin

Frmula de clculo:
1999
Sumatoria de Nde das de Tramitacin/Nde tramitaciones Realizadas

2000

Meta

18das 30das 25das

(das)

ESTABLECER REFERENTES COMPARATIVOS

BASES DE COMPARACION:

DESEMPEO HISTORICO OBJETIVOS DEFINIDOS DESEMPEO LOGRADO EN INSTITUCIONES SIMILARES, PROCESOS O PROGRAMAS.

RECOPILAR LA INFORMACION NECESARIA PARA LA CONSTRUCCION DE INDICADORES Y CONSTRUIR SISTEMAS DE INFORMACION

TIPOS DE INFORMACION

Informacin contable-presupuestaria

Estadsticas de produccin fsica, cargas de trabajo del personal Encuestas, estudios especiales
Benchmarking,etc

Validar los indicadores

Cmo seleccionar los indicadores

Por su relevancia para el cumplimiento de los objetivos de la institucin

Por la importancia de la variable medida para mejorar el desempeo a partir de la evaluacin

Por la disponibilidad de datos que tengo

Por la capacidad de controlar el desempeo

Requisito a validar SI/ NO Se relaciona el indicador con el objetivo al cual est vinculado? Se relaciona el indicador con el producto al cual est vinculado? Se relaciona el indicador con la misin de la Institucin/ Programa? Es importante el indicador para la institucin? El indicador tiene claramente una meta o referente para ser medido su resultado El resultado del indicador explica de forma precisa y clara el grado de cumplimiento de la meta o el resultado es ambiguo Muestra o expresa el indicador de forma clara el resultado para poder ser analizado por el responsable

Cuestionario validacin de indicadores

Se ha definido la frecuencia de medicin del indicador?

La unidad de medicin es adecuada para la meta que se espera medir?

Es posible recopilar datos confiables y precisos para este indicador? El resultado de este indicador podra estar condicionado solo por factores internos? Est la informacin de este indicador disponible y accesible a los interesados? (interesados internos y externos, el publico en general, etc.) El indicador fue elaborado en forma participativa? (liderazgo y personal de la institucin y el programa, grupos de inters pblicos, etc.) Es importante el indicador para el usuario?

Muestra o expresa el indicador de forma clara el resultado para poder ser analizado por los interesados externos a la institucin?

Evitar indicadores que generen incentivos perversos

Aumento en los porcentajes de recaudacin por multas a contribuyentes evasores Puede incentivarse a destinar mayores recursos de los necesarios a las acciones de fiscalizacin en reas donde las multas sean ms onerosas; desestimando otros que tienen mayor importancia desde el punto de vista de la economa, la competencia, la seguridad para los usuarios, calidad de los productos, etc.

Evitar indicadores que generen incentivos perversos

Porcentaje de detenciones por delitos Puede incentivarse una accin represiva no acorde con la situacin delictiva, o destinar recursos extras para la represin del delito, dejando otras acciones preventivas, etc)

Evitar indicadores que generen incentivos perversos

Disminucin de tiempos de respuestas, sin llevar asociado una meta de calidad del producto entregado.

Nmero de fallos judiciales en un tiempo X., puede implicar que el juicio no se ajuste a derecho, que los fallos sean inapropiados, generando problemas de seguridad, reincidencia, etc)

INTEGRALIDAD DE LA MEDICION
Aumentar la cobertura del programa de raciones a un 55% de la poblacin escolar. Llegar a un costos promedio de $5 Alcanzar1000 caloras por racin

INDICADOR DE EFICACIA

INDICADOR DE EFICIENCIA Costo promedio de las raciones: gasto total programa / nmero de raciones

INDICADOR DE CALIDAD * Caloras por racin. * Porcentaje de aceptacin de los escolares (encuesta)

Poblacin escolar en programa / poblacin escolar total

Indicadores que permitan medir continuamente (ao a ao) variables relevantes en el cumplimiento de la misin y de inters para la ciudadana

Tasa de escolaridad Porcentaje de recaudacin de impuestos Porcentaje de vas en buen estado Porcentaje de delitos contra la propiedad Porcentaje de plagas bajo control Porcentaje de fallos favorables Tiempo de respuesta

Indicadores confiables y verificables

Que puedan estar sostenidos en bases de datos confiables y auditables

Que permitan establecer supuestos para los aspectos no controlables por la institucin que pueden alterar la meta