1

1.1
1.1.1

Anlisis multicriterio
Por qu utilizar esta herramienta en evaluacin?
Objetivos

El anlisis multicriterio se utiliza para emitir un juicio comparativo entre proyectos o medidas heterogneas. En el mbito de la evaluacin, el anlisis multicriterio se emplea especialmente en evaluaciones ex ante, ms concretamente en la definicin de opciones estratgicas de intervencin. En el mbito de las evaluaciones ex post, el anlisis multicriterio puede contribuir a la evaluacin de un programa o de una poltica valorando los efectos de las acciones realizadas con respecto a varios criterios.

1.1.2
1.1.2.1

Utilizaciones posibles en evaluacin de pas

En evaluacin ex ante o intermedia Evaluar la capacidad de diversas acciones de un programa para alcanzar un determinado objetivo. Este trabajo puede realizarse para registrar las valoraciones sobre su eficacia por parte de responsables y beneficiarios. Estructurar las valoraciones de los responsables proyecto o de programa sobre acciones en curso. de

El anlisis multicriterio puede servir para:

Discutir sobre el contenido de los programas y las asignaciones de los recursos entre acciones durante la elaboracin de las estrategias y los programas. En evaluacin ex post

1.1.2.2

En terceros pases, la introduccin de este tipo de anlisis en reas como la lucha contra la pobreza, el mantenimiento de la seguridad, el control de la inmigracin o el desarrollo del comercio sera sin dudad de utilidad para formular juicios sobre esas estrategias complejas.

1.2
1.2.1

Cmo aplicar el anlisis multicriterio?

Condiciones para su utilizacin

El tiempo y el coste que puede requerir un anlisis multicriterio de alto nivel pueden llegar a ser poco compatibles con los plazos y presupuestos asignados habitualmente a este tipo de tareas en evaluacin. Los anlisis multicriterio que pueden articularse en una evaluacin de pas deben limitarse a la comparacin de acciones sencillas y a partir de criterios limitados. Fig. 1 Etapas de la aplicacin del anlisis multicriterio

1 2 3 4 5 6 7 8

Determinar el mbito de aplicacin e identificar la lgica de intervencin. Designar al grupo (o a los grupos) de negociacin o de juicio. Designar al equipo tcnico que colaborar con el grupo de juicio. Elaborar la lista de acciones que se incluirn en el anlisis multicriterio. Identificar y seleccionar los criterios de juicio. Determinar el peso relativo de cada criterio. Juicio por criterio. Agregacin de los juicios.

1.2.2

Etapa 1: determinar el mbito de aplicacin e identificar la lgica de intervencin

En el contexto de la evaluacin, el anlisis multicriterio no se suele emplear para el conjunto de los temas objeto de estudio. Cuando el equipo de evaluacin ya haya determinado el mbito de aplicacin del anlisis, es importante tener presente el marco lgico de la intervencin o, si no existe, definirlo.

1.2.3

Etapa 2: designar al grupo de juicio

El anlisis multicriterio se basa en puntuaciones y en la seleccin por preferencias que efectan las personas que van a formar el grupo de juicio. Para formar dicho grupo, el equipo de evaluacin puede realizar la seleccin entre los actores a los que atae el programa o entre delegados de estos actores. En general, se suele elegir a los miembros del grupo en esta ltima categora, con vistas a limitar los riesgos de incompetencia y facilitar la identificacin de estas personas.

1.2.4

Etapa 3: seleccin del equipo tcnico

La funcin del equipo tcnico es apoyar al grupo de juicio. Est formado por las siguientes personas: El coordinador. El ayudante tcnico. Es la persona que domina perfectamente el funcionamiento de los programas necesarios para realizar determinados anlisis multicriterio. Los expertos encargados de recopilar datos para el grupo de negociacin con vistas a completar la informacin conforme se avanza en el ejercicio.

1.2.5

Etapa 4: elaboracin de una lista de las acciones que se van a comparar

Segn sean sus objetivos, el anlisis multicriterio ayudar a comparar: Escenarios o soluciones potenciales en un ejercicio de planificacin o de evaluacin ex ante. Alternativas de un proyecto de infraestructura. Acciones ejecutadas en el marco de un programa.

El final de esta cuarta etapa consistir en la elaboracin de una lista de las acciones, escenarios o alternativas que se incluirn en el anlisis.

1.2.6

Etapa 5: identificar criterios de juicio

seleccionar

los

Se trata de una etapa central del anlisis multicriterio. Las reglas bsicas para establecer los criterios de juicio pueden resumirse de la siguiente forma:

Los criterios deben definirse antes de realizar el anlisis, a partir de unas reglas que todos los participantes conozcan y acepten. Deben contemplar todos los puntos de vista expresados por los miembros del grupo. No deben ser redundantes entre s. Deben formar un conjunto coherente que conduzca a resultados plausibles e indiscutibles. Por ejemplo, si una empresa busca contratar a un empleado de determinado nivel, el equipo directivo puede utilizar los siguientes criterios: Superacin de un examen. Valoracin de la motivacin y de la experiencia del candidato mediante una entrevista de trabajo. Nivel de salario solicitado por el candidato. Los criterios no son redundantes, aunque probablemente exista cierta relacin entre el salario solicitado y el grado de experiencia del candidato. Los criterios son coherentes, es decir, si dos candidatos obtienen la misma puntuacin en dos de los tres criterios, el tercero permitir el desempate sin que pueda haber reclamacin.

1.2.7
1.2.7.1

Etapa 6: determinar el peso relativo de los criterios

Mtodos de ponderacin de los criterios

Una de las reglas del anlisis multicriterio consiste en ponderar estos criterios para valorar su importancia relativa a los ojos de los actores. En el caso de la enseanza media, los coeficientes asignados a las materias durante la evaluacin de los alumnos constituiran un ejemplo sencillo de ponderacin de los criterios. Se han desarrollado diferentes mtodos de ponderacin que ayudan a formalizar estas ponderaciones (utilizacin de coeficientes, mtodo del juego de cartas).

1.2.7.2 Establecimiento de umbrales de veto, indiferencia y preferencia Determinados criterios pueden tener tanta importancia que requieran un tratamiento distinto de los dems. Es el caso de los criterios en los que puede introducirse la nocin de umbral de veto (algunos de los cuales corresponden a exigencias normativas). La definicin de umbrales de preferencia y de indiferencia es tambin digna de consideracin, especialmente en anlisis largos y complejos. Si los umbrales de preferencia e indiferencia no se definen claramente, dos actores con opiniones muy similares pueden clasificar dos acciones uno al mismo nivel y otro a niveles distintos. 1.2.7.3 Test de sensibilidad

Este test consiste en la observacin del efecto de las modificaciones de los parmetros elegidos por el grupo sobre los resultados del anlisis.

1.2.8
1.2.8.1

Etapa 7: juicio por criterio

Estudio del impacto de las acciones

Se trata de intentar asignar valores a los impactos de cada accin en relacin con el criterio. Esta evaluacin puede ser cuantitativa, pero tambin cualitativa. Fig. 2 Tabla con los resultados del estudio de los impactos de las acciones en relacin con los criterios

Criterio
Nmero de empleos directos creados Impacto paisajstico Riesgo de oposicin de los habitantes 1.2.8.2

Accin A
120 Fuerte Mayor que en B

Accin B
220 Moderado Menor que en A

Puntuacin y juicio de las acciones por criterio

El juicio es emitido por el grupo, mientras que el estudio de impactos puede ser realizado previamente por especialistas en el tema objeto de estudio. El objetivo de esta fase es llegar a otorgar a cada accin una puntuacin por criterio. Gracias a estas calificaciones se pueden comparar, por un lado, las acciones entre s y, por el otro, las opiniones entre los distintos actores respecto de una misma accin.

1.2.9

Etapa 8: agregacin de los juicios

Se trata de un punto crucial del anlisis, y no precisamente el ms sencillo. Primero hay que comprobar que los juicios se expresan de forma homognea (p. ej., se prefiere tal superficie para la realizacin de una obra aunque sta sea ms reducida). Sin embargo, es importante comprobar si diversas maneras de dirigir la operacin conducen a resultados similares o, por el contrario, exageradamente dispares (p. ej. una accin que ocupe el primer lugar en una matriz y el ltimo en otra tan solo modificando una escala en un parmetro). Existen distintos mtodos de agregacin de juicios: la suma ponderada, el producto ponderado, las relaciones de superacin, etc. Independientemente de los mtodos elegidos para la realizacin de los clculos y agregaciones, con el anlisis multicriterio se llega a una tabla (o varias) de valoracin que permite sintetizar los resultados obtenidos por accin respecto de cada criterio (y eventualmente respecto de cada actor). Si se trata de un trabajo en el marco de un consenso de grupo o si se manejan criterios con pesos idnticos para todos (por ejemplo,

para los profesores en la calificacin de los alumnos), la tabla de valoracin representa el resultado del anlisis multicriterio.

1.3

Qu recursos se necesitan?
El anlisis suele llevar bastante tiempo, excepto en situaciones muy sencillas o para recopilar opiniones a posteriori. En las situaciones ex ante de ayuda a la decisin, los anlisis multicriterio suelen durar varios meses. El anlisis multicriterio implica la contribucin de varias categoras de actores: el grupo de negociacin/juicio, el coordinador, el ayudante tcnico y los expertos. En el mbito de la evaluacin ex ante, el anlisis multicriterio puede resultar duro y alcanzar una amplitud comparable a la de los realizados en el mbito de la ayuda a la planificacin.

Fig. 3 Recursos necesarios En tiempo

Humanos

Econmicos

1.4

Cules son las ventajas y los lmites de esta herramienta?

Fig. 4 Ventajas y lmites

Ventajas

Utilidad para complejas.

simplificar

situaciones

Las bases sobre las que se realiza la seleccin de los criterios y la puntuacin de los resultados son a menudo sencillas, comprensibles y determinadas por el grupo que conduce el anlisis. El mtodo racionaliza conduce a las decisiones. el proceso que

El mtodo constituye una herramienta de negociacin de gran utilidad en las discusiones entre los usuarios.

Lmites

Dificultades operativas para seleccionar las acciones o alternativas a estudiar, para definir los criterios de comparacin y elaborar las tablas de puntuacin. Falta de datos fiables en el plazo necesario para establecer y validar los mtodos. Los anlisis multicriterio suelen basarse en procesos prolongados e iterativos, que pueden requerir un importante y largo perodo de negociacin. Los mtodos matemticos de agregacin de datos requieren la cualificacin adecuada. El anlisis multicriterio puede considerado como un mtodo subjetivo. ser

1.5

Listas de control

Lista de control para los evaluadores

Se ha delimitado de forma clara el campo del anlisis? Se ha constituido un grupo representativo de las distintas posturas respecto del objeto de anlisis? La lista de las alternativas que debe comparar el anlisis multicriterio ha sido validada por los beneficiarios y por los expertos en el rea en cuestin? Se ha explicado claramente a los miembros del grupo el contenido de cada alternativa? Se ha verificado la coherencia del sistema de criterios? Estn representadas todas las familias de criterios habituales (econmicos, medioambientales, sociales y polticos)? Se han explicado correctamente a los miembros del grupo las reglas para la elaboracin de la lista de los criterios de evaluacin? Los tests de sensibilidad de la totalidad del sistema de criterios han sido concluyentes? Se han evitado los posibles sesgos relativos a la agregacin de los juicios? matemticos

Cada uno de los miembros del grupo ha podido emitir su juicio de forma independiente?

Lista de control para los gestores

Se ha justificado el recurso al anlisis multicriterio mediante la identificacin de una pregunta de evaluacin? Era el grupo constituido para el anlisis representativo de todos los actores a los que atae el proyecto? Los tests de sensibilidad de la totalidad del sistema de criterios han sido concluyentes? Se ha realizado una tabla de valoracin? Se ha podido obtener el resultado esperado del anlisis de manera lo bastante fiable para ser til a la evaluacin?