Enfoques alternativos al EML

Maria Angeles Dez

Escuela U. de Relaciones Laborales
Universidad del Pas Vasco
1

GUIN DE LA SESIN

1. Introduccin
2. De los marcos lgicos a los marcos
sociales

3. Las teoras de cambio

4. La evaluacin realista

5. Enfoques sistmicos
2

Introduccin

Relaciones causales: tipos

1. Causalidad lineal
a) X

2. Causalidad
generativa

d)
b)

Z
X

c)

Z
X

Y
Marcos lgicos

Teoras de cambio
Evaluacin realista

1. Causalidad lineal
En trminos formales:
Si X, entonces Y: X
Y
Unos supuestos de partida (hiptesis) y unas
explicaciones de los mecanismos que
conducen desde A hasta B.

Modelos del marco lgico

5

Ejemplo: un programa de
mejora de la salud

2. De los marcos lgicos a los marcos

sociales
Fuente: Davies, Rick. Diversos materiales extrados de la web:
http://mande.co.uk/special-issues/network-models/

Un marco social (social framework) es

Un formato para describir una senda de cambio o influencia

esperada a travs de una red amplia de personas, grupos y

organizaciones.

Un Marco Lgico rediseado donde los procesos de cambio no son

simples acontecimientos abstractos, sino que son entendidos como

procesos centrados sobre los actores y sus relaciones.

Una forma de sintetizar la teora de un programa de desarrollo de

manera que pueda ser evaluada y explicada de manera fcil a los

dems.

Una visin del desarrollo en red, donde el cambio puede tener

lugar de manera simultnea en diferentes sitios y en las relaciones

entre diferentes atores.
Capturar relaciones complejas donde operan diferentes actores
y los cambios se producen a diferentes niveles: REDES
8

Qu es una red?
Una red es una coleccin de personas y/o cosas que estn
conectadas unas a otras por algn tipo de relacin:

de
de
de
de

transmisin e intercambio de informacin,

dinero,
bienes y servicios,
influencia,

Ejemplos:

Una red de donantes internacionales apoyando a ONGs de un pas.

Una red de ONGs dentro del pas que colaboran o compiten.
Dentro de una ONG, una red de personal directivo y tcnico que estn
conectados formal o informalmente.
Una red de donantes y ONGs trabajando en una cuestin de inters
comn.

Las redes pueden describirse utilizando matrices que pueden ser

convertidas en diagramas de flujos.

Representando redes
MATRIZ

DIAGRAMA DE
FLUJOS

La matriz y el diagrama representan con que frecuencia los actores se relacionan

entre s. Esta simple representacin sirve para conocer si hay agrupamientos de
relaciones (clusters), si hay ONGs aisladas o, por el contrario, ONGs centrales.

10

Describir las relaciones

Existencia de una relacin: presencia o ausencia.
Tipo de relacin: categoras de relaciones que se consideran de

inters.
Frecuencia de la interaccin: utilizando un nmero de
interacciones en un periodo de tiempo o indicando el % de tiempo
que cada actor dedica a esa relacin.
Valor de la relacin: descrita mediante un ranking de importancia
relativa o prioridad.
Detalles de la relacin: en matrices que en sus celdas contienen
informacin descriptiva de la relacin.
Describir la posicin de un actor en la red: centrality, in-degree, out-degree,

betweenness, closeness.
Similaridades en la posicin: reciprocidad, estructura equivalente,
Estructura de la red: tamao, pequeas redes no conectadas entre ellas, densidad
de las relaciones, cohesin, cliques (totalmente conectados).
11

Completando el EML con

marcos sociales

La lnea azul muestra una senda de

influencia a travs de la red de actores que
es de inters.

Lo que se espera que suceda a lo largo de esa

senda de influencia se describe en una adaptacin
del EML.
Las filas siguen el mismo orden que la posicin de
cada actor en la lnea azul.
Los cambios de comportamiento esperados en cada
actor son descritos en detalle.
12

Comparando los Marcos

Sociales y el EML

La lgica vertical del EML representa el tiempo y en el MS representa la cadena

de actores:

La cadena de actores puede ser tan larga como se desee (superior a 4 filas) y las
influencias pueden ser en ambas direcciones (de abajo a arriba y de arriba abajo).
Re-definiendo el contenido de las 4 columnas del EML:

las relaciones son el medio a travs del cul ocurre el cambio.

La primera columna debe describir el cambio esperado en los actores (y en sus relaciones
con los otros). Es una descripcin centrada sobre los actores que har mas fcil comunicar la
historia del programa y entenderla.
La segunda columna de indicadores debe dotarse de elementos para medir y/o apreciar estos
cambios de comportamiento y de relaciones.
La tercera columna de fuentes de verificacin especificar quin debe conocer y verificar estos
cambios.
La columna de asunciones describir que otras relaciones sern importantes, porque sus acciones
(o su no accin) puede afectar a lo que suceda con ese actor. Es una lgica social. Deber
hacer referencia tambin a las relaciones con los actores de la lnea naranja. La senda de
influencia descrita se inserta en una red mayor de relaciones sociales.

Responsabilidades distribuidas:

cada actor asume su responsabilidad sobre sus objetivos de cambio (la responsabilidad no reside
en una nica organizacin).

13

Otros usos en evaluacin

Pueden usarse para introducir mas complejidad :

Representar relaciones causales mas complejas de manera

participativa. Ir descubriendo las relaciones entre los
productos y los resultados y los resultados y el impacto.
Para situaciones donde existen mltiples organizaciones
trabajando juntas sin una visin o plan de accin comn:
facilitar una planificacin descentralizada sin interferir en la
autonoma de cada actor.

Son un ejemplo de nueva herramienta que puede ser

utilizada para desarrollar nuevos mtodos
evaluacin descentralizada y participativa
situaciones con variedad de objetivos y actores.
EXPLORAR CONEXIONES CON EL MAPEO DE ALCANCES?

de
en

14

3. Teoras de cambio

15

La teora de cambio
Carol H. Weiss

La teora de cambio es un enfoque donde el equipo promotor y gestor

del proyecto, los actores y agentes y el equipo evaluador trabajan juntos
para explorar y representar (grficamente) la trayectoria de cambio
esperada, identificar los pasos claves para su desenvolvimiento de manera
que las interrelaciones ms decisivas para alcanzar los resultados previstos
puedan ser observadas y medidas, teniendo en cuenta el contexto en el
que se desarrolla.

Weiss 1998
Teora de implementacin o
accin
Predice de manera descriptiva los
pasos que deben ser adoptados en
la aplicacin del programa

Teora del programa

Identifica los mecanismos que
producen los cambios
El mecanismo de cambio es la
respuesta generada por las
actividades
16

La teora del cambio: la t de la implementacin y la t del

programa de un programa de formacin para el empleo
Teora de la implemantacin
(actividades del programa)

Teora del programa

(mecanismos de cambio)
La juventud oye sobre el programa
La juventud se interesa y es motivada para
apuntarse

El programa publicita un programa de formacin

para el empleo
El programa recluta a la juventud elegible

La juventud se inscribe

El programa ofrece formacin ocupacional.

El programa ofrece tutorizacin personalizada
En hbitos sociales y de conducta
La formacin se ajusta a las necesidades de
las personas
La formacin se lleva bien a cabo
(conocimientos
y competencias)
La
formacin ensea
hbitos de conducta y de
trabajo
Los formadores ayudan y apoyan en el proceso

La juventud asiste de forma regular

(algunos no)

Nivel de
EFECTOS

La juventud aprende habilidades y desarrolla

competencias
(algunos no)
La juventud internaliza valores de
responsabilidad y una conducta apropiada en el
trabajo

El programa desarrolla una lista de

prcticas apropiadas (y las prcticas
existen)
El programa dirige a los jvenes hacia las
prcticas.
Los formadores del programa asisten a los
empleadores y a la juventud en los trabajos

(Weiss, 1998)

La juventud se incorpora a la empresa. La

juventud se comporta de forma adecuada sus
puestos de trabajo.
Los empleadores ofrecen trabajo
La juventud acepta los trabajos.

Nivel de
IMPACTO

La juventud consigue un buen trabajo trabajo

La juventud desarrolla una profesin
La juventud consigue su insercin social y
laboral

Aportaciones mas recientes

Funnel y Rogers (2011)

Teora de cambio:
this refers to the central mechanism by which change comes about
for individuals, groups and communities

Teora de accin:
this explains how programs or other interventions are constructed
to activate their theory of change

18

Una insuficiente teora de accin o

un fallo en la teora de cambio?
Las teoras de cambio nos permiten distinguir entre:
Un fallo en la implementacin: no se ha desplegado la
intervencin de manera correcta.
Un fallo de la teora: se ha actuado bien, pero an as no ha
funcionado. La teora no es buena.
Adems el contexto es muy importante

Una buena teora puede ser falsa bajo un conjunto dado de circunstancias
algunos contextos son poco hospitalarios
para ciertos mecanismos de cambio, mientras que otros lo son

19

La teora de cambio en
programas de cooperacin

Evaluacin de
procesos o de
desempeo

Evaluacin de
resultados
20

Teora de cambio y Marcos

Lgicos
Una Teora de Cambio se basa en una visin amplia del cambio

deseado, especificando detalladamente las asunciones tras cada

uno de los pasos de lo que puede llegar a ser un proceso largo
y complejo.

Articular una teora de cambio conlleva pensar sobre todos los pasos
necesarios hacia ese cambio deseado, identificando las precondiciones que
favorecen (o impiden) cada paso, describiendo las intervenciones
(actividades) que producirn esas condiciones y explicando porqu esas
actividades se van a producir (asunciones).

Un marco lgico es una visin mas concreta de la relacin entre

los recursos y los resultados. Es una tcnica mas estandarizada.
Modelos Lgicos

Teoras de cambio

Representacin

Pensamiento crtico

Lista de componentes
Descriptiva

Senda de cambio
Explicativa
21

Las teoras de cambio

permiten

Theories of change and logic models: telling them apart

22

Los elementos centrales de la

teora de cambio
Los efectos, expresados en base a una senda de cambio

que ilustra la relacin entre una diversidad de efectos donde

cada uno de ellos son precondiciones para el impacto.

Indicadores:

Conceptos que son definidos y utilizados para poder observar los

cambios especficos.

Intervenciones:

las actividades que sern puestas en marcha para producir unos

efectos.

Asunciones:

declaraciones sobre cmo y porqu esperamos que un

conjunto de efectos se produzcan a lo largo de la senda de
cambio. Estas declaraciones pueden reflejan nuestra
comprensin de los procesos de cambio en base a la
experiencia prctica o en base a la investigacin.

Fuente: Anderson, A. (2010): Theory of change: A practical guide to theory development.

The Aspen Institute.

23

Representando las teoras de

cambio

24

PROJECT SUPERWOMAN:
A THEORY OF CHANGE

25

Otras representaciones de las

teorias de cambio

26

27

4. La evaluacin realista

28

Pawson & Tylley:

realistic evaluation
Los programas son teoras.
oportunidades que los sujetos, localizados en estructuras
y organizaciones, pueden elegir desarrollar. Los
resultados obtenidos dependern de cmo los
mecanismos que se suponen van a trabajar lo hacen en
un contexto determinado.

El enfoque realista se basa en una teora de

causalidad generativa.
no es el programa el que hace que las cosas cambien,
son las personas, insertadas en su contexto, y
expuestas (en contacto con) a los programas las que
reaccionan activando determinados mecanismos y
produciendo el cambio.
29

Pawson & Tylley:

teora del programa
Los componentes de una buena teora de programa
son:
el contexto (C) y el mecanismo (M) que permite los
resultados (O).
La evaluacin se basa en la configuracin CMO.

El evaluador elabora cmo los mecanismos pueden

trabajar en un contexto dado y pregunta a las personas
que participan en el programa para obtener evidencias.
mecanismo (M)

Contexto (C)

Resultados (O)
30

Pawson & Tylley:

la configuracin CMO
Contexto:

conjunto de condiciones que favorecen o dificultan

los mecanismos del programa.

Mecanismo:

proceso por el que las personas interpretan la

estrategia de intervencin y actan en
consecuencia.

Resultados:

los resultados de los programas suelen ser

complejos. M & C son verificados examinando los
resultados obtenidos por diferentes sub-grupos de
sujetos.
31

Rogers P (2010) What works for whom in what circumstances

32

Westhorp G (2011) Realist evaluation: an overview

33

Rogers P (2010) What works for whom in what circumstances

34

Westhorp G (2011) Realist evaluation: an overview

35

5. Enfoques sistmicos

36

Relaciones causales sistmicas

Los procesos de cambio no son uni-direccionales sino
sistmicos.
Los procesos de cambio tienen mltiples actores
trabajando en paralelo.
Mltiples interacciones se producen entre los sujetos
intervinientes.
Diversidad de situaciones y contextos con distintas
experiencias previas.
Pensamiento sistmico y complejidad como marcos para
conceptualizar las intervenciones
37

Mapas conceptuales

38

Otro ejemplo de mapa conceptual: WWF

39

Sistemas
El total es mayor que la suma de las partes
Las partes son interdependientes y los cambios en
una parte afectan a todas las dems.
El foco se centra en las relaciones e interconexiones
entre las partes y entre las parte y el todo.
Los sistemas se componen de sub-sistemas y
funcionan dentro de sistemas mas amplios.
Los limites en los sistemas son necesarios e
inevitablemente arbitrarios.
Ejemplo: Programa sobre el embarazo para adolescentes. Patton (2008):
Utilization Focused Evaluation. 4 ed. SAGE.
40

Un modelo lgico clsico

Qu influencias
afectan a las actitudes
y al comportamiento de
las adolescentes
embarazadas?

41

Una perspectiva sistmica

42

Formando parte de un sistema

mayor

El programa de embarazo por si solo centrando su trabajo sobre las adolescentes y solo
en transmitirles conocimiento, tendr mas dificultades para alcanzar sus resultados que
un modelo donde las influencias de otras personas y de otras instituciones y factores
43
contextuales son tenidas en cuenta.

La importancia creciente del

pensamiento sistmico en evaluacin

2006

2010

44

Eplogo
en evaluacin la tarea de transferir
conocimiento pertenece a la teora....

las lecciones transferibles se aprenden

de las teoras de los programas y no de
los programas per se
(Pawson, 2003)
45
45