11 - Rebolloso, E. - Evaluación de Programas de Intervención Social (Cap. 1, 2 y 3)

(Consulte n u e s t r a p g i n a w e b : w w w . s i n t e s i s .
c o m
1.11 ella e n c o n t r a r el c a t l o g o c o m p l e t o y c o m e n t a d o
Indice
Introduccin
'3
PARTE I
D I S E O DE POLTICAS Y PROGRAMAS DE i N T E R V E N a N
C a p t u l o I . Polticas, programas y evaluaciones
Enrique Rebolloso
Baltasar Fernndez-Ramrez
Pilar Cantn
SOCIAL
....
15
Conceptos clave
I . I . Q u es la investigacin de evaluacin
17
1.2. Evaluacin e investigacin social
18
1.3. Desarrollo histrico de la investigacin de evaluacin
21
1.4. Situacin actual de la investigacin de evaluacin

EDITORIAL SNTESIS, S. A.
Vallehermoso, 34. 28)15 Madrid
Telfono: 91 593 20 98
httpj/www.slntcsis.com
1.5. Caractersticas del proceso de evaluacin
24
25
1.6. Delimitacin final del concepto de e v a l u a c i n -
29
C a p t u l o 2. P r o p s i t o s y actividades principales del proceso evaluativo

ISBN: 978-84-975656-9-1
Depsito legal: M-16.981-2008
Impreso en Espaa Prinled in Spain
Conceptos clave.2.1. Razones o motivos principales de las evaluaciones
2.2.1. Evaluacin para la r e s p o n s a b i l i d a d

Reservados todos tes derechos. Est prohibido, bajo las sanciones
penales y el resarcimiento civil previstos en bu leyes, reproducir,
registrar o transmitir esta publicacin. Integra o parcialmente, por
cualquier sistema de recuperacin y por cualquier medio, sea mecnico,
electrnico, magntico, electroptico, por fotocopia
o cualquier otro, sin la autorizacin previa por escrito
de los editores y de Editorial Sntesis, S. A.
II I
35
37
--
2.2. P r o p s i t o s de la evaluacin
2.2.2. Evaluacin para el desarrollo
35
41
-
41
42
2.2.3. Evaluacin para el conocimiento
42
2.3. Actividades generales de evaluacin

2.3.1. Conceptualizacin y d i s e o
13.2.
Direccin y responsabilidad en la i m p l e m e n t a c i n
2.3.3. Valoracin de la utilidad del p r o g r a m a
43
43
44
45
I I
I | . . |
I LLLLIVII.KL
'K/LW
; 4 I iunnn 69 I * v t l u w i n
~
H I
l l w n t n t o i d dectiin
1 1 i i M ' i n 1 .cj;un el lipo ile intervencin social
2.5. El proceso de intervencin social
46
46
47
.
-
Capitulo 3. Procedimientos d i a g n s t i c o s
3.2. Problemas sociales
59
62
62
..
3.3.3. Evaluacin de necesidades

3.3.4. Revisin de investigaciones
3.3.5. Revisin de las mejores prcticas (benchmarking)

3.4. Seleccin de la poblacin objetivo.
.....
3.4.1. Definicin
3.4.2. Conceptos
3.5. Mtodos para identificar la poblacin objetivo del programa
3.5.2. Foro comunitario
5.2. Implementacin del programa
'02
103
-
I07
5.2.1. M a c r o i m p l e m e n t a c i n y m i c r o i m p l e m e n t a c i n
65
5.2.2. Seguimiento, c o m p o s i c i n y factores de la implementacin
66
5.2.3. La evaluacin formativa de McCIintock
107
I08
66
5.3. Seguimiento de la participacin
67
5.4. La evaluacin de la i m p l e m e n t a c i n dentro del proceso
71
de intervencin social
112
I 16
C a p t u l o 6. Estrategias para la evaluacin de resultados e impactos
I 19
72
Conceptos clave
6.1. La evaluacin de resultados e impactos dentro del proceso
de intervencin s o c i a l
6.2. La e x p e r i m e n t a c i n social.
4.3.1. Misin y objetivos de los programas
74
75
78
78
79
4.3. Objetivos de los programas
81
._
124
126
128
73
-
4.1.2. Dificultades para la evaluacin
120
120
6.4. Criterios de valor y variables de resultado

Conceptos clave
4.1. Programas de intervencin social
4.2. El marco turbulento de las instituciones de servicios
4.1.1. C o n t e x t o social de los programas
II0
5.5. Evaluacin para el desarrollo organizacional
6.3. La emisin de juicios de valor

Captulo 4. Evaluacin de entrarla y planificacin del programa
I09
70
71
3.5.8. Censos comunitarios
I0I
65
70
3.5.6. T c n i c a s de encuesta
3.5.7. Registro de documentos o datos de archivo
Conceptos clave
64
70
-
3.5.5. Entrevistas
C a p t u l o 5. Evaluacin de proceso y seguimiento del programa
69
-
DE INTERVENCION SOCIAL
5.1. Seguimiento del programa...
69
3.5.3. ndices bajo tratamiento
i i II
K'LN M ' . I I M A I K A I >! I ( I\ I 1 K X . I I A M A 5
63
69
3.5.1. Entrevistas con informantes clave
3.5.4. Indicadores sociales
programa
PAO
LVAHW
54
55
3.3.1. Evaluaciones proactivas
, l r l
4.7.2. I I '.r.lrm.i .Ir- ini|ilriiii'iil.ii ion
53
Conceptos clave
3.1. La evaluacin de contexto dentro del proceso de intervencin social
3.3.2. Anlisis de problemas
4.7.1. B m t t n t M < ' I
49
3.3. Mtodos diagnsticos
4.7. Evaluacin*- orientad* por la t e o r a
81
C a p t u l o 7. D i s e o s aleatorizados y no aleatorizados para las evaluaciones

de resultados e impactos
Conceptos clave
132
7.1. D i s e o s aleatorizados.
I33
7.1.1. Eleccin del d i s e o

7.1.2. Ideas fundamentales-
131
134
136
4.3.2. Definicin de los objetivos del programa
83
7.2. D i s e o s no aleatorizados
139
4.3.3. Elementos del programa
140
84
7.3. D i s e o s cuasiexperimentales
4.4. Planificacin y ajuste de las evaluaciones
85
7.4. D i s e o de grupos unitarios para la evaluacin de resultados
4.5. La e v a l u a c i n de entrada dentro del proceso de intervencin social
87
4.6. Evaluacin de la evaluabilidad
90
e impactos
I46
C a p t u l o 9. Anlisis coste-beneficio
R A R T E III
EVALUACIONES
ECONMICAS
Capitulo 8. Evaluacin de la eficiencia
ISI
Conceptos clave...
152
8.1. Evaluacin de la eficiencia
153
8.2. Aspectos esenciales en el ciclo de los programas o proyectos sociales
156
8.2.1. Estado de pre-inversin._..
156
8.2.2. Estado de inversin
158
8.Z3. Estado de o p e r a c i n
_.
159
160
8.4. Consideraciones diferenciales segn los grupos de personas afectadas.....
162
8.4.1. La perspectiva del participante objetivo.....
163
8.4.1 La perspectiva del patrocinador del programa
163
8.4.3. La perspectiva de la sociedad en su conjunto
164
8 5 . Identificacin y estimacin del valor de los componentes

8.6. Categorizacin de costes
164
165
8.6.1. Monetarios y no monetarios
166
8.6.1 D e capital y de o p e r a c i n . . .
166
_
8.6.3. Recurrentes y no recurrentes
8.6.4. Manifiestos y escondidos
8.6.5. Fijos y variables
167
167
8.6.8. Medios y marginales
8.7. Algunas cuestiones de inters analtico

8.7.1. Escala del p r o y e c t o -
167
167
8.6.6. A a d i d o s y consumidos
8.6.7. Directos e indirectos
168
-
168
169
169
8.7.2. Unidades del anlisis
171
8.7.3. Estimacin ajustada de c o s t e s
8.7.4. Estimacin de beneficios y costes futuros..
172
_.
8.7.5. Destinatarios de costes y beneficios
173
173
8.8. Crticas a los anlisis de la e f i c i e n c i a
8.8.1. Beneficios psicolgicos
1 !
Conceptos clave
9.1. Antecedentes del anlisis coste-beneficio.....
8.3. Puntos de vista analticos
_.
175
176
..-
_.
176
8.8.4. Requerimiento de asunciones y estimaciones-
177
8.8.5. Falta de completitud
177
8.9. P r e s e n t a c i n e i n t e r p r e t a c i n de resultados.8.9.1. La demanda de informacin
179
'.
179
8.9.1 El informe de evaluacin

8.10. Papel del evaluador en los anlisis de la eficiencia....
9.2.1. Definicin del programa.
'
' 89
'91
-
'92
9.2.1 Formulacin de objetivos y su t r a d u c c i n a declaraciones

de evaluacin
' 93
9.2.3. Descripcin de la poblacin objetivo
'93
1
9.2.4. Identificacin de ahemativas

9.2.5. Diferenciacin del modelo de a n l i s i s
94
195
9.3. r e a s sustantivas del ACB
9.3.1. Estimacin de la magnitud de los impactos

9.3.1 Valoracin e c o n m i c a de los impactos
9.3.3. Agregacin de costes y beneficios valorados
206
9.3.4. Estimacin de costes totales y promedio

9.4. Puntos de vista analticos en el A C B
197
198
209
1
~> 2
9.4.1. U n ejemplo de clculo de coste-beneficio
215
9.4.1 Sensibilidad de los resultados del A C B
217
9.5. Consideraciones de i n t e r s en la estimacin....
2 19
2
9.5.1. Duracin del programa.

9 5 . 1 Compras de c a p i t a l . -
19
219
9.5.3. Funcionamiento en efectivo y funcionamiento de base acumulativa....
220
95.4. Cambios incurridos en los costes.
221
9.55. Prctica e s t n d a r de presupuesto.9.6. C o m p a r a c i n de costes y beneficios

9.6.1. Valor neto actual
221
222
22-
224
9.6.1 Tasa interna de r e t o m o
223
9.6.3. Relacin coste-beneficio.

9.7. El tiempo en los anlisis de la eficiencia
9.8. Aspectos distributrvos y t i c o s . . .
._
225
-
227
9.9. Ventajas e inconvenientes del ACB
229
175
8.8.1 Valor de la vida humana

8.8.3. D e g r a d a c i n de la vida humana
9 . 1 Marco analtico de referencia
'
Capitulo 10. Anlisis coste-efectividad
235
Conceptos clave
10.1. Antecedentes del anlisis coste-efectividad.
10.2. Aplicacin del ACE

10.3. La cuantificacin de beneficios en los programas sociales
240
243
10.4. Metodologa del ACE exante

10.4.1. Primera fase. Definicin del problema
180
10.4.2. Segunda fase. Diagnstico de la situacin
182
10.4.3. Tercera fase. Planteamiento de alternativas de solucin

10.4.4. Cuarta fase. Seleccin de la mejor alternativa
236
237
.-
246
247
-
248
250
-
252
/
Evaluacin de programas de intervencin soda/
10.4.5. Quinta fase. Elaboracin del proyecto definitivo.
10.4.6. Sexta fase. Incertidumbre y tests de sensibilidad
252
253
._
255
258
10.5.4. Cuarta fase. Establecimiento de las alternativas a evaluar
259
10.5.5. Quinta fase. Medicin de los recursos afectados en valores

monetarios
260
260
10.5.6. Sexta fase. Valoracin comparativa de las alternativas...

10.6. La matriz de costes
261
_
262
10.6.2. Servicios anuales prestados (SAP) y oferta total anual ( O T A ) .
265
de producto (CUP)...
266
267
10.7. Anlisis integrado coste-efectividad
269
10.7.1. Efectividad en el logro de los objetivos ( E L O ) .
269
10.7.2. Peso relativo asignado a cada objetivo ( W )
271
10.7.3. Relaciones coste-efectividad o coste-impacto (CUE)
271
10.7.4. Diferencias en valores absolutos y en valores relativos
272
10.7.5. Relaciones coste-efectividad de los sistemas.
274
10.9. El anlisis coste-utilidad
275
278
'.
PARTE I V
PROBLEMAS P R C T I C O S Y C A U O A D D E LAS
281
_.
282
283
._
285
11.3. M t o d o s combinados en evaluacin
287
11.4. Evaluaciones cualitativas
290
11.4.1. Evaluacin respondente
._
291
11.4.2. Evaluacin centrada en el uso

11.4.3. Evaluacin de caso nico
293
_
-*04
~
_.
295
305
12.2. Tipologa de los usos.

12.3. La utilidad c o m o cnterio de calidad de las evaluaciones
12.4. El problema del u s o .
12.4.1. Problemas del
I 2 4.2. Problemas del
12.4.3. Problemas del
17 4 4. Problemas del
1145,
Problemas del
uso
uso
uso
uso
uso
en
en
en
en
en
la
la
la
la
la
fase
fase
fase
fase
fase
diagnstica
de planificacin
de intervencin
_
de evaluacin de resultados
de utilizacin de los resultados
12 4 6. Problemas del ambiente p o l t i c o

12.6. Estrategias para aumentar el uso
12.6.1. El factor personal-
307
309
316
-
317
321
31 I
312
31 3
313
314
314
321
12.6.2. C m o potenciar el uso poltico de las evaluaciones

12.6.3. L a difusin de resultados.
322
322
12.6.4. Los informes de evaluacin..
324
12.6.5. El problema de las recomendaciones
12 6.6. Evaluaciones internas de alto impacto
324
325
C a p t u l o 13. Factores clave para aumentar el uso
327
Conceptos clave
13.1. Factores humanos..

13.1.1. Caractersticas del evaluador
13.2.1 Hechos organizacionales

13.2.3. Caractersticas del programa
13.3. Factores de evaluacin...
334
-
340
340
342
345
346
13.3.2. Dilogo informativo

13.3.3. Naturaleza de la informacin evaluativa
13.3.4. Informe de evaluacin
~
-
13.3.1. Procedimientos de evaluacin
13.4. Conclusin
328
329
13.2. Factores c o n t e x t a l e s
13.2.1. Compromisos de evaluacin preexistentes
11.1. El debate cuarrtitativo-cualrtativo

11.2. Situacin actual del debate
303
12.1. Elconcepto de uso
13.1.2. Caractersticas del usuario
EVALUACIONES
C a p t u l o 11. El m o v i m i e n t o cualitativo en evaluacin

Conceptos clave
12.5. Teoria de la influencia de las evaluaciones...
10.6.3. Coste por unidad de servicio (CUS) y coste p o r unidad
10.8. Ventajas e inconvenientes del ACE
Conceptos clave
257
cuantificables
10.5.3. Tercera fase. Descripcin de sujetos posiblemente afectados
10.6.1. Costes totales
C a p t u l o 12. El uso de los resultados evaluativos.-
256
10.5.2. Segunda fase. Traduccin de objetivos a indicadores y dimensiones
10.6.4. Expresin final de la matriz
299
254
_
10.5. Metodologa del ACE expost
10.5 I . Primera fase. Identificacin precisa de los objetivos del programa
por el programa
11.4.5. Evaluacin d e m o c r t i c a deliberativa.

I 1.5. Crrtenos de calidad de las evaluaciones cualitativas
10.4.7. Sptima fase. Enmarque de los provectos y programas

en las prioridades sectoriales
11 4 4. Evaluacin de cuarta g e n e r a c i n
346
349
350
352
j Lvohocin de programas de intervencin social
C a p t u l o 14. C o n c e p t o , p r o c e d i m i e n t o y criterios de m e t a e v a l u a c i n
Conceptos clave..
14.1. Concepto de metaevaluacin
14.2. Funciones de la metaevaluacin
14.3. Tipos de metaevaluacin....
357
35B
__
359
14.4. El proceso de metaevaluacin

14.5. Criterios de metaevaluacin
360
_
363
14.5.1. Criterios de calidad cientfica
363
14.5.2. Normas profesionales
Introduccin
365
14.5.3. Principios ticos de los evaluadores
366
14.5.4. La lista de control de Scriven
369
14.5.5. Criterios para evaluaciones sistemticas
370
14.5.6. Criterios para evaluaciones d e m o c r t i c a s y emancipadoras
371
E l campo de la e v a l u a c i n tiene una p o s i c i n especial d e n t r o de las ciencias sociales.
C a p t u l o 15. El c o n t e x t o social de las evaluaciones
Conceptos clave
~
15.1. El ambiente poltico de las evaluaciones
15.2. Relaciones del evaluador con los d e m s grupos..
155. Evaluaciones de p e q u e a escala

15.6. La profesin de evaluador
376
377
380
15.11. Relaciones del evaluador con los equipos gestores
15.12. El miedo a ser evaluado

15.3. La posicin tica de los evaluadores....
15.4. Roles del evaluador.
_.
375
381
382
383
388
.-
391
393
E n l han confluido profesionales y a c a d m i c o s de muchas disciplinas, algunas tan

alejadas que parece imposible que hayan encontrado intereses comunes. Es u n camp o aplicado, en el sentido absolutamente real del t r m i n o . L a demanda profesional
es e n o r m e , y los a c a d m i c o s casi tenemos que pedir disculpas cuando debatimos con
los colegas que viven de la p r c t i c a , pues somos "los de los l i b r o s " , tal es la i m p r e s i n
de que la disciplina se ha construido en la p r c t i c a y n o en la academia. Sin desmerecer su enorme vala, debemos contradecirles. E n el c a m p o de la e v a l u a c i n e s t n representadas todas las grandes t e o r a s y p o l m i c a s de las ciencias sociales de las ltimas d c a d a s , i n c l u y e n d o las grandes disputas e p i s t e m o l g i c a s y las promesas de
f u t u r o . E l trabajo que hay p o r delante de nosotros es inmenso, y slo en campos com o el nuestro es posible que t o d o t i p o de profesionales tenga cabida y llegue a la
c o n f r o n t a c i n y a la c o n s t r u c c i n c o m p a r t i d a del c o n o c i m i e n t o .
Bibliografa
E n t r e las opciones disponibles, h e m o s d e c i d i d o e s tru c tu ra r el l i b r o siguiendo el

399
esquema raciona] m a r c a d o p o r los m o d e l o s de e v a l u a c i n s i s t e m t i c a , especialm e n t e el de Rossi y F r e e m a n (1989), c u y o m a n u a l ha c o n o c i d o siete ediciones y es

el m o d e l o de e v a l u a c i n p o r a n t o n o m a s i a . C o n H o w a r d E . F r e e m a n tenemos i n cluso una deuda especial, pues fue el m e n t o r del p r i m e r o de los autores de este l i b r o e n su i n i c i a c i n a la m a t e r i a de la e v a l u a c i n de programas. L o s modelos sistem t i c o s , desde que K u r t L e w i n marcara l a senda en los r e m o t o s a o s cuarenta, son
aquellos que d i v i d e n el proceso de i n t e r v e n c i n y e v a l u a c i n e n tres grandes fases:
el d i s e o d e l progra m a , la i m p l e m e n t a c i n y la v a l o r a c i n de sus resultados. N o s o t r o s p r o p o n e m o s una v a r i a c i n p r o p i a , t a l c o m o se muestra en varios de los c a p t u los iniciales del l i b r o , sobre t o d o e n el segundo. T a m b i n debemos reconocer una
d e u d a con los trabajos y manuales de M i c h a e l Scriven, D a n i e l L . Stufflebeam y Car o l H . Weiss, a s c o m o c o n m l t i p l e s autores cuya lectura ha o c u p a d o u n elevado
n m e r o de horas de n u e s t r o t i e m p o , y a quienes d e b e m o s una gran c a n t i d a d de
ideas que han inspirado las que a q u e x p o n e m o s al l e c t o r en lengua e s p a o l a .
L a primera parte del manual est compuesta por cuatro c a p t u l o s . D e s p u s de i n t r o d u c i r los conceptos b s i c o s de la materia, sobre t o d o en l o relativo a la definicin y
14
Evaluacin de programas de intervencin social
las funciones de la e v a l u a c i n , trazamos una p a n o r m i c a general sobre las distintas

actividades de e v a l u a c i n , y presentamos el m o d e l o que sirve para estructurar nuestra
propuesta s i s t e m t i c a . A c o n t i n u a c i n , exponemos los procedimientos para realizar el
d i a g n s t i c o de los problemas y las necesidades sociales, a s como distintas cuestiones
clave para la definicin de programas y proyectos de i n t e r v e n c i n social.
L a segunda parte es c e n t r a l p a r a el d i s e o de las evaluaciones de corte sistem t i c o . A u n q u e es una c o n t i n u a c i n d i r e c t a d e l c a p t u l o anterior, entendemos que
las evaluaciones que analizan el p r o c e s o y los resultados de la i n t e r v e n c i n f o r m a n
el n c l e o de las actividades que u s u a l m e n t e se d e m a n d a n en la f u n c i n de evaluac i n . L a c u e s t i n de la v a l o r a c i n de resultados e impactos se trata en dos de los
c a p t u l o s , c o n el n i m o de c u b r i r s u f i c i e n t e m e n t e la d i v e r s i d a d de p l a n t e a m i e n t o s
encontrados en esta a c t i v i d a d e s p e c f i c a , c o n c e d i e n d o al d i s e o de estudios experimentales
y cuasiexperimentales el p a p e l q u e o c u p a p o r su uso e x t e n d i d o t o d a v a
e n t r e m u c h o s evaluadores de corte c o n v e n c i o n a l .
L a tercera p a r t e e s t dedicada a las evaluaciones e c o n m i c a s . Sin ser n u e s t r o
c a m p o de e s p e c i a l i z a c i n , hemos c o n s i d e r a d o necesario n o dejar sin c u b r i r t a n i m p o r t a n t e r e a de t r a b a j o . Tras u n p r i m e r o de p r e s e n t a c i n genera], otros dos extensos c a p t u l o s se d e d i c a n a los a n l i s i s de coste-beneficio y de coste-efectividad.
Q u i z para m u c h o s lectores sea u n a p r i m e r a o c a s i n para f a m i l i a r i z a r s e c o n el
lenguaje y algunas cuestiones relevantes-en este t i p o d e actividades evaluativas.
A l igual q u e e n o t r o s r e c o n o c i d o s manuales, h a y una serie de temas colaterales q u e d e s p i e r t a n g r a n i n t e r s a c a d m i c o y p r o f e s i o n a l entre los evaluadores, y
que hemos r e u n i d o d e n t r o de la c u a r t a y l t i m a p a r t e d e l l i b r o bajo la e t i q u e t a de
" P r o b l e m a s p r c t i c o s y c a l i d a d d e las e v a l u a c i o n e s " . A l l e n c o n t r a r el l e c t o r una
i n t r o d u c c i n a las propuestas d e l m o v i m i e n t o c u a l i t a t i v o en n u e s t r o campo, e n auge en estas l t i m a s d c a d a s , u n c a p t u l o sobre los p r o c e d i m i e n t o s de m e t a e v a l u a c i n , dos m s sobre el d e n o m i n a d o p r o b l e m a d e l uso, d o n d e i n c l u i m o s diversas
estrategias p a r a m e j o r a r el i m p a c t o de los estudios de e v a l u a c i n , y el c a p t u l o final, d o n d e t r a t a m o s sobre el c o n t e x t o social y p r o f e s i o n a l de l a e v a l u a c i n .
Para c o n c l u i r , todos aquellos q u e de a l g n m o d o a y u d a r o n a dar f o r m a al l i b r o
o c o n t r i b u y e r o n , directa o i n d i r e c t a m e n t e a las r e f l e x i o n e s que i n c l u y e , dense p o r
agradecidos c o n la m a y o r c o r d i a l i d a d y c a r i o p o r nuestra parte. D u r a n t e a o s hem o s t r a t a d o de a c o m p a a r n o s de l o m i s n u t r i d o de n u e s t r o c a m p o de t r a b a j o e i n v e s t i g a c i n . M u c h o s colegas de b r i l l a n t e y r e c o n o c i d a t r a y e c t o r i a h a n pasado p o r
nuestras aulas c o m o visitantes e i n v i t a d o s , y de t o d o s ellos hemos i d o t o m a n d o
ideas, i n q u i e t u d e s intelectuales, p r e o c u p a c i o n e s h u m a n a s y buenos m o m e n t o s de
c o n v e r s a c i n . G r a c i a s a t o d o s , y u n r e c u e r d o especial para aquellos que m u c h a s
veces son citados en este m a n u a l y ya n o se e n c u e n t r a n entre nosotros.
Q u e d e p a r a e l l e c t o r l a tarea de estudiar, r e f l e x i o n a r y p o n e r en p r c t i c a l o
que de a q u aprovechare.
Parte I
Diseo de polticas
y programas de intervencin social
Polticas, programas y evaluaciones
D e unos a o s a esta parte ta d e m a n d a de profesionales y actividades de evaluac i n n o ha dejado de crecer a nuestro alrededor, y la e v a l u a c i n se ha c o n v e r t i d o
en u n o de los campos de i n v e s t i g a c i n c o n m a y o r p r o y e c c i n a c a d m i c a y p r o f e s i o n a l . C o m o saber e m i n e n t e m e n t e p r c t i c o , la e v a l u a c i n c o m p a r t e ios p r o b l e mas de la ciencia social aplicada, c o n la necesidad d e utilizar d i s e o s flexibles, m t o d o s e c l c t i c o s y u n r o l m s cercano a l a c o n s u l t o r f a . L o s clientes de la e v a l u a c i n
y las personas que t i e n e n intereses en los p r o g r a m a s (los stakeholders)
se h a n c o n -
v e r t i d o en el c r i t e r i o f u n d a m e n t a l para d e t e r m i n a r el x i t o de la e v a l u a c i n , t o d a
vez q u e la m e j o r a social, o b j e t i v o l t i m o de la empresa evaluativa, pasa p o r l o g r a r
q u e los participantes en el proceso de i n t e r v e n c i n y e v a l u a c i n hagan uso de sus
resultados y recomendaciones.
L a e v a l u a c i n es una a c t i v i d a d f u e r t e m e n t e r e l a c i o n a d a con el c a m p o de las
p o l t i c a s sociales y c o m b i n a los p r o p s i t o s de a y u d a r a la m e j o r a de las i n t e r v e n ciones y a p o r t a r i n f o r m a c i n para el d e b a t e p b l i c o sobre el b u e n uso de los f o n dos destinados a los p r o g r a m a s . E v a l u a r i m p l i c a l a e m i s i n de j u i c i o s de v a l o r sob r e e l c o r r e c t o f u n c i o n a m i e n t o de las a c t i v i d a d e s , la c a l i d a d de los p l a n e s de
t r a b a j o o las consecuencias positivas d e l p r o g r a m a e n la m e j o r a de las condiciones
sociales.
L a e v a l u a c i n n o es una empresa sencilla, n i u n a a c t i v i d a d que se ejecuta de
m a n e r a p u n t u a l p o r u n c o n j u n t o r e d u c i d o de investigadores. L a e v a l u a c i n es una
empresa c o m p l e j a q u e r e q u i e r e u n esfuerzo s i s t e m t i c o , e i m p l i c a la p a r t i c i p a c i n
d e u n a m p l i o n m e r o de personas y la i n v e r s i n d e u n a considerable c a n t i d a d de
recursos que d e b e n ser d e t r a d o s de los presupuestos de la i n t e r v e n c i n . E l
sis de los p r o g r a m a s s e a l a las d i f i c u l t a d e s que e n t r a a trabajar con grupos
anill
dlvci
sos d e personas que t i e n e n intereses diferentes y a veces a n t a g n i c o s , v q u i
1 , 1
m a n d a n a c t i v i d a d e s e v a l u a t i v a s q u e c o b r a n s i g n i f i c a d o s diversos en un m i dio
Captulo l: fotiucas, progromuj y c r w u u u v M
Porte /. D i s e o de polticas y programos de intervencin social
f u n d a m e n t a l m e n t e p o l t i c o . Esta c o m p l e j i d a d , a s c o m o la v a r i e d a d de opciones
es e f e c t i v o c u a n d o consigue r e s u l -
m a n e r a i n t e g r a l el p r o c e s o de \
conceptuales, t e r i c a s y m e t o d o l g i c a s , y l a c r e c i e n t e d e m a n d a c o n v i e r t e n a l a
tados, eficaz c u a n d o c o n s i g u e los
i n t e r v e n c i n social, incluyendo e
e v a l u a c i n en u n r e t o de gran a t r a c t i v o para los investigadores interesados en una
resultados esperados y eficiente
c o n t e x t o p r e v i o de la e v a l u a c i n ,
ciencia social d i r e c t a m e n t e c o m p r o m e t i d a con l a m e j o r a y la s o l u c i n de los p r o -
c u a n d o l o l o g r a a u n coste r a z o n a -
la p l a n i f i c a c i n d e l p r o g r a m a , la
blemas sociales.
ble.
i m p l e m e n t a c i n de las actividades
y l a p r o d u c c i n de r e s u l t a d o s d i -
Usos
Conceptos clave
de la evaluacin.
L a u t i l i d a d de
versos.
los resultados e v a l u a t i v o s e s t det e r m i n a d a p o r la c a p a c i d a d de las
Stakeholders.
L i t e r a l m e n t e significa
personas o grupos i m p l i c a d o s en el
" a q u e l l o s que t i e n e u n i n t e r s de-
las a c t i v i d a d e s de u n p r o g r a m a .
p r o g r a m a para e x t r a e r
consecuen-
p o s i t a d o " , es decir, aquellas perso-
objetivo p r i o r i t a r i o la a p l i c a c i n
E x i g e una p l a n i f i c a c i n
especfica
cias, p l a n i f i c a r mejoras y, en gene-
nas o g r u p o s q u e t i e n e n a l g o que
del c o n o c i m i e n t o y los m t o d o s de
p r e v i a e n r e l a c i n c o n la p r e v i s i n
r a l , hacer uso de las conclusiones
ganar o q u e p e r d e r con el x i t o del
la ciencia social para resolver p r o -
y d i s t r i b u c i n de los recursos nece-
de la e v a l u a c i n . H a y d i s t i n t o s t i -
programa.
blemas sociales. T r a d i c i o n a l m e n t e
sarios para el desarrollo de las acti-
pos posibles de uso y es i m p o r t a n -
se c o n t r a p o n e c o n l a idea de c i e n -
vidades.
Ciencia
social
aplicada.
P a r t e d e las
ciencias s o c i a l e s q u e t i e n e c o m o
Implementacin.
Puesta en p r c t i c a de
te ser consciente de q u e debe haber u n esfuerzo i n t e n c i o n a d o para
cia b s i c a , a u n q u e la d i s t i n c i n es
confusa y m u c h o s la rechazan.
Funcin
de evaluacin.
Es u n o de los
lograr la u t i l i z a c i n .
social.
Esfuerzo s i s t e m t i -
i n t e r v e n c i n s o c i a l , j u n t o c o n la
c o y r a c i o n a l p a r a m o d i f i c a r las
p l a n i f i c a c i n y la i m p l e m e n t a c i n
condiciones sociales o el c o m p o r t a -
d e las actividades. L a i n f o r m a c i n
m i e n t o de las personas con el obje-
e v a l u a t i v a es v i t a l para m e j o r a r la
t i v o p r i o r i t a r i o de la m e j o r a social.
t o d o s los g r u p o s de personas que
social.
C o n j u n t o de p r e s c r i p -
sistemtica.
Es u n t i p o de
e v a l u a c i n q u e i n t e n t a analizar de
ciales de la e v a l u a c i n y destinatarios de la i n f o r m a c i n evaluativa.
I . I . Q u es la i n v e s t i g a c i n de e v a l u a c i n
dio o a largo plazo.
ciones y l n e a s de i n t e r v e n c i n q u e
reflejan los esfuerzos d e l g o b i e r n o
Evaluacin
t o m a d e d e c i s i o n e s s o b r e el p r o g r a m a de m a n e r a i n m e d i a t a , a m e -
Poltica
Es u n c o n c e p t o p r x i m o al
anterior, que intenta identificar a

se c o n s t i t u y e n en usuarios p o t e n -
e l e m e n t o s centrales del proceso de

Intervencin
Audiencias.
L a s definiciones son variadas d e p e n d i e n d o de la o r i e n t a c i n d e l a u t o r q u e las forValoracin
y juicios
de valor.
Evaluar
para resolver los p r o b l e m a s socia-
consiste e n e m i t i r j u i c i o s de v a l o r
les o gestionar los asuntos d e i n t e -
sobre la calidad de a l g n objeto
r s de l a c o m u n i d a d en r e l a c i n
( p r o g r a m a , proceso, e l e m e n t o , o r -
c o n temas c o m o s a l u d , v i v i e n d a ,
g a n i z a c i n , persona, etc.). E l j u i c i o
igualdad, i n t e g r a c i n , etc.
d e v a l o r r e q u i e r e de l a e x i s t e n c i a
d e c r i t e r i o s de v a l o r q u e p u e d a n
m u l e , del n f a s i s en u n o u o t r o de los o b j e t i v o s de la e v a l u a c i n , o de la descripc i n en la p r c t i c a d e l proceso o de a l g u n o de sus elementos c o m p o n e n t e s . Glass y

EHet (1980) d i s t i n g u i e r o n o c h o conceptos, y p o s i b l e m e n t e la lista n o es e n m o d o
a l g u n o exhaustiva ( v a s e c u a d r o 1.1).
L a i n v e s t i g a c i n de e v a l u a c i n es la a p l i c a c i n s i s t e m t i c a de los m t o d o s de
la ciencia social p a r a investigar la e f e c t i v i d a d de los p r o g r a m a s de i n t e r v e n c i n so-
E n m u c h o s casos es s i n -
ser contrastados c o n los datos e m -
cial (Rossi y F r e e m a n , 1989; Rossi, L i p s e y y F r e e m a n , 2004), u n a a d a p t a c i n de
n i m o de i n t e r v e n c i n social, a u n -
pricos sobre el funcionamiento y
los m t o d o s de i n v e s t i g a c i n social a la tarea de estudiar la i n t e r v e n c i n social en
que comprende t o d o c o n j u n t de
los resultados d e l p r o g r a m a .
Programas.
sus circunstancias p o l t i c a s y organizacionales de m o d o que p u e d a n obtenerse j u i cios f u n d a m e n t a d o s sobre la necesidad de realizar una i n t e r v e n c i n , a s c o m o so-
actividades planificadas e i m p l e Son
b r e el d i s e o , i m p l e m e n t a c i n , i m p a c t o y eficiencia de los p r o g r a m a s que se cen-
tres conceptos e s t r e c h a m e n t e r e l a -
t r a n en esa necesidad. Se defiende una p o s i c i n q u e se i d e n t i f i c a p l e n a m e n t e con
(intervencin social, programa
c i o n a d o s q u e p u e d e n ser
la a p l i c a c i n de las ciencias sociales a la r e s o l u c i n de los p r o b l e m a s . E n esta l-
e d u c a t i v o , p r o c e s o de
dos c o m o c r i t e r i o s de v a l o r para l a
nea, R e b o l l o s o y R e b o l l o s o (1998a: 223) escriben: " n u e s t r o i n t e r s se centra n o en
e m i s i n de juicios. U n p r o g r a m a
cualquier t i p o de e v a l u a c i n , sino s l o en a q u l l a que garantice c i e n t f i c a m e n t e la
mentadas d e f o r m a r a c i o n a l p a r a
lograr a l g n p r o p s i t o
etc.).
especfico
trabajo,
Efectividad,
eficacia
y eficiencia.
utiliza-
Coprt/o /: Polticas, programas y evouociones I 21

validez de las conclusiones que p o r t a l p r c t i c a hayan sido obtenidas". Da tod
dos, n o es necesario restringir el campo de la e v a l u a c i n a la a p l i c a c i n e x c l u s i v i
logias sesguen los resultados d e l estudio. Su o b j e t i v o es describir y explicar

i
son las cosas, no cmo
deberan
cmo
ser. P o r su p a r t e , el evaluador rechaza la idea de
las t c n i c a s y m t o d o s de i n v e s t i g a c i n social, y es fcil s e a l a r ejemplos d e n
ciencia l i b r e de valores, a s u m i e n d o q u e e l p r i n c i p a l o b j e t i v o de su trabajo es la
d o n e s desarrolladas en o t r o s m b i t o s de i n t e r s ( i n v e s t i g a c i n de mercado, u4|||

del consumidor, g e s t i n o r g a n i z a r i o n a l ) . U n a d e f i n i c i n cientifista de este t i p o M IV
obstante suficientemente a m p l i a c o m o para dar cabida a m l t i p l e s intereses, pan
pectivas y m e t o d o l o g a s de trabajo, si b i e n la m a y o r p a r t e de los especialistas r n
e v a l u a c i n han r e c i b i d o f o r m a c i n y p r o v i e n e n d e l c a m p o general de las ciencias so
cales.
e m i s i n de juicios, para l o cual tiene que t r a t a r c o n los valores de m l t i p l e s grupos
L a e v a l u a c i n y la i n v e s t i g a c i n social c o n v e n c i o n a l c o i n c i d e n en su i n t e n c i n
puesta a demandas y p r o b l e m a s e s p e c f i c o s , u t i l i z a n d o los recursos m e t o d o l g i c o s
d e alcanzar c o n o c i m i e n t o s v l i d o s m e d i a n t e l a a p l i c a c i n de m t o d o s similares.
y conceptuales de q u e dispone, s e g n sea su u t i l i d a d para el caso, y p r e s i o n a d o
Sin e m b a r g o , l a e v a l u a c i n suele encuadrarse d e n t r o de la c a t e g o r a de investiga
p o r la urgencia de los costes, el t i e m p o o e l p r e s t i g i o p r o f e s i o n a l . E l r o l profesio-
c i n aplicada,
desarrollada
nal ha p r o m o v i d o l a a m p l i a c i n de los c r i t e r i o s de validez de la i n v e s t i g a c i n , re-
en contextos c o n t r o l a d o s y f u e r t e m e n t e o r i e n t a d a al d e s a r r o l l o t e r i c o . L a distin-
c u p e r a n d o el v a l o r de la u t i l i d a d aplicada de la i n v e s t i g a c i n ( C r o n b a c h y a s o c ,
p o r c o n t r a p o s i c i n c o n u n t i p o de i n v e s t i g a c i n bsica
implicados, sin q u e se vea m e r m a d a la c a l i d a d c i e n t f i c a de sus resultados. E l contacto con la r e a l i d a d es m a y o r en el evaluador, el c u a l reconoce el c a r c t e r aplicad o de su trabajo y es consciente de q u e debe c o m p a g i n a r los factores p o l t i c o s e
i d e o l g i c o s c o n la c a l i d a d c i e n t f i c a . C o m o i n v e s t i g a d o r a p l i c a d o , el e v a l u a d o r
muestra una m a y o r p r o x i m i d a d a c o n t e x t o s profesionales en d o n d e debe dar res-
c i n e n t r e ciencia b s i c a y aplicada es t i l p a r a a p r o x i m a r s e a dos t i p o s de investi-
1980; G u b a y L i n c o l n , 1989). N o obstante, m u c h o s evaluadores t r a t a n de c o m p a g i -
g a c i n d i f e r e n c i a d o s p o r sus i n t e n c i o n e s y los c o n d i c i o n a n t e s d e l c o n t e x t o d e estu-
n a r y aprovecharse de t o d a s las p o s i b i l i d a d e s d e - a c t u a c i n , si ello es til para
d i o . N o obstante, su v a l o r c o n c e p t u a l es m u y l i m i t a d o p o r q u e l a l g i c a q u e sigue
afrontar cada p r o b l e m a de i n v e s t i g a c i n p a r t i c u l a r .
la i n v e s t i g a c i n es m u y s i m i l a r e n ambos casos. Q u e d a c l a r o q u e la d i s t i n c i n en-
U n a s n t e s i s de las diferencias e n t r e i n v e s t i g a c i n social b s i c a y aplicada debe-
t r e ambas e s t superada desde hace a o s , y r e s u l t a confusa p a r a analizar el p r o -
r a incluir el p r o b l e m a de la audiencia a q u i e n se d i r i g e los resultados del i n f o r m e ,
b l e m a de c m o d e s a r r o l l a r u n c o n o c i m i e n t o v l i d o y s o c i a l m e n t e r e l e v a n t e ( B l a n -
el e n f r e n t a m i e n t o entre " m t o d o s suficientemente b u e n o s " frente a " m t o d o s me-
c o , F e r n n d e z - D o l s , H u i c i y M o r a l e s , 1985; R e b o l l o s o , F e r n n d e z - R a m r e z y
j o r e s " , la i n t e r d i s c i p l i n a r i e d a d e i n v e s t i g a c i n m u l t i m t o d o frente a la especializa-
C a n t n , 2003).
c i n , y los asuntos p r c t i c o s frente a los t e r i c o s ( v a s e t a m b i n el cuadro 1.1).

A u n q u e todas las actividades de e v a l u a c i n t i e n e n l g i c a m e n t e u n c a r c t e r aplicado, n o siempre su r e l a c i n c o n l o t e r i c o e s t b i e n d e l i m i t a d a . S e g n Rossi y Free-
1.2.
E v a l u a c i n e i n v e s t i g a c i n social
m a n (1989), existen diferencias cualitativas entre ellas. L a i n v e s t i g a c i n b s i c a suele iniciarse c o n el p r o p s i t o de satisfacer la c u r i o s i d a d intelectual del investigador,
L a e v a l u a c i n d e b e d i s t i n g u i r s e de la i n v e s t i g a c i n social t r a d i c i o n a l ( R e b o l l o s o y
q u i e n aspira a c o n t r i b u i r c o n su t r a b a j o al c o n o c i m i e n t o de base del r e a sustantiva
M o r a l e s , 1996). A m b a s actividades se g u a n p o r los c n o n e s c i e n t f i c o s , p e r o la
de la ciencia o b j e t o de su i n t e r s . E n c o n t r a p o s i c i n , la i n v e s t i g a c i n aplicada tiene
e v a l u a c i n debe a d e m s o b l i g a t o r i a m e n t e resultar til e n la s o l u c i n de los p r o -
su o r i g e n en l a necesidad de resolver u n p r o b l e m a p r c t i c o y responder a la d e m a n -
b l e m a s ( C r o n b a c h y asoc., 1980; C h e l i m s k y , 1983). E n c o n c r e t o , la a c t i v i d a d eva-
da de distintos grupos de personas y grupos afectados por un d e t e r m i n a d o p r o b l e -
l u a t i v a es d i f e r e n t e p o r q u e (Weiss, 1990): e s t destinada al uso; d e r i v a sus p r e g u n -
ma social. A s , pues, queda c l a r o q u e el p r i m e r i m p e r a t i v o para el evaluador es
tas de los p r o b l e m a s que interesan a los responsables y los usuarios d e l p r o g r a m a ;
c o m p r e n d e r la " e c o l o g a social" d e l c a m p o en q u e va a desarrollar su trabajo.
persigue realizar u n j u i c i o c o m p a r a t i v o e n t r e a l t e r n a t i v a s d e a c c i n ; se d e s a r r o l l a
L a segunda diferencia tiene que ver c o n la regla de o r o que rige el m o d o p r a g -
d e n t r o d e l p r o g r a m a , p o r l o q u e debe a t e n d e r especialmente las d i m e n s i o n e s p o -
m t i c o de ejecutar la e v a l u a c i n , de m a n e r a que sea l o "suficientemente
l t i c a s y estructurales de l a o r g a n i z a c i n de servicios; d e b e r e s o l v e r los c o n f l i c t o s
p a r a r e s p o n d e r a d e c u a d a m e n t e a las cuestiones b a j o e s t u d i o . E s t o c o n l l e v a la
buena"
de r o l que surgen c o n los evaluados; a u n q u e la d i f u s i n de l a i n v e s t i g a c i n es ne-
a s u n c i n de que existen grados de justeza y a d e c u a c i n de la e v a l u a c i n a los o b -
cesaria para c o n t r i b u i r al avance de la d i s c i p l i n a , es m s difcil p o r los p r o b l e m a s
j e t i v o s que persiguen los c n o n e s de la i n v e s t i g a c i n c i e n t f i c a . G e n e r a l m e n t e los
de reserva y c o n f i d e n c i a l i d a d de los datos, las d i f i c u l t a d e s t e m p o r a l e s d e l e s t u d i o y
investigadores b s i c o s poseen una f o r m a c i n de a c u e r d o c o n una singular o r i e n t a -
los p r o b l e m a s de g e n e r a l i z a b i l i d a d ; p o r l t i m o , el e v a l u a d o r e s t c o m p r o m e t i d o
c i n d i s c i p l i n a r i a a la que p e r m a n e c e n fieles d u r a n t e el d e s a r r o l l o de toda su ca-
con el c o n o c i m i e n t o social, p e r o t a m b i n c o n l a a p l i c a c i n d e l c o n o c i m i e n t o para
r r e r a p r o f e s i o n a l , y una firme a d h e s i n a un m a r c o c o n c r e t o de p r o c e d i m i e n t o s
la m e j o r a y en su caso c o n la o r g a n i z a c i n q u e paga y necesita el e s t u d i o .
m e t o d o l g i c o s . Su c a m p o de c o n o c i m i e n t o y de e s t u d i o e s t l i m i t a d o a u n deter-
E l i n v e s t i g a d o r c o n v e n c i o n a l defiende la o b j e t i v i d a d c o m o u n v a l o r i m p r e s c i n d i b l e , e v i t a n d o asumir u n a f u n c i n v a l o r a t i v a t e m e r o s o de q u e sus valores e i d e o -
m i n a d o d o m i n i o de la ciencia. P o r e j e m p l o , el e c o n o m i s t a q u e hace de los costes

del c u i d a d o sanitario su c a m p o de i n v e s t i g a c i n y aplica consistentemente
mode-
Capitulo I: Polticas, programas y evaluaciones
2 2 j Porte I: D i s e o de policas y programas de intervencin social
los e c o n o m t r i c o s . D e f o r m a semejante, e l p s i c l o g o social o el s o c i l o g o q u e ha-
O t r a gran diferencia descansa en el t i p o de audiencia y en el c r i t e r i o para v a l o -
cen de la o b s e r v a c i n p a r t i c i p a n t e el p r i n c i p a l m t o d o de estudio en los procesos
rar la u t i l i z a c i n d e l t r a b a j o aplicado. L a a u d i e n c i a d e l investigador b s i c o es l a fa-
de e n s e a n z a y aprendizaje. P o r el c o n t r a r i o , los evaluadores g e n e r a l m e n t e se d i -
milia '!<" colegas o pares q u e p e r t e n e c e n a su m i s m o c a m p o de e s p e c i a l i z a c i n , y la
versifican en su t r a b a j o i n t e n t a n d o dar respuestas a cuestiones q u e exigen f a m i l i a -
u t i l i z a c i n se juzga por el uso de sus d e s c u b r i m i e n t o s en la l i t e r a t u r a cientfica y el
ridad
grado r n ipi< B l l i m u l a n el t r a b a j o de o t r o s . P o r su p a r t e , los investigadores aplica-
con u n a m p l i o a b a n i c o de t e o r a s y m t o d o s de i n v e s t i g a c i n . Esta d i f e r e n -
cia c o n e l i n v e s t i g a d o r b s i c o o c a s i o n a p r o b l e m a s a la h o r a de d e c i d i r q u
dos se juzgan a :\ mismos o son juzgados p o r los p a t r o c i n a d o r e s y destinatarios de
perspectivas t e r i c a s y m e t o d o l g i c a s d e b e r a n ser la base de l a f o r m a c i n y d e l
sus trabajos, y la u t i l i z a c i n se v a l o r a p o r el g r a d o de c o n t r i b u c i n a la i m p l e m e n -
ejercicio p r o f e s i o n a l de los evaluadores (Shadish y R e i c h a r d t , 1987).
t a c i n y d c s a n o l l o ile p o l t i c a s y p r o g r a m a s y, en d e f i n i t i v a , a la s o l u c i n de los
p r o b l e m a s sociales
R e s u m i e n d o , In e v a l u a c i n es p r e p o s i t i v a , i n v e s t i g a c i n social a p l i c a d a . E n
Cuadro I . I . Consideraciones de tipo pragmtico y de tipo cientfico
contraste c o n la i n v e s t i g a c i n b s i c a , la e v a l u a c i n t i e n e c o m o o b j e t i v o resolver
p r o b l e m a s p r c t i c o s Su-, pi ai In antes d e b e n estar f a m i l i a r i z a d o s y t r a t a r con d i f e -
Uno de los artculos mis influyentes en evaluacin ha sido, sin duda, el que escribiera Donald Campbell en 1969. Aqu subraya su posicin ideolgica de que la poltica y las decisiones sobre los programas
deben emerger de la comprobacin continua de las formas de mejorar las condiciones sociales, y que los
esfuerzos de cambio social que realiza la sociedad deben estar enraizados en la eioperimentan social. La
comunidad y la nacin, si no el mundo entero, deberan ser considerados como un laboratorio de experimentacin social Tanto l como sus coUbciradores promovieron esta posicin y se dedicaron a perfeccionar la metodologa de la investigacin social, afinde convertir la sociedad en una sociedad que experimenta (por ejemplo. Cook y Campbell. 1979).
En consecuencia, Campbell persigue imponer d modelo experimental en la investigacin de evaluacin, tal y como se practica en la psicologa social Aunque atemperada en escritos posteriores (Campbell,
196-4). su posicin se caracteriza por ajustar la investigacin de evaluacin al paradgma de investigacin social cientfica.
En contraste con esta visin, otro gigante de la evaluacin. I ee J Cronbach (1982). estadstico e investigador, an reconociendo que tanto la nvestigaan cientfica como la evaluacin pueden usar la misma lgica de indagacin y los mismos procedimientos de investigacin, considera que los propsitos e rrtentos
son diferentes (Cronbach, 1982). La evaluacin es un arte, y cada evaluacin representa un esfuerzo idiosincrsico por satisfacer las necesidades de los patroanadores y stokehoters de los programas. La investigacin cientfica persgue ajustarse y satisfacer un conjunto de estndares de la investigacin formulados peaIos pares-, mientras que las evaluaciones necesitan disearse e implenieritarse de forma que reconozcan los
intereses de los polticos y patrocinadores y que proporcionen una informacin til para bs que toman decisiones, dadas las usualesrestriccionesy condicionamientos de tos recursos disponibles y las circunstancias
polticas del programa En palabras del mismo Cronbach (1982.1 -2):
rentes m t o d o s de varias disciplinas sociales y ser capaces de aplicarlas a d i f e r e n tes tipos de p r o b l e m a s . A d e m s , los c r i t e r i o s p a r a j u z g a r el t r a b a j o i n c l u y e n su u t i l i z a c i n y p o r t a n t o su i m p a c t o en los p r o g r a m a s y en l a c o n d i c i n h u m a n a . Las
diferencias entre e v a l u a c i n e i n v e s t i g a c i n no llegan a d i s o c i a r ambas a c t i v i d a des. A u n q u e a veces se considere la e v a l u a c i n c o m o u n m o d o " i n f e r i o r " e n c o m p a r a c i n c o n la i n v e s t i g a c i n b s i c a , r e q u i e r e c o n o c i m i e n t o s y destrezas m s a m plias y una f o r m a c i n c o n c e p t u a l y m e t o d o l g i c a v a r i a d a , para superar l a m e n o r
capacidad de c o n t r o l sobre el estudio (Weiss, 1990).
Respecto a la s i t u a c i n disciplinar de la e v a l u a c i n , las interpretaciones de su
estatus son variadas:
Es una m s de las derivaciones de las Ciencias sociales aplicadas ( R e b o l l o so, 1987,1994a; R i e c k e n y B o r u c h , 1974; Rossi y F r e e m a n , 1989).
Es una m u l t i d i s c i p l i n a q u e p r o v i e n e de m u c h o s campos y disciplinas (Perloff, P e r l o f f y Sussna, 1976).

N o es r e a l m e n t e u n c a m p o de i n v e s t i g a c i n , p o r q u e n o existe u n c u e r p o
a c u m u l a d o de c o n o c i m i e n t o y la i n v e s t i g a c i n e s t dispersa (Sechrest y F i gueredo, 1993).
El propsito central de la evaluacin difiere del de la investigacin social bsica en que las evaluaciones se
ajustan a diferentes contextos reLionales y polticos. La estrategia de la investigacin evaluativa por Unto requiere especial consideracin La lgica es necesariamente la misma que la de la rvdagadn cientfica, pero la
traduccin de la lgica a un procedimiento debera depender del contexto, propsito y resurtido esperado.
Muchas recomendaoonel apropiadas para los programas a largo plazo de la investigacin cientfica se ajustan
bastante mal a la evaluacin. Por tanto, los tratados generales sobre el rise/to y el mtodo dentco no resurtan
pertinentes para guiar al evaluador las recomendaciones generales para la evaluacin tambin pueden levar a
confusin: las evaluaciones no deberanfraguarseen un soto molde. Para cualquier evaluacin se pueden proponer dseftos muy buenos, peno no perfectos
Algunas veces, pueden emprenderse evaluaciones y se puede entender que son lo "suficientemente
buenas' para responder a cuestiones relevantes polticas o de programas, aunque desde el punto de vista
cientfico no sean representativas de los mejores diseo; las evaluaciones pueden alejarse de los diseos
ideales cientficos. No obstante, una visin pragmtica debe entender tambin que la evaluacin est enraizada en la metodologa cientfica, a pesar de ser sensible a los corKkkjramientos de los recursos, necesidades y propsitos de las personas que apoyan los programas, y a ta naturaleza del contexto de la evaluacin.
A l v i r a (1998) le a t r i b u y e u n c a r c t e r i n t e r d i s c i p l i n a r , p o r q u e efectivamente
ha e m e r g i d o de campos distintos, p e r o n i los m o d e l o s t e r i c o s n i las m e t o d o l o g a s q u e se e m p l e a n llegan a ser e s t r i c t a m e n t e distintas o alternativas.
Para Scriven (1994) a d q u i e r e u n c a r c t e r transdisciplinar, presente en m l tiples disciplinas c o m o una a c t i v i d a d c o m n .
1.3. D e s a r r o l l o h i s t r i c o d e l a i n v e s t i g a c i n d e e v a l u a c i n
E l uso s i s t e m t i c o de la e v a l u a c i n para la m e j o r a social es u n f e n m e n o r e l a t i v a m e n t e m o d e r n o , en el q u e d e s e m p e a u n i m p o r t a n t e p a p e l la e x t e n s i n de las
ciencias sociales en las universidades y el a p o y o p o l t i c o a la i n v e s t i g a c i n social
( R e b o l l o s o y R e b o l l o s o , 1998b). D u r a n t e d c a d a s se enmarca en el c o n t e x t o p o l i -
t | Porte ': Diseo de polticas y programas de intervencin social
Captulo : Polticas, programas y evaluaciones
25'
tico de los Estados U n i d o s . S l o m u y r e c i e n t e m e n t e c o b r a i m p o r t a n c i a y t e ex-
de a p l i c a c i n . E l d e s a r r o l l o m s a m p l i o de la e v a l u a c i n de p r o g r a m a s se p r o -
t i e n d e p o r E u r o p a y algunos otros p a s e s a s i t i c o s , africanos o suramericanos. n i
duce d u r a n t e las a d m i n i s t r a c i o n e s d e los p r e s i d e n t e s K e n n e d y y J o h n s o n
donde, n o obstante, las actividades de e v a l u a c i n responden a la i m p l e m e n t a c i n di
on Poverty,
The Great
Society),
(War
v i n c u l a d o s c o n l a r e a l i z a c i n de " d e m o s t r a c i o -
programas p r o m o v i d o s p o r instituciones estadounidenses ( W . K . K e l l o g F o l l a d at i 011,
nes" y de " p r o g r a m a s i n n o v a d o r e s " . Es i m p o r t a n t e el p a p e l d e l C o n g r e s o n o r -
Rockefeller F o u n d a t i o n , Fao, Unicef, etc.).
t e a m e r i c a n o en el c o n t r o l d e las i n t e r v e n c i o n e s sociales, en respuesta a las n o -
L a h i s t o r i a de la e v a l u a c i n c o r r e paralela a la de los esfuerzos p o r ere ai OTO

gramas bajo el a m p a r o estatal d i r i g i d o s a c u b r i r las necesidades sociales. L o s anos
ticias sobre fraudes y d e r r o c h e s , y a la s e n s i b i l i d a d social c o n t r a la l e g i t i m i d a d

de las i n v e r s i o n e s p b l i c a s ( S h a d i s h , C o o k y L e v i t n , i 9 9 1 ) . L a e v a l u a c i n era
t r e i n t a m a r c a n el i n i c i o de este t i p o de p r o g r a m a s e n distintos m b i t o s de aplica
r e q u e r i d a p a r a d e m o s t r a r q u e se l o g r a b a n g a n a n c i a s e n las c o n d i c i o n e s socia-
c i n (Rossi y F r e e m a n , 1989), c o m o p o r e j e m p l o e n los campos de la e d u c a c i n
les de v i d a gracias a los p r o g r a m a s y q u e se e v i t a b a n a s efectos n o deseados.
(Tyler, D e w e y ) , la salud p b l i c a y la a c c i n c o m u n i t a r i a . E n p s i c o l o g a , el desarro-
I g u a l m e n t e , era r e q u e r i d a p a r a a p o y a r la i m p l e m e n t a c i n c o r r e c t a de los p r o -
l l o m e t o d o l g i c o en la m e d i c i n de las actitudes ( B o g a r d u s , 1925; K a t z y Braly,
gramas a n i v e l l o c a l .
1933; L i k e r t , 1932; T h u r s t o n e , 1928) y e n la e x p e r i m e n t a c i n social ( A l l p o r t , 1924;

L e w i n , 1946; M a y o , 1933) suponen u n avance c o n s i d e r a b l e . D u r a n t e la Segunda
G u e r r a M u n d i a l son destacables los trabajos sobre p r o p a g a n d a , m o r a l y liderazgo
e n el e j r c i t o n o r t e a m e r i c a n o ( D o o b , 1935; Stouffer, S u c h m a n , D e V i n n e y et al.,
1949; H o v l a n d et al, 1949, 1953). L o s c i e n t f i c o s sociales t u v i e r o n o p o r t u n i d a d de
a p l i c a r y p o n e r a p r u e b a su c o n o c i m i e n t o para analizar y m e j o r a r el f u n c i o n a m i e n t o de la a d m i n i s t r a c i n p b l i c a n o r t e a m e r i c a n a . I n i c i a l m e n t e , su i n t e r s fue
m e r a m e n t e a c a d m i c o , p e r o una vez q u e los p r o g r a m a s sociales se f u e r o n haciend o m s c o m p l e j o s , se necesitaron profesionales especializados en distintas ciencias
sociales p a r a c u b r i r los puestos m e d i o s y t c n i c o s d e g e s t i n de los p r o g r a m a s
( t e e n c r a t a s , especialistas e n a d m i n i s t r a c i n p b l i c a ) .
D u r a n t e los a o s sesenta y setenta a p a r e c e n m u l t i t u d de p u b l i c a c i o n e s per i d i c a s y m a n u a l e s de e v a l u a c i n ( S u c h m a n , C a m p b e l l , Weiss, Rossi y F r e e m a n , G u t t e n t a g y S t r u e n i n g , e t c . ) . R o s s i y F r e e m a n ( 1 9 8 9 ) o p i n a n q u e la e x p a n s i n se d e b i f u n d a m e n t a l m e n t e a l a d e m a n d a d e m t o d o s s o f i s t i c a d o s y al

avance en el d e s a r r o l l o de m t o d o s de i n v e s t i g a c i n y c l c u l o e s t a d s t i c o . A f i nales de este p e r o d o ya se constata u n c a m b i o c u a l i t a t i v o r e l a c i o n a d o c o n la
cada vez m a y o r i m p l i c a c i n de los i n t e r e s a d o s d e n t r o d e l proceso de e v a l u a c i n
( u s u a r i o s , gestores, p o l t i c o s ) . M s a l l de u n a m e r a a p l i c a c i n de m t o d o s , la
e v a l u a c i n se c o n s i d e r a p l e n a m e n t e c o m o u n a a c t i v i d a d p o l t i c a y de g e s t i n ,
p a r t e i n t e g r a l d e l a p o l t i c a social. L o s gestores n e c e s i t a b a n d a t o s e v a l u a t i v o s
p a r a a d m i n i s t r a r m e j o r y r e s p o n d e r a las p e t i c i o n e s de i n f o r m a c i n d e l C o n g r e -
K u r t L e w i n es e l c r e a d o r d e l a i n v e s t i g a c i n - a c c i n ( L e w i n , 1946), p o r la
c u a l m u c h o s le c o n s i d e r a n f u n d a d o r d e l a i n t e r v e n c i n s o c i a l e i n c l u s o de la
e v a l u a c i n t a l c o m o h o y l a c o n o c e m o s ( M o r a l e s , 1998; M o r a l e s y R e b o l l o s o ,
1996; R o s s i y F r e e m a n , 1989). L e w i n era u n a r d u o d e f e n s o r de l a e x p e r i m e n t a c i n d e n t r o de los sistemas sociales n a t u r a l e s e n q u e se p r e t e n d e el c a m b i o y, de
h e c h o , l a m e t o d o l o g a d e i n v e s t i g a c i n - a c c i n se e s t r u c t u r a de f o r m a s i m i l a r a
un e x p e r i m e n t o tradicional ( m a r c o t e r i c o , h i p t e s i s de trabajo, i n t e r v e n c i n
c o n t r o l a d a , recogida de datos, v a l o r a c i n de los cambios p r o d u c i d o s ) . L e w i n
a n t i c i p a en su a r t c u l o d e 1946 l a c o n v e n i e n c i a d e r e a l i z a r las a c t i v i d a d e s de
e v a l u a c i n de necesidades, e v a l u a c i n d e l d e s a r r o l l o d e l p r o g r a m a , e v a l u a c i n
so y de o t r o s interesados ( W h o l e y , 1983). Pocos p r o f e s i o n a l e s estaban capacitados p a r a r e s p o n d e r a las necesidades de e v a l u a c i n , y los f u n c i o n a r i o s p b l i c o s

c a r e c a n de h a b i l i d a d e s p r c t i c a s p a r a e l a n l i s i s d e los p r o g r a m a s sociales. A
p a r t i r de los a o s sesenta a p a r e c e n c u r r c u l o s a c a d m i c o s r e l a c i o n a d o s c o n estas necesidades y se i n c r e m e n t a l a p r o d u c c i n c i e n t f i c a . L a p r o f e s i o n a l i z a c i n
de la d i s c i p l i n a f u e r a d e l m u n d o a c a d m i c o se hace casi i n e v i t a b l e , t o d a vez que
los f o n d o s d i s p o n i b l e s para i n v e s t i g a c i n de e v a l u a c i n son l o s u f i c i e n t e m e n t e
g r a n d e s p a r a d a r t r a b a j o a t o d a u n a t r o p a de p r o f e s i o n a l e s ( S h a d i s h , C o o k y
L e v i t n , 1991).
d e l a eficacia o d e r e s u l t a d o s y e v a l u a c i n i n t e r n a o s e g u i m i e n t o desde d e n t r o .
L a f a l t a de r e s u l t a d o s q u e d e m o s t r a s e n la u t i l i d a d de los estudios e v a l u a t i -
T a m b i n e n su o b r a s o b r e l a t e o r a de c a m p o , L e w i n ( 1 9 5 2 ) d e s c r i b e , m s o m e -
vos y la l l e g a d a al p o d e r de los p o l t i c o s c o n s e r v a d o r e s d e r i v a r o n a finales de la
nos e x p l c i t a m e n t e , a c t i v i d a d e s i m p r e s c i n d i b l e s p a r a l a i n t e r v e n c i n s o c i a l , co-
d c a d a de los s e t e n t a en una d r s t i c a r e d u c c i n d e las i n v e r s i o n e s n o r t e a m e r i -
m o l a e v a l u a c i n de c o n t e x t o y d e e n t r a d a , c o n e l o b j e t i v o de d e s c r i b i r e l c o n -
canas e n p r o g r a m a s sociales. E l f o c o de a t e n c i n d e los e v a l u a d o r e s c a m b i p a -
t e x t o n o p s i c o l g i c o q u e e n m a r c a l a r e a l i d a d p s i c o l g i c a de personas y g r u p o s .
r a o c u p a r s e de las r e l a c i o n e s e n t r e costes y b e n e f i c i o s , la r e s p o n s a b i l i d a d
I g u a l m e n t e , p l a n t e a l a necesidad de c o n v e n c e r a los responsables p o l t i c o s y o b -
y l a eficacia de la g e s t i n . E s e j e m p l a r el caso d e l a era R e a g a n , e n la q u e se
fiscal
t e n e r l a c o o p e r a c i n a c t i v a de los p a r t i c i p a n t e s e n l a i n t e r v e n c i n m e d i a n t e u n
a p r o v e c h a r o n l o s r e c o r t e s d e la i n v e r s i n p b l i c a p a r a r e d u c i r l a i n f l a c i n y el
p r o c e s o de f o r m a c i n y e d u c a c i n , en e l q u e el i n v e s t i g a d o r a s u m e el p a p e l de
d f i c i t d e l gasto p b l i c o . P a r a d j i c a m e n t e , la m e n o r i n v e r s i n en acciones so-
asistente.
ciales n o s u p u s o u n r e t r o c e s o de l a e v a l u a c i n , si b i e n su c r e c i m i e n t o n o fue tan
Para finales de los a o s c i n c u e n t a , los c i e n t f i c o s sociales e s t n ya i n m e r s o s

e n m u l t i t u d de p r o g r a m a s d e i n t e r v e n c i n y e n u n a a m p l i a v a r i e d a d de c a m p o s
espectacular c o m o en el p e r i o d o a n t e r i o r , y se p r o d u j o u n p e r o d o de
estabiliza
c i n y a f i a n z a m i e n t o de la e v a l u a c i n c o m o a c t i v i d a d a c a d m i c a y p t o f c s i o n . i l
26
Copitulo I: Polticas, programos y evaluaciones i
Pone I: Diseo de polticos y propomas de intervencin social
1.4. S i t u a c i n a c t u a l d e l a i n v e s t i g a c i n d e e v a l u a c i n
te el proceso desde d i f e r e n t e s p u n t o s de vista ( m a y o r s o f i s t i c a c i n c o n c e p t u

mejores relaciones sociales, i d e n t i d a d s o c i a l f o r t a l e c i d a , m e j o r e s perspectivas de
D e s d e los a o s ochenta y n o v e n t a , los g o b i e r n o s r e p u b l i c a n o s n o r t e a m e r i c a n o s
; i s . i uando e s t n o r i e n t a d a s hacia la i n v e s t i g a c i n c u a l i t a t i v a , se d e s a r r o l l a n si-
grandes programas sociales. Sin e m b a r g o , c o n l a a p a r i c i n de nuevos p r o b l e m a s
g u l e o d o m o d e l o s p a r t i c i p a t i v o s , e n los q u e los v a l o r e s de n e g o c i a c i n y r e s p o n s i -
sociales (homeless,
vi,l.ol son fundamentales
S i d a ) , se asiste a u n i n c r e m e n t o e n el n m e r o de estudios reali-
zados, a pesar de la a b u n d a n c i a de c r t i c a s m u c h a s veces establecidas en u n t e r r e n o i d e o l g i c o . I g u a l m e n t e , la i n c o r p o r a c i n de n u e v o s contextos g e o g r f i c o s d e n -
->
! , , | n ) ( H u e b n e r y B e t t s , 1999; F e t t e r m a n , 1997). Estas evaluaciones i n t e r -
h a n d e f e n d i d o el r e c o r t e de los presupuestos dedicados a la a p l i c a c i n masiva de
( R e b o l l o s o , F e r n n d e z - R a m r e z , C a n t n y Pozo,
2000)
I J I e v a l u a c i n en E u r o p a se ha i n c o r p o r a d o a la disciplina c o n u n fuerte e m -
t r o d e l f e n m e n o de g l o b a l i z a c i n y l i b e r a l i z a c i n de los mercados m u n d i a l e s ha
pujc d t d c los a o s n o v e n t a . L a s r e u n i o n e s de l a European
p r o p i c i a d o l a e x p o r t a c i n de la e v a l u a c i n fuera de las fronteras norteamericanas,
la c r e a c i n de sociedades nacionales de e v a l u a c i n e n casi todos los p a s e s de la
y su p r c t i c a ha alcanzado a casi todos los g o b i e r n o s occidentales y a los p r o g r a -
U n i n I UTOpea y la a p a r i c i n de la revista Evaluation
mas de c o o p e r a c i n i n t e r n a c i o n a l ( C h e l i m s k y y Shadish, 1997). E n m u c h o s luga-
las prestigiosas Sage y T a v i s t o c k ) son los h i t o s q u i z fundamentales. E n E s p a a , la
res, las tareas evaluativas se han e x t e n d i d o y a s u m e n las actividades de a u d i t o r a ,
r e a l i d a d de la e v a l u a c i n en n u e s t r o p a s era casi a n e c d t i c a hasta hace apenas
Evaluation
Society,
(editada c o n j u n t a m e n t e p o r
m e d i d a de la e j e c u c i n o g e s t i n de la c a l i d a d , hasta t a l p u n t o q u e en m u c h o s p a -
una d c a d a . M u y pocos i n v e s t i g a d o r e s y apenas a l g n p r o g r a m a de f o r m a c i n
ses los centros d e e v a l u a c i n ofrecen u n s e r v i c i o m i x t o q u e n o d i s t i n g u e c l a r a m e n -
eran el reflejo de la escasa d e m a n d a de actividades evaluativas. Sin e m b a r g o , la si-
te entre estas actividades ( B r o o k s , 1997; W h o l e y , 1997).
t u a c i n actual ha c a m b i a d o de m a n e r a p r o m e t e d o r a ( F e r n n d e z - R a m r e z y R e b o -
Se asiste a d e m s al d e s a r r o l l o de u n a t e o r a de l a e v a l u a c i n q u e i n t e n t a su-
l l o s o , 2006). Las presiones para la i n t e g r a c i n en las estructuras a d m i n i s t r a t i v a s y
p e r a r la f r a g m e n t a c i n d e r i v a d a de las m l t i p l e s p r o c e d e n c i a s de los i n v e s t i g a -
e c o n m i c a s de la U n i n E u r o p e a ha g e n e r a l i z a d o la d e m a n d a en contextos m u y
d o r e s y d e l c a r c t e r r e a c t i v o d e l d e s a r r o l l o c o n c e p t u a l y m e t o d o l g i c o en res-
diversos (sanidad, e d u c a c i n , justicia...). L a e v a l u a c i n f o r m a p a r t e de los m l t i -
p u e s t a a p r o b l e m a s e s p e c f i c o s de l a p r c t i c a e v a l u a t i v a ( S h a d i s h , C o o k y
ples procesos de a c r e d i t a c i n en q u e p a r t i c i p a n las instituciones p b l i c a s y o r g a n i -
L e v i t n , 1991). L a t e o r a p r o v i e n e de l a i n t e r a c c i n e n t r e los p r o b l e m a s que se
zaciones privadas e s p a o l a s , c u m p l i e n d o u n d o b l e p r o p s i t o . P r i m e r o , u n a f u n -
e n c u e n t r a n en la p r c t i c a , las t r a d i c i o n e s a c a d m i c a s de cada i n v e s t i g a d o r y las
c i n de p e r f e c c i o n a m i e n t o , centrada en la i m p l a n t a c i n de sistemas de r e c o g i d a
soluciones q u e i n t e n t a n ( C o o k y Shadish, 1986; Shadish y R e i c h a r d t , 1987). L a
de i n f o r m a c i n q u e p e r m i t a n decisiones p o l t i c a s m e j o r fundamentadas y la crea-
t r a d i c i o n a l i n s a t i s f a c c i n c o n el i m p a c t o de las e v a l u a c i o n e s a g r a n escala en las
c i n de planes e s t r a t g i c o s de m e j o r a . Segundo, u n a f u n c i n de r e s p o n s a b i l i d a d ,
decisiones p o l t i c a s ha f a v o r e c i d o t a m b i n l a a p a r i c i n de nuevas o r i e n t a c i o n e s
c e n t r a d a en la a c r e d i t a c i n a t r a v s de la e v a l u a c i n de los sistemas de g e s t i n y
m s p r x i m a s a los p r o b l e m a s de g e s t i n i n t e r n a d e los p r o g r a m a s y a la o r g a n i -
los resultados organizacionales en c o m p a r a c i n c o n los e s t n d a r e s y n o r m a s d e f i -
z a c i n de servicios. Sin d u d a , las a c t i v i d a d e s de e v a l u a c i n i n t e r n a son las q u e
nidos por algn organismo externo, p b l i c o o privado.
h a n e x p e r i m e n t a d o u n m a y o r c r e c i m i e n t o e n e l c a m p o de l a e v a l u a c i n , y es
p r e v i s i b l e q u e c o n t i n e a s e n los p r x i m o s a o s ( L o v e , 1 9 9 1 ; S o n n i c h s e n , 2000).
A d e m s de s t a s , l a v i t a l i d a d de n u e s t r o c a m p o de i n v e s t i g a c i n se aprecia e n l a
a p a r i c i n r e c i e n t e de n u e v o s m t o d o s y p e r s p e c t i v a s , tales c o m o l a e v a l u a c i n
m u l t i m t o d o ( C a r a c e l l i y R i g g i n , 1994; D a t t a , 1 9 9 7 ) , e s t u d i o s de caso ( S t a k e ,
1995; T i n , 1994), e v a l u a c i n cluster
( W . K . K e l l o g F o u n d a t i o n , ' 1995), e v a l u a c i n
i n d e p e n d i e n t e ( N o r t h , 1997) o e v a l u a c i n p a r a el f o r t a l e c i m i e n t o ( F e t t e r m a n ,
1997). L a c u e s t i n n o es m e r a m e n t e el i n c r e m e n t o o r e d u c c i n d e los f o n d o s p b l i c o s , sino q u e el c a m b i o d e perspectivas r e q u i e r e u n c o n j u n t o d e p l a n t e a m i e n tos y p r e g u n t a s e v a l u a t i v a s diferentes ( F r e e m a n , 1983). E n g r a n m e d i d a la f u n c i n de e v a l u a c i n ha pasado a ser, e n las agencias de servicios y o r g a n i z a c i o n e s
L a escasez de p r o g r a m a s de f o r m a c i n y de publicaciones especializadas, j u n t o

a l a g r a n d e m a n d a de actividades de e v a l u a c i n , ha p r o p i c i a d o la a p a r i c i n de un
a m p l i o c o n j u n t o de profesionales de m u y diversos campos, q u e asumen l a realizac i n de las actividades careciendo en m u c h o s casos de u n a f o r m a c i n adecuada.
L a r e a l i z a c i n de congresos y conferencias nacionales, o la c r e a c i n de la Sociedad
E s p a o l a de E v a l u a c i n , v i n c u l a d a a la European
Evaluation
Society,
representan
esfuerzos notables p o r p a r t e de la c o m u n i d a d de evaluadores p o r d e f i n i r su p e r f i l

p r o f e s i o n a l y r e i v i n d i c a r u n c a m p o d e t r a b a j o q u e demasiadas veces se c o n f u n d e
con la p r c t i c a b u r o c r t i c a y a d m i n i s t r a t i v a , o l v i d a n d o el c a r c t e r c i e n t f i c o y esp e c i a l i z a d o de la e v a l u a c i n que se realiza en o t r o s p a s e s ( V l e z , 2003).
q u e dispensan y g e s t i o n a n los p r o g r a m a s , u n a a c t i v i d a d a s u m i d a p o r l a p r o p i a
p l a n t i l l a p r o f e s i o n a l d e n t r o de las r u t i n a s y procesos d i a r i o s de t r a b a j o . L a eval u a c i n i n t e r n a persigue o b t e n e r i n f o r m a c i n p a r a m e j o r a r el d e s e m p e o o r g a n i z a c i o n a l , p e r o t a m b i n el f o r t a l e c i m i e n t o (empowerment)
1.5. C a r a c t e r s t i c a s d e l p r o c e s o d e e v a l u a c i n
de las personas q u e
p a r t i c i p a n en las a c t i v i d a d e s e v a l u a t i v a s , las cuales r e s u l t a n e n r i q u e c i d a s d u r a n -
L a e v a l u a c i n es u n a a c t i v i d a d s o c i a l c o m p l e j a q u e exige l a p a r t i c i p a c i n de un
b u e n n m e r o de p e r s o n a s y la m o v i l i z a c i n de m l t i p l e s recursos. D a d o e l ca-
-w | reine i: uiseno ae politKm y programas de intervencin socio/
Capitulo I: Polticas, programas y evaluaciones | 29
r c t e r p o l t i c o de las o r g a n i z a c i o n e s r e s p o n s a b l e s de los p r o g r a m a s i i > i.ii.
m o d i f i c a c i o n e s respecto a la f o r m a e n q u e e! p r o g r a m a opera, o se p u e d e reco-
signiGcado de la e v a l u a c i n c o b r a i m p o r t a n c i a p a r a l o g r a r q u e las e x p e c t a t i v a
m e n d a r que se c o n t i n e c o n l o q u e se suspenda su r e a l i z a c i n . E l segundo de
de los i m p l i c a d o s sean realistas y q u e las r e l a c i o n e s e n t r e g r u p o s c o n t r i b u y a n ni
los usos i n c l u y e el c a m b i o de creencias o a c t i t u d e s respecto al p r o g r a m a o su
x i t o d e las a c t i v i d a d e s . Para R o s s i y F r e e m a n ( 1 9 8 9 ) , l a e v a l u a c i n se c a | i i
e j e c u c i n (uso c o n c e p t u a l ) . Es decir, los r e s u l t a d o s de una e v a l u a c i n
r i z a p o r ser e s e n c i a l m e n t e u n p r o c e s o s i s t e m t i c o , s i g n i f i c a t i v o y o r g a n i z a d o
i n f l u i r en las o p i n i o n e s sobre el p r o y e c t o y l a f o r m a en q u e opera. Tales c a m -
In
pueden
e v a l u a c i n es e n m u c h a s o c a s i o n e s l l e v a d a a c a b o b a j o la f o r m a d e u n provee i .
bios n o t i e n e n u n efecto i n m e d i a t o v i s i b l e , p e r o p u e d e n c a m b i a r o i n f l u i r en las
o p r o g r a m a . A u n q u e la e v a l u a c i n p u e d e aplicarse a m l t i p l e s objetos ( p l
acciones a l a r g o p l a z o .
e j e m p l o , la e v a l u a c i n de personas, e s t u d i a n t e s , e t c . ) , a q u nos c e n t r a m o s p r i n
L a e v a l u a c i n es una a c t i v i d a d significativa, en el sentido de que debe tener un
c i p a l m e n t e en la e v a l u a c i n de p r o g r a m a s o p r o y e c t o s c u y o d e s a r r o l l o t i e n e l u
significado c l a r o , sobre t o d o y m u y especialmente p a r a aquellos que e s t n i n v o l u -
g a r e n e n t i d a d e s u o r g a n i z a c i o n e s c o m o escuelas, h o s p i t a l e s , e n t i d a d e s
crados en el proceso y t i e n e n que t o m a r decisiones sobre ella. A l m i s m o t i e m p o ,
r i a s o agencias de s e r v i c i o s s o c i a l e s . Se e n t i e n d e p o r proyecto
banca
una empresa
t a m b i n ha de ser r e l e v a n t e y p r o p o s i t i v a : la relevancia
i m p l i c a que las evaluacio-
organizada que generalmente r e q u i e r e una plantilla cuyos m i e m b r o s desempe
nes son m s q u e meros escaparates de d i s e o y q u e c u m p l e n una f u n c i n i m p o r -
a n tareas y r e s p o n s a b i l i d a d e s d i s t i n t a s r e l a c i o n a d a s c o n la c o n s e c u c i n de m e
tante, necesaria, e v i t a n d o p r o d u c i r a b u r r i d o s i n f o r m e s que a nadie i m p o r t a n . L a
tas, o b j e t i v o s y a c t i v i d a d e s de los p r o g r a m a s q u e i m p l e m e n t a n . C o m o h e m o s
relevancia es u n aspecto de la e v a l u a c i n q u e se refleja en la e x a c t i t u d con que en-
v i s t o a n t e r i o r m e n t e , se e n t i e n d e p o r p r o g r a m a u n c o n j u n t o de a c t i v i d a d e s p l a -
frenta p r o b l e m a s t p i c o s y c r t i c o s que afectan a muchas personas, e n f o c n d o l o s y
n i f i c a d a s e i m p l e m e n t a d a s de f o r m a r a c i o n a l para l o g r a r a l g n p r o p s i t o espe-
t r a t n d o l o s de m a n e r a adecuada; la propositividad
c f i c o , g e n e r a l m e n t e r e l a c i o n a d o c o n l a m e j o r a de las c o n d i c i o n e s sociales de
finalidad.
las p e r s o n a s .
se traduce en i n t e n c i o n a l i d a d ,
Si la e v a l u a c i n recoge, analiza y d i f u n d e la i n f o r m a c i n p r o d u c i d a es
con el p r o p s i t o p r i n c i p a l de que sea u t i l i z a d a e n la t o m a de decisiones respecto al
U n p r o y e c t o p u e d e estar r e p r e s e n t a d o p o r u n d i s t r i t o escolar q u e i n t r o d u c e
proyecto evaluado.
u n p r o g r a m a de i n s t r u c c i n b i l i n g e p a r a e s t u d i a n t e s e x t r a n j e r o s ; o u n c e n t r o
E n los e j e m p l o s m e n c i o n a d o s m s a r r i b a , la e v a l u a c i n p o d r a ser p e r t i n e n -
m d i c o q u e lleva a cabo u n p r o g r a m a p a r a m e j o r a r las h a b i l i d a d e s d e los p r o f e -
te e n las decisiones c o n c e r n i e n t e s a la m e j o r a de la e f i c i e n c i a de las o p e r a c i o n e s
sores de e n f e r m e r a e n el d e s a r r o l l o d e tests de c o m p e t e n c i a . E s t o s p r o y e c t o s
del p r o y e c t o . A s , el p r o f e s o r a d o d e l p r o g r a m a escolar b i l i n g e n e c e s i t a r i n -
p u e d e n tener u n alcance r e l a t i v a m e n t e p e q u e o (empresa o i n s t i t u c i n l o c a l ) o
f o r m a c i n p a r a asegurarse q u e el p r o g r a m a l l e g a a las personas a p r o p i a d a s en
a m p l i o ( r e d de centros q u e i m p l a n t a n u n p r o g r a m a estatal de a y u d a a f a m i l i a s
la f o r m a a d e c u a d a . Y a la u n i d a d de f o r m a c i n de los c e n t r o s m d i c o s le s e r
c o n hijos d e p e n d i e n t e s ) . E n c u a l q u i e r caso, los d a t o s se r e c o g e n d e i n d i v i d u o s
de u t i l i d a d c o n o c e r la a c t i t u d de los profesores de e n f e r m e r a hacia los test de
q u e p a r t i c i p a n e n el p r o y e c t o , p e r o la e v a l u a c i n n o se c e n t r a e n e l l o s , s i n o en el
c o m p e t e n c i a o el x i t o q u e t i e n e e l p r o g r a m a d e f o r m a c i n e n t r e los m i s m o s
p r o y e c t o m i s m o ( e v a l u a c i n i n s t i t u c i o n a l ) o e n los p r o g r a m a s q u e d e s a r r o l l a
educadores. Estos e j e m p l o s m u e s t r a n c m o l a e v a l u a c i n p u e d e recoger d i s t i n -
( e v a l u a c i n de p r o g r a m a s ) . Es decir, e l p r o y e c t o o el p r o g r a m a s o n el o b j e t o de
tas clases de i n f o r m a c i n e n d i f e r e n t e s m o m e n t o s (antes de q u e un p r o y e c t o se
la e v a l u a c i n , l a e n t i d a d q u e se j u z g a , n o los i n d i v i d u o s q u e p a r t i c i p a n e n l y
p o n g a en m a r c h a , d u r a n t e su r e a l i z a c i n , o al final d e l m i s m o ) y t a m b i n c m o
q u e p r o p o r c i o n a n los d a t o s q u e m s t a r d e s e r n analizados.
diversas personas p u e d e n estar i n v o l u c r a d a s t a n t o e n el p r o y e c t o c o m o en su
E n l n e a s generales, c o n e l t r m i n o e v a l u a c i n se q u i e r e a l u d i r a u n p r o c e s o
e v a l u a c i n . E l d i r e c t o r d e l p r o y e c t o o p r o g r a m a ha de i n c l u i r en sus p r o c e d i -
s i s t e m t i c o de recoger, a n a l i z a r , v a l o r a r y d a r a c o n o c e r i n f o r m a c i n q u e p u e d e
m i e n t o s o p e r a t i v o s el t r a t o c o n cada g r u p o de p a r t i c i p a n t e s (stakeholders)
ser u t i l i z a d a p a r a c u m p l i r c o n e l r e q u i s i t o d e l a r e s p o n s a b i l i d a d , a u m e n t a r el
agencias q u e t e n g a n i n t e r s o e s t n i m p l i c a d a s e n el m i s m o . U n a f u n c i n i m -
c o n o c i m i e n t o d i s p o n i b l e sobre e l o b j e t o q u e va a ser e v a l u a d o , o m e j o r a r las
p o r t a n t e de esta persona es t r a b a j a r en estrecha c o l a b o r a c i n con los e v a l u a d o -
a c t i v i d a d e s u o p e r a c i o n e s d e las i n t e r v e n c i o n e s o p r o g r a m a s . C o n e l l o desea-
res a l o l a r g o d e l p r o c e s o e n t e r o de e j e c u c i n , r e s p o n s a b i l i d a d a la que se une la
m o s i n d i c a r q u e la e v a l u a c i n i m p l i c a p l a n i f i c a c i n , y n o i m p r o v i s a c i n o q u e se
de p r o m o c i o n a r a c t i v a m e n t e el uso de los r e s u l t a d o s e i n f o r m e s de la e v a l u a -
h a c e ad hoc o , d e a l g n m o d o , f o r z a d a p o r las c i r c u n s t a n c i a s . E l o b j e t i v o de l a
c i n . S i g u i e n d o c o n los e j e m p l o s , en el d i s t r i t o escolar, el d i r e c t o r de e n s e a n z a
p l a n i f i c a c i n es o b t e n e r a q u e l l a clase de i n f o r m a c i n c a p a z de d a r respuesta a
d e i d i o m a s es p r o b a b l e q u e sea t a m b i n e l a d m i n i s t r a d o r d e l p r o g r a m a de e d u -
las c u e s t i o n e s e s p e c f i c a s q u e p r e v i a m e n t e se h a y a n f o r m u l a d o . D e s p u s de la
c a c i n b i l i n g e . A u n q u e este a d m i n i s t r a d o r t e n g a q u e i n f o r m a r a o t r o s de m s
r e c o g i d a y a n l i s i s d e los d a t o s , las c o n c l u s i o n e s p u e d e n u t i l i z a r s e p r i n c i p a l -
r a n g o , p o r e j e m p l o al responsable de e d u c a c i n c o m p e n s a t o r i a o al d i r e c t o r del
m e n t e d e dos m o d o s .
d i s t r i t o escolar, l es q u i e n asume la r e s p o n s a b i l i d a d sobre e l f u n c i o n a m i e n t o y
U n o de l o usos i m p l i c a t o m a r decisiones r e s p e c t o a las
o p e r a c i o n e s d e l p r o g r a m a o i n c l u s o a su c o n t i n u a c i n en el t i e m p o ( u s o i n s t r u -
la e v a l u a c i n d e l p r o g r a m a . E n el c e n t r o m d i c o , e l d i r e c t o r de f o r m a c i n
m e n t a l ) . Es decir, b a s n d o n o s e n los d a t o s se p u e d e d e c i d i r l l e v a r a c a b o ciertas
a u x i l i a r e s de e n f e r m e r a es p r o b a b l e q u e sea t a m b i n a d m i n i s t r a d o r d e l p r o g r a -
de
30
Copitulo I: Polticos, programas y evaluaciones | i ,
Porte I: Diseo de polticas y programas de intervencin social

i . , .i-
|M i .
m e n t e si la i n f o r m a c i n q u e p r o d u c e a y u d a a s a t i s f a c e !
m a de m e j o r a de h a b i l i d a d e s . A u n q u e d e b a i n f o r m a r a o t r o s cargos a d m i n i s t r a -
r I )
t i v o s , en v i r t u d de su p o s i c i n y f o r m a c i n es el q u e e s t m e j o r e q u i p a d o p a r a
| s d e m a n d a s . I r las | i r i s o m i s . p i e m s la n e c e s i t a n .
d e s e m p e a r e f i c i e n t e m e n t e l a f u n c i n de i d e n t i f i c a r r e a s q u e n e c e s i t a n
eva-
luacin.
Para c o m p r e n d e r e n t o d o su alcance la d i m e n s i n significativa
de la evalua-
1.6. D r l
i . o i o n fm.il d e l c o n c e p t o d e
evaluacin
c i n , hay que incluir, a d e m s de la p r o p o s i t i v i d a d y la r e l e v a n c i a , la c r e d i b i l i d a d y

la i m p l i c a c i n activa en e l proceso. E n l o c o n c e r n i e n t e a la credibilidad,
hay dos
aspectos que deben ser considerados. P r i m e r o , suficiente c r e d i b i l i d a d t c n i c a ( p o r
R e b o l l o s o \ R|
bollOM
tos c l a v e i | i i r < o i i l o n i
(1998a) p r o p o n e n u n c o n j u n t o de c a r a c t e r s t i c a s o e l e m e n ' I c o n c e p t o de e v a l u a c i n :
e j e m p l o , u n d i s e o v l i d o , i n s t r u m e n t o s b i e n c o n s t r u i d o s , a n l i s i s e s t a d s t i c o s adecuados, etc.) p a r a hacer pensar que la i n f o r m a c i n ha sido o b t e n i d a o b j e t i v a m e n t e
razonables y f c i l m e n t e generalizables. D e b e recordarse que en e v a l u a c i n es dif-
activa,
Q u e sea til r n l a l o m a de decisiones y e n aspectos i n s t r u m e n t a l e s p a r a
Q u e e s t o r i e n t a d a a la excelencia o p e r f e c c i o n a m i e n t o , a d a p t n d o s e a las
Q u e e s t interesada en y p r o m u e v a el c a m b i o social.
tidas d r l | ti < if.i .una v s u s o b j e t i v o s .

conseguii u n a i i n i y o i elicai ia e n e l l o g r o de los fines.
necesidades i n f o r m a t i v a s de las audiencias.
si la e v a l u a c i n representa s o l a m e n t e una
c o n s i d e r a c i n m s e n t r e otras p r i o r i d a d e s m s acuciantes, entonces n o e x i s t i r e l

c o m p r o m i s o b s i c o que exige la i m p l i c a c i n n i e l i n t e r s p o r t o d o l o que e s t suced i e n d o e n el proceso. E n r e s u m e n , c o m o a c t i v i d a d significativa, la e v a l u a c i n c o n lleva creer e n su p r o p s i t o , c o n f i a r e n sus procesos y resultados, y p a r t i c i p a r activ a m e n t e en su d e s a r r o l l o . O b v i a m e n t e , t a l i m p l i c a c i n activa t e n d r e l efecto n o
s l o de hacer la e v a l u a c i n m s c o m p r e n s i v a al e v a l u a d o r sino t a m b i n a las personas que c o l a b o r a n en e l p r o y e c t o y e s t n asociadas a l .
E l concepto de e v a l u a c i n c o m o actividad significativa
n o c i n de actividad
organizada.
S | M . i . i l a t r m i o n a l a n l i s i s c i e n t f i c o de los p r o b l e m a s so-
sus recomendaciones y efectuar los cambios en la d i r e c c i n a p u n t a d a .

E n c u a n t o a la implicacin
i ii
Q u e e n l i i l i i r los |no< e s o s ile n e g o c i a c i n para d e f i n i r perspectivas c o m p a r -
tengan, a pesar de sus posibles diferentes intereses, confianza en el e v a l u a d o r y e n

dicha e v a l u a c i n . L a confianza debe llegar al p u n t o de estar dispuestos a seguir
i in,
ciencias o de v i o l a c i o n e s t c n i c a s . E n segundo lugar, la e v a l u a c i n d e b e tener l a

c r e d i b i l i d a d p r o f e s i o n a l asegurada, de manera q u e los d i s t i n t o s grupos i m p l i c a d o s
un l o y .i l.i v.ili .i ni i o n , es decir, la e m i s i n de j u i c i o s de v a l o r sobre u n
cialei.
cil aplicar u n b u e n d i s e o de i n v e s t i g a c i n y que c o n frecuencia hay que r e c u r r i r al

" m e j o r p o s i b l e " ( R e b o l l o s o , 1990a), l o que i m p o r t a es que se vea Ubre de insufi-
()ur
o b j e t o , i " in m m e n l e l o b f l I t eficacia de los p r o g r a m a s de a c c i n social.
y que, al m a r g e n de las p o l m i c a s m e t o d o l g i c a s , las conclusiones alcanzadas son
P o r su p a r t e , Rossi y W r i g b t (1984) s e a l a n tres conceptos fundamentales para

la r e a l i z a c i n de evaluaciones de c o r t e s i s t e m t i c o : evaluacin
(comprensiva),
de mximo
alcance
e n t e n d i d a c o m o una a c t i v i d a d h o l s t i c a d i r i g i d a a analizar de for-
m a g l o b a l la c o n c e p t u a l i z a c i n , la i m p l e m e n t a c i n y la u t i l i d a d de u n a i n t e r v e n c i n s o c i a l ; evaluacin
"ajustada"
(tailored
evaluation),
c u a n d o las a c t i v i d a d e s
e v a l u a t i v a s se ajustan al t i p o de p r o g r a m a d e i n t e r v e n c i n d e l que se t r a t e , en
f u n c i n de si es u n p r o g r a m a i n n o v a d o r , u n a m o d i f i c a c i n de u n p r o g r a m a exis-
se c o m p l e m e n t a c o n la
E n otras palabras, las evaluaciones d e b e n p l a n i f i -
t e n t e o u n a a c t i v i d a d p l e n a m e n t e e s t a b l e c i d a ; y evaluacin
teora,
orientada
por
la
cuando e s t construida por modelos t e r i c o s sobre el funcionamiento del
carse cuidadosamente, ejecutarse adecuadamente y difundirse de m o d o efectivo en-
p r o g r a m a , t i l e s p a r a o r i e n t a r la f o r m u l a c i n de cuestiones de i n v e s t i g a c i n , re-
tre las personas que p o t e n c i a l m e n t e p u e d e n u t i l i z a r l a i n f o r m a c i n e v a l u a t i v a . E n
c o g i d a y a n l i s i s de datos.
este p u n t o es d o n d e e l e v a l u a d o r o e l a d m i n i s t r a d o r d e l p r o g r a m a p u e d e n desem-
L a m a y o r a de autores e s t n de a c u e r d o en q u e la a c t i v i d a d clave de la evalua-
p e a r u n p a p e l crucial, c o n t r i b u y e n d o a o r g a n i z a r y dar f o r m a a la e v a l u a c i n , l o
c i n es la e m i s i n de j u i c i o s d e v a l o r ( S c r i v e n , 1991a; S t u f f l e b e a m y S h i n k f i e l d ,
cual les c o n v i e r t e en responsables l t i m o s de una e v a l u a c i n significativa.
Durante
1987; Weiss, 1990); se t r a t a de j u z g a r si u n o b j e t o es s u f i c i e n t e m e n t e b u e n o ( t i l ,
m u c h o t i e m p o la i n v e s t i g a c i n ha m o s t r a d o q u e l a presencia de una persona con
eficaz, a d e c u a d o , eficiente, e t c . ) . E l p r o c e d i m i e n t o m s e x t e n d i d o se identifica co-
a u t o r i d a d q u e tiene u n i n t e r s p e r s o n a l en l a e v a l u a c i n es d e f i n i t i v o p a r a e l uso
m o la lgica
que m s t a r d e se h a r de los resultados y c i e r t a m e n t e e l uso es e l p r i m e r i n d i c a d o r
l u a c i n , en t r m i n o s de a l g n i n d i c a d o r o escala de m e d i d a , c o n u n c o n j u n t o de
de que la e v a l u a c i n es significativa
( C r o n b a c h y asoc., 1980; P a t t o n , 1997). Por
c r i t e r i o s de v a l o r p r e v i a m e n t e i d e n t i f i c a d o s . S i n e m b a r g o , la f r m u l a n o d e b e en-
o t r a parte, p a r t i m o s de la base de q u e las personas que t i e n e n e n t r e sus c o m e t i d o s
g a a r n o s c o n su aparente sencillez, dada la v a r i e d a d de c o n t e x t o s y m b i t o s de
de Scriven
(Weiss, 1990), s e g n la cual se c o m p a r a e l o b j e t o de eva-
actividades de e v a l u a c i n desean q u e f u n c i o n e n l o m e j o r y m s e f i c i e n t e m e n t e p o -
a p l i c a c i n y las diversas c a r a c t e r s t i c a s , m t o d o s y o r i e n t a c i o n e s que d e f i n e n e l
sible, l o c u a l se consigue si l a e v a l u a c i n es u t i l i z a d a c o m o h e r r a m i e n t a a d m i n i s -
c a m p o de la e v a l u a c i n y que o t o r g a n en cada caso u n significado d i f e r e n t e a la
t r a t i v a y c o m o s o p o r t e de la t o m a de decisiones. L a e v a l u a c i n p u e d e ayudarles
escala de valor. C o n frecuencia, el v a l o r de u n p r o g r a m a se estima m e d i a n t e e l cal-
32
forte /: Diseo de poffocas y programas de intervencin socio/
Copitulo I: Polticas, programas y evoluociones
Algunos programas sociales y sus evaluaciones sufren estos y otros problemas relacionados (planes
de intervencin, cooperacin de proveedores de servicios, adhesin al diseo de evaluacin onginal. alelarse del diseo ideal, procedimientos de recogida de datos, grado de control del investigador). Una
consecuencia de estos compromisos con el ideal de la investigacin es la posible diferencia cualitativa
existente entre la investigacin de evaluacin y la investigacin cientfica convencional que hemos tratado a lo largo del captulo.
c u l o de la e f e c t i v i d a d y eficacia de las o p e r a c i o n e s , e n t e n d i d a s c o m o el p u n
q u e se l o g r a n l o s o b j e t i v o s p e r s e g u i d o s , q u e g e n e r a l m e n t e son espccifn :< l< . r n l .
p l a n i f i c a c i n i n i c i a l ( P r o v u s , 1 9 7 1 ; S m i t h y T y l e r , 1942; T y l e r , 1950). L a c v u l n i |i
se i n s e r t a y d e s c r i b e en este c o n t e x t o c o m o p a r t e d e l proceso d e la p o l t i c a
Cuadro 1.2. La volatilidad de los programas sociales
Una de las caractersticas principales del traba|0 evaluativo es la falta de estabilidad del medio en que
se desarrolla y de las actividades concretas que se le demandan Quizs el hecho ms distintivo de la mvrv
tigacin de evaluacin es que el evaluador tiene que realizar su trabajo en un ambiente de toma de in i
siones continuamente cambiante Rossi y Freeman (1989) sealan seis aspectos de la intervencin social
que producen este medio cambante. No todas las evaluaciones se ven afectadas de la misma manera por
cada uno de estos factores de cambio, aunque tos evaluadores debe estar preparados para reducir los requisitos cientfficos ideales del plan de evaluacin previsto y acogerse a decisiones pragmticas
Primero, los cambios polticos, pues distintas ideologas o programas polticos determinan vanaciones
en la filosofa y objetivos de tos programas. Algunos de tos cambios estn asociados a los sesgos,
orientaciones, modas, oportunidad poltica (por ejemplo, en programas de planificacin familiar mediante el uso de anticonceptivos).
Segundo, el cambio de intereses de los distintos stofceho/dea de manera que la necesaria cooperacin con tos mismos puede verse afectada y afectar a la realizacin de la evaluacin. Por ejemplo, un
jefe de polica que acuerda proporcionar informacin a un programa y a sus evaluadores puede cambiar de opinin si la invasin de la privacidad por parte de la polica se vuelve un problema en los
medios de comunicacin
Tercero, los cambios de prioridades e rrteceses detosresponsables polfticos y de gestin del propio
programa (por ejemplo, perder inters en la iniciatrva ciudadana para aumentar la profesionalidad de
un servicio de mantenimiento y limpieza urbana).
Cuarto, los problemas inesperados que pueden aparecer en la inrplemerrtaan del programa, con la
consiguiente necesidad de modificar las actividades del programa y el plan de evaluacin (por ejemplo, un programa para reducir las ausencias de los estudiantes de bajo nivel econmico en la provisin de cuidado mdico, se modific cuandotosdos tercios de estudiantes con alto ndice de ausenciarehusarond cuidado mdico ofrecido).
Quinto,tosresultados parciales de un programa pueden indicar que el mismo debe ser modificado
antes de completar d proceso evaluativo en todas sus fases (por ejemplo, en un programa de reduccin del alcoholismo la plantilla puede modificar la intervencin porque los participantes no estn realizando correctamente las actividades programadas).
Sexto, la existencia de problemas no esperados en el propio desarrollo del plan de evaluacin, con
la consiguiente necesidad de mcxlrfkacin (por ejemplo, una compaa que patrocina un programa
de cuidado mdico atosancianos decide ampliarlo e implementarto en nuevas localidades que no
hayan sido patrocinadas, con lo que hay que revisar la estrategia de evaluacin dado que las comparaciones planificadas entre grupos subvencionados y no subvencionados no son posibles).
a p o r t a n d o i n f o r m a c i n p a r a la t o m a de decisiones s o b r e la c o n v e n i e n c i a de c o n t i nuar, m o d i f i c a r o i n t e r r u m p i r d e f i n i t i v a m e n t e u n p r o g r a m a en f u n c i n del x i t o

alcanzado.
E n t e n d i d a c o m o a p o y o a la e j e c u c i n , e l c a r c t e r u t i l i t a r i s t a de la e v a l u a c i n
ha sido c u e s t i o n a d o a l r e d u c i r l a a u n p r o c e s o de m e r a c o n s t a t a c i n de r e s u l t a d o s ,
q u e asume sin c u e s t i o n a m i e n t o q u e las o p e r a c i o n e s d e l p r o g r a m a e s t n b i e n d e f i nidas, son las m s adecuadas y se p o n e n e n p r c t i c a de m a n e r a h o m o g n e a en t o dos los centros locales d o n d e se i m p l e m e n t a . A pesar de las c r t i c a s , el c o n c e p t o
de e v a l u a c i n se ha e x t e n d i d o de este m o d o p a r a i n c l u i r e l s e g u i m i e n t o de la i m p l e m e n t a c i n , buscar la i n f o r m a c i n necesaria p a r a r e s o l v e r i n c e r t i d u m b r e s y a y u d a r en la t o m a d e decisiones a los responsables de la e j e c u c i n ( C r o n b a c h y a s o c ,
1980; W h o l e y , 1981).
Algunos, por l t i m o , prefieren definir modelos s i s t e m t i c o s y comprensivos
q u e p u e d a n r e u n i r d i s t i n t o s o b j e t i v o s y a c t i v i d a d e s d e n t r o de u n proceso g e n e r a l
de e v a l u a c i n ( C h e n , 1990; R e b o l l o s o y cois., 2003; R o s s i y F r e e m a n , 1989; Stuff l e b e a m y S h i n k i f i e l d , 1987), a s u m i e n d o q u e t a n t o la e m i s i n de j u i c i o s sobre los
r e s u l t a d o s c o m o el a p o y o a la e j e c u c i n d e los p r o g r a m a s son p r o p s i t o s v l i d o s
p a r a la e v a l u a c i n . E n la p r c t i c a , se t r a t a d e r e s p o n d e r u n a serie de p r e g u n t a s de
i n v e s t i g a c i n sobre las distintas fases d e e l a b o r a c i n e i m p l a n t a c i n de u n p r o g r a ma
d e i n t e r v e n c i n social d i r i g i d o a r e s o l v e r a l g u n a s i t u a c i n e n la q u e e s t en
j u e g o la c a l i d a d de v i d a de las personas; p o r e j e m p l o , c u l es la n a t u r a l e z a de los

p r o b l e m a s a r e s o l v e r ? , q u t i p o d e i n t e r v e n c i o n e s se p u e d e n r e a l i z a r ? , a q u i n e s
i r n d i r i g i d a s ? , q u p r o b l e m a s p r c t i c o s d e b e n r e s o l v e r s e en la
implementacin?,
-j.se e s t n a l c a n z a n d o d e t e r m i n a d o s o b j e t i v o s d e m a n e r a e f i c i e n t e ? , etc.
L a d i v e r s i d a d c o n c e p t u a l resulta e n r i q u e c e d o r a y favorece una perspectiva pragm t i c a y e c l c t i c a , m s til en e l c o m p l e j o c a m p o de las organizaciones y los p r o g r a mas sociales ( v a s e c u a d r o 1.2) p o r q u e es difcil e n c o n t r a r situaciones d o n d e pueda
aplicarse una d e t e r m i n a d a o r i e n t a c i n de f o r m a h o m o g n e a ( A l v i r a , 1991; P a t t o n ,
De manera resumida, dos son los elementos centrales de la ecologa social de las evaluaciones: la existencia de mltiples stokehoWers y el hecho de que la evaluacin forma parte de un proceso poltico (Rosa,
psey y Freeman. 2004). Existirn tensiones derivadas de la presin de distintos grupos de interesados, que
demandarn preguntas diferentes al evaluador y se vern afectados de distinta forma portosresultados,
generando dudas acerca de cmo proceder con d trabajo evaluativo y cmo comunicarse con grupos tan
diferentes. La dimensin poltica implica, entre otras cosas, un problema de ajuste entre los ritmos de las
dinmicas polticas y dd desarrollo de la evaluacin El evaluador no es un investigador acadmico convencionaL sino que debe orientar su trabajo para que tenga una significacin dentro de los medios polfticos en
que se mueve.
1978). E n palabras de R e b o l l o s o y R e b o l l o s o (1998a: 225): " L a s mejores evaluaciones se logran c u a n d o se reconoce la v a r i e d a d y la c o m p l e j i d a d del c a m p o y se tiene la
suficiente f l e x i b i l i d a d
para c o m p r e n d e r q u t i p o d e d e f i n i c i n es apropiada y signifi-
cativa en u n c o n t e x t o p a r t i c u l a r y para una d e t e r m i n a d a clase de personas".
Propsitos y actividades principales

del proceso evaluativo
Las evaluaciones |>crsigiien p r o p s i t o s m u y diferentes y utilizan estrategias y m t o dos adaptados a la etapa en la historia del programa siguiendo criterios contingentes.
L a e v a l u a c i n puede ayudar a la mejora c o n t i n u a d e l programa, aumentar el c o n o c i m i e n t o social o demostrar que los directores y operarios del programa han c u m p l i d o
su responsabilidad ante la sociedad, los patrocinadores y los usuarios del m i s m o .
E n los programas i n n o v a d o r e s se r e q u i e r e especialmente analizar su efectivid a d , si alcanzan a la p o b l a c i n destinataria y si l o g r a n los resultados deseados. E n
ocasiones posteriores, es necesario analizar y v a l o r a r los c a m b i o s y m o d i f i c a c i o n e s
puntuales que se i n t r o d u c e n para r e t i n a r el p r o g r a m a . F i n a l m e n t e , los p r o g r a m a s
que se realizan d u r a n t e u n t i e m p o r e q u i e r e n i n f o r m a c i n p a r a d e t e r m i n a r q u e
c o n t i n a n siendo eficientes y q u e m e r e c e n seguir s i e n d o
financiados
y puestos en
prctica.
L a e v a l u a c i n es u n c o n j u n t o c o m p l e j o de actividades variadas que se desarrol l a n en p a r a l e l o c o n las distintas fases d e l p r o g r a m a . L a c o n c e p t u a l i z a c i n y d i s e o
d e l p r o g r a m a , l a i m p l e m e n t a c i n y la p r o d u c c i n de r e s u l t a d o s s o n m o m e n t o s
b i e n diferenciados que necesitan actividades evaluativas e s p e c f i c a s d e n t r o de un
proceso en el que l a e v a l u a c i n n o e s t r e s t r i n g i d a al c l c u l o de l a eficacia y la eficiencia, sino que presta un a p o y o p e r m a n e n t e i n c l u s o e n las etapas previas a la p r o pia intervencin.
C o n c e p t o s clave
Propsito
T o d a eva-
i m p a c t o o sean u t i l i z a d o s p o r a l -
l u a c i n se r e a l i z a c o n e l o b j e t i v o
de la evaluacin.
g u i e n d e n t r o de u n proceso de t o -
d e q u e sus r e s u l t a d o s t e n g a n u n
m a de decisiones. L o s p r o p s i t o s
M T S
Capitulo 2: Propsitos y actividades principales del proceso evoluavvo 37'
ue poi/ucos y programas de intervencin social
son v a r i a d o s , a u n q u e siempre per-
se a c c e d e r a los m i s m o s
m a n e c e u n c i e r t o i d e a l de m e j o r a
r e a l i z a r n las actividades y i i n . .
de las c o n d i c i o n e s sociales.
d i s t r i b u i r n los recursos.
2.1. R a z o n e s o m o t i v o s p r i n c i p a l e s d e l a s e v a l u a c i o n e s
H a y muchos m o t i v o s o p r o p s i t o s que p u e d e n justificar la r e a l i z a c i n de evaluaciones. C h e l i m s k y (1978) d i s t i n g u a hace a o s e n t r e las evaluaciones que tienen
L a planifn .1
u n p r o p s i t o de g e s t i n y a d m i n i s t r a c i n , las q u e s i r v e n para valorar la a d e c u a c i n
una actividad que se puede aplicar a
c i n de la e v a l u a c i n exige, l a t T
de los c a m b i o s d e l p r o g r a m a , para buscar f o r m a s de m e j o r a r la dispensa de los
la v a l o r a c i n de objetos muy diferen-
otras cuestiones, c o m p r e n d c i i|m<
servicios, y las que p e r s i g u e n satisfacer los r e q u i s i t o s de r e s p o n s a b i l i d a d de los
tes sin que v a r e el m o d o general de
nes son las personas interesadas r n
grupos que las s u b v e n c i o n a n . E n t r e otras razones, evaluamos con p r o p s i t o s de
proceder. D e manera general se pue-
la m i s m a , c u l e s son las p r e g U B U l
p l a n i f i c a c i n y p r o p s i t o s p o l t i c o s , p a r a i d e n t i f i c a r formas innovadoras de c m o
d e n evaluar programas, polticas, or-
de i n v e s t i g a c i n , q u m t o d o s se
tratar los p r o b l e m a s h u m a n o s y c o m u n i t a r i o s , para d e c i d i r sobre el f u t u r o de un
ganizaciones, productos y personas.
e m p l e a r n , q u i n e s utilizarn los
p r o g r a m a ( c o n t i n u a r o a b a n d o n a r l o ) y para apoyar su defensa frente a otras alter-
resultados y de q u m a n e r a .
nativas. Para todos los p r o p s i t o s el o b j e t i v o clave es d i s e a r e i m p l e m e n t a r una
Objeto
de evaluacin.
Responsabilidad.
L a e v a l u a c i n es
Diseo
de la evaluacin.
e v a l u a c i n t a n o b j e t i v a c o m o sea p o s i b l e ; es decir, que p r o p o r c i o n e una v a l o r a -
Las personas q u e d i -
r i g e n y p o n e n en p r c t i c a u n p r o g r a m a a s u m e n u n c o m p r o m i s o so-
Innovaciones.
Los programas innova-
d o r e s s o n a q u e l l o s q u e n u n c a se
c i n f i r m e , q u e n o c a m b i e si la e v a l u a c i n fuese repetida en las mismas condiciones p o r los m i s m o s o p o r diferentes evaluadores.
b r e e l b u e n uso de los recursos y el
h a n i n t e n t a d o antes, b i e n p o r q u e
Los p r o p s i t o s de la e v a l u a c i n p u e d e n describirse de un m o d o j e r r q u i c o si-
esfuerzo p o r lograr los objetivos
responden a un diseo original o
guiendo distintos niveles de c o n c r e c i n . E n el n i v e l m s general, toda e v a l u a c i n per-
p r e v i s t o s . L o s resultados e v a l u a t i -
p o r q u e nunca se h a b a n i m p l e m e n -
sigue el aprendizaje a partir de la experiencia con el objetivo de mejorar en futuras
vos a y u d a n a d e m o s t r a r q u e estas
t a d o en u n a l o c a l i d a d o c o n un gru-
ocasiones (Eggers y Chelimsky, 1999). Todos los d e m s p r o p s i t o s especficos son
personas h a n c u m p l i d o con su res-
p o de usuarios c o n c r e t o . T a m b i n
compatibles con el ideal de evaluar para aprender y aprender para mejorar. D e n t r o
p o n s a b i l i d a d ante los p a t r o c i n a d o -
se les d e n o m i n a demostraciones.
de nuestro m b i t o de trabajo, el p r o p s i t o f u n d a m e n t a l es ayudar a d i s e a r y mejorar
res y d e s t i n a t a r i o s d e l p r o g r a m a o
la s o c i e d a d en g e n e r a l .
los programas dirigidos a solucionar los p r o b l e m a s y necesidades sociales (Rossi y

Programas
establecidos.
Son aquellos
Freeman, 1989), enriqueciendo las intervenciones, reduciendo el gasto p b l i c o y defi-
q u e h a n sido ensayados, c o r r e g i d o s
niendo objetivos m s realistas para la i n t e r v e n c i n . E n definitiva, se trata de lograr
L o s d i r e c t o r e s y responsa-
e implementados en u n buen n -
que la i n t e r v e n c i n tenga efectos beneficiosos para a l g n sector o grupo social m i n o -
bles de p r o g r a m a s necesitan i n f o r -
m e r o de ocasiones, p o r l o q u e se
ritario
m a c i n que les p e r m i t a resolver m e -
d i s p o n e de m u c h a i n f o r m a c i n so-
concreta en tres tipos de p r o p s i t o s : responsabilidad, desarrollo y conocimiento. Es! a

d i s t i n c i n es fundamental, pues de ella dependen aspectos cruciales de la e v a l u a c i n ,
Desarrollo.
j o r los p r o b l e m a s y dudas
o en desventaja. C o m o veremos en u n apartado posterior, el siguiente nivel se
que
b r e c m o d e b e n ser d i s e a d o s e
surgen e n la p r c t i c a d i a r i a del p r o -
i m p l e m e n t a d o s para t e n e r x i t o en
tales c o m o la perspectiva evaluativa y los m t o d o s de i n v e s t i g a c i n que se u t i l i z a r n ,
grama. L a i n f o r m a c i n evaluativa
sus o b j e t i v o s .
el r o l que a s u m i r n los evaluadores y las distintas personas relacionadas con la eval u a c i n , a s c o m o las expectativas de u t i l i z a c i n de los resultados.
a y u d a a l a m e j o r a y el d e s a r r o l l o
c o n t i n u o de las actividades, de la or-
Proceso
de intervencin-evaluacin.
La
'
L a p r i m e r a f u n c i n q u e c u b r i l a e v a l u a c i n t i e n e que ver con la d e m a n d a
g a n i z a c i n de servicios y de las per-
i n t e r v e n c i n y la e v a l u a c i n son
masiva de evaluadores e n E E U U d u r a n t e los a o s sesenta: obtener i n f o r m a c i n
sonas que trabajan en el p r o g r a m a .
dos actividades inseparables que se
para d e m o s t r a r los resultados de los p r o g r a m a s , u t i l i z a b l e i n s t r u m e n t a l m e n t e para
c o m p l e m e n t a n d e n t r o d e l proceso
d e c i d i r sobre la c o n t i n u i d a d , e x p a n s i n o
general de la i n t e r v e n c i n social.
das. Sin e m b a r g o , dada l a escasa i n f l u e n c i a p o l t i c a lograda en esta p o c a ( H o u s e ,
Diseo
del programa.
L a planificacin
finalizacin
de las acciones e m p r e n d i -
las
L a e v a l u a c i n n o es algo que se r e -
1972; L i n d b l o m y C o h n , 1979; Weiss, 1977), m u c h o s evaluadores d e f e n d i e r o n u n
actividades que s e r n realizadas ( e l
alice n i c a m e n t e al f i n a l de l a i n -
m o d o de influencia difuso c e n t r a d o en e l a l u m b r a m i e n t o , es decir, que el p r o p s i -
s e r v i c i o ) y e l sistema de dispensa,
t e r v e n c i n , sino u n c o n j u n t o de ac-
to de la e v a l u a c i n s e r a crear nuevos conceptos y formas de pensar en t o r n o a los
para l o c u a l se necesita, entre otras
t i v i d a d e s planificadas q u e p r e s t a n
p r o b l e m a s sociales ( J a n o w i t z , 1970). C r o n b a c h y asoc. (1980), p o r e j e m p l o , s e a -
c u e s t i o n e s , d e c i d i r c u l e s s o n los
a p o y o i n f o r m a t i v o a la t o m a de de-
lan q u e el o b j e t i v o es i n f l u i r en el p e n s a m i e n t o y la a c c i n social en r e l a c i n con
o b j e t i v o s o p e r a t i v o s del p r o g r a m a ,
cisiones en m l t i p l e s m o m e n t o s de
los programas de i n t e r v e n c i n . P a r t i e n d o de la c o n s t a t a c i n de los hechos o c u r r i -
q u i n e s son los destinatarios, c m o
la i n t e r v e n c i n .
dos en la a p l i c a c i n d e l p r o g r a m a , y o f r e c i e n d o una v i s i n i n t e g r a l y disciplinada,
del p r o g r a m a exige d i s e a r
38
arte I: Diseo de porticoj y programas de intervencin social
Capitulo 2: Propsitos y actividades principales del proceso evolutivo
39
Cuadro 2.1. Qu objetos evaluamos
la e v a l u a c i n e s t a r a destinada a aquellas personas que t i e n e n i n i c e s e ' , y i r s i x j n -
sabilidades y que son competentes p a r a entender y u t i l i z a r los resultados evaluativos. E n t r e la influencia i n s t r u m e n t a l y l a influencia d i f e r i d a del a l u m b i a m i e n t o , se
e s t a b l e c i una tercera perspectiva de a p o y o d i r e c t o a las decisiones diarias de los
gestores de programas ( W h o l e y , 1979, 1986). E n este caso, la m i s i n de la evaluacin s e r a ayudar a establecer objetivos e i n d i c a d o r e s , v a l o r a r la e j e c u c i n , c o m u nicar los valores de las agencias de i m p l e m e n t a c i n a los responsables de las inversiones, y f u n d a m e n t a l m e n t e , e s t i m u l a r l a m e j o r a d e l a e j e c u c i n de las agencias y
programas sociales, en estrecha c o l a b o r a c i n c o n l o s responsables de la i m p l e m e n t a c i n y p r e s t a c i n de servicios ( W h o l e y , 1 9 8 6 , 1 9 9 7 ) .
A d e m s de estas t i e s funciones
ttadicionalmente
mencionadas, s e a l a r e m o s a
c o n t i n u a c i n algunas p o s i b i l i d a d e s q u e han sido apuntadas p o r distintos autores.

E n p r i m e r lugar, l a e v a l u a c i n se aplica en e l d i a g n s t i c o y e l a n l i s i s de los p r o blemas sociales, en l a r e v i s i n de los planes de i n t e r v e n c i n , en e l c o n t r o l de la i m p l e m e n t a c i n de los p r o g r a m a s y e n l a v a l o r a c i n de su i m p a c t o . Se c o n s t i t u y e a s
en u n e l e m e n t o i n f o r m a t i v o c e n t r a l p a r a e l proceso d e p l a n i f i c a c i n de las p o l t i cas y programas sociales (funcin
planificadora;
R o g , 1995). D e este m o d o , ayu-
d a n d o a la f u n d a m e n t a c i n t e r i c a y p r c t i c a , h a pasado d e ser u n m t o d o de
Antes de los aos v \ r i 1I.1
...<-, mli/aba en mltiples contextos, aunque no se dispusiera
de un concepto ni unos inri, K 1....

n la evaluacin en la educacin es una actividad tradicional
centrada en la valoracin de alunnoi. profesores y centros, fundamentalmente con el objetrvo de la acreditacin En la mdustna. la evaluacin se utriimtia como una funcin de apoyo en acciones variadas, tales
como la planificacin, la gestmii d r procesos y la gestin de recursos humanos, aunque no fuera realmente considerada una actividad autriom* l a-, pandes evaluaciones de los aos sesenta se centraron en los
programas de intervendr! wnial y n , U: |>. 4ii ,r. |iHKas. generando por primera vez una comunidad
de evaluadores interesados en temtico y |i l i n i i . . 1 i o-, comunes (Rebolloso y Rebolloso, 1998b).
I loy en da disponerme i Ir ni
i n .Ir 11 n i< x imientos y m t o d o s generales que permiten
oriental Id evaluacin r n (ulf|iiin !4m>< . i r a d n a n n Incluso la mayora estara fcilmente de
acuerdo con el concepto general de evaluar ion asociado a la idea de enjuiciamiento y al proceso
conocido 1 (uno la hy ,1 <u- '..M.M '.III r n it 1.11 jo, t At\ objeto de evaluacin tiene sus peculiaridades diferenciales, de tal modo que la evaluacin debe adaptarse en sus procedimientos y objetivos
para resultar til en cada caso. Un producto de consumo, por ejemplo, puede ser valorado mediantr un conjunto r . i u . ido . i r , menos sobre el que fcilmente alcancen acuerdos las partes interesadas. Un programa es. un embargo, un objeto mucho ms complejo, implica una organizacin de personas, e l menoi h o m o g n e o en su implantacin y es ms difcil que los grupos
interesados se pongan de ruerdo sobre los errtenos por los que debe ser juzgado (Cook. Levitn
y Shadish. I98S) De manera general. Owens y Rogers (1999) proponen distinguir cinco posibles
objetos de evaluacin:
c o n s t a t a c i n de resultados p a r a e s t i m a r el m r i t o de los p r o g r a m a s , a ser una actividad i m p r e s c i n d i b l e p a r a la d e f i n i c i n de la p r o g r a m a c i n social.

La experiencia ha m o s t r a d o la dificultad para lograr estos p r o p s i t o s , sobre t o d o
cuando se plantean en t r m i n o s de m e j o r a de las condiciones de vida de la sociedad
(Patton, 1986; Rossi y F r e e m a n , 1989). L o s resultados evaluativos s l o son u n elem e n t o m s de i n f o r m a c i n en los procesos de la p o l t i c a social, j u n t o a otras razones
de n d o l e e c o n m i c a , i d e o l g i c a , p o l t i c a o de costumbre (funcin
informativa).
Co-
m o afirman B e r k y Rossi (1976), l a e v a l u a c i n es una actividad p o l t i c a , p e r o n o sustituye a la p o l t i c a , de tal m o d o que las decisiones siguen en manos de profesionales
de la poltica social, que e m i t e n juicios utilizando m l t i p l e s fuentes de i n f o r m a c i n
competitivas, entre las q u e los resultados evaluativos r a r a vez son la m s i m p o r t a n t e .
Patton (1990) sugiere la u t i l i d a d de u n t i p o e s p e c f i c o de evaluaciones orientadas
a proporcionar i n f o r m a c i n sobre el futuro, para que la o r g a n i z a c i n pueda anticiparse a los cambios o las nuevas situaciones en que t e n d r q u e desenvolverse, con el
p r o p s i t o l t i m o de afectar los c o m p o r t a m i e n t o s actuales y reorientarlos hacia la sit u a c i n futura deseada (Juncin
anticipatoria
o prospectiva).
L a construccin
de esce-
narios es la t c n i c a m s c o m n e n este t i p o de i n v e s t i g a c i n p r o s p e c t i v a ( P a t t o n ,
1990; N u e z y Loscertales, 1996). Se trata de crear una i m a g e n descriptiva del futuro
o de los futuros posibles de u n g r u p o o u n sistema social, p o r ejemplo entrevistando a
personas relevantes para conocer sus expectativas, deseos o temores sobre e l p o r v e nir, y resumiendo los resultados e n u n conjunto r e d u c i d o de escenarios futuros alternativos. Los participantes e n el estudio pueden entonces discutir sobre el resultado y
elegir el escenario hacia el que q u i e r e n orientar sus esfuerzos. L a sntesis de evaluaciones o del c o n o c i m i e n t o actual sobre u n p r o b l e m a disperso en distintos estudios
puede ser t a m b i n til para t o m a r decisiones m s ajustadas a la e v o l u c i n prevista de
Prugnxnm Annxie esin tradioonalmente vinculados a as polticas y servicios sociales, el concepto

de programa es ms amplio y puede abarcar todo tipo de intervenciones estructuradas en muy distintos mbitos (educativo, legal, mdustna!. onjanizaciona). El plan de trabajo y las actividades de implantacin del plan son sus dos elementos esenciales. A grandes rasgos pueden establecerse tres r.
veles de responsabilidad. El nivel corporatrvo (mega) se identifica con los equipos de gobierno de
una institucin o los directivos de una organizacin, responsables de la pianriieacin general del programa El segundo rovd (marro) se sita en las secciones o departamentos responsables de a planificacin especifica El nivel micro corresponde a las unidades de trabajo o las personas encargadas
de poner en prctica las actividades dd programa o prestar un servicio. Las necesidades de informacin y las cuestiones de mters son diferentes en estos niveles, por lo que la evaluacin debe adaptarse y escoger el modelo y los mtodos que sean ms tiles en cada caso. En general, a evaluacin
tratar de analizar el grado de ajuste entre lo planificado y b irnplementado. los factores relevantes
en el xito dd programa y tos resultados obtenidos.
Potocas. La poltica social es un concepto poksmico difiol de concretar. En ocasiones se identifica
con la defunon de objetivos o irrtericiones. con la creacin de guas de actuacin, estrategias para
resolver un problema o normas de cornportamiento producidas por las cpulas dd gobierno: en
otras ocasiones se entiende como d resultado dd trabajo de un conjunto amplio de nstancas burocrticasrelacionadascon la agenda de algn sector dd gobierno (Guba. 1984). En erto modo, la
poltica resume todos estos elementos, teniendo como base mnima un conjunto de enunciados
(guas) que intentan definir o enmarcar as futuras decisiones dd sistema. Es decr. propone una direccin general para la a c o a aunque en s misma no prescribe ningn curso de accin concreto,
que ser objeto de planificacin en d nivd de los programas de actuacin.
Orgonizociones. Tambin este es un concepto amplio con el que se quieren expresar distintos
conceptos (desde un sistema social extenso a un grupo reducido de personas en una unidad de
trabajo). Se identifica con la evaluacin de instituciones, empresas, departamentos o cualquier
sub-grupo dentro de ellas. La evaluaon se centra en la mejora de los procesos y servicios, o
en el anlisis del impacto que estos tienen.
Productos. Los productos son cualquier objeto material que puede ser adquirido. La evaluacin de productos se utiliza para recoger datos comparativos en un conjunto reducido de critenos, con objeto de recomendar la mejor compra. Es el tipo de evaluacin que encontra-
"ru | forte I: Diseo de polticas y programas de intervencin socio!

mos en las revistas del consumidor (por ejemplo, equipos informticos, alimmt.i.
mvil) (Scnven. 1994).
Personos. La eva'uadn de personas se ha evitado tradioonalmente. centrndose el inteiv ie
ferente en b s programas o procesos de trabajo, de tal modo que las personas no se llntlai >
observadas y no ocultaran informacin de inters por el miedo a las consecuencias negativas tic
ser evaluado. Sin embargo, la evaluacin del d e s e m p e o y de la ejecuon individual tiene pin
sentido dentro de procesos de acreditacin o seleccin, e incluso orientada a la mejora IIHIIVI
dual (De Quijano, 1992). Se considera adecuada para la evaluacin de programas cuando la In
formacin as obtenida se utiliza para tomar decisiones sobre el programa y no sobre las priv
as, en cuyo caso estamos hablando de los procesos de valoracin orientados a la promocior 11.
seleccin de personal propios de la gestin de recursos humanos.
Capitulo 2: Pmpsitos y actividades principales del proceso evolutivo

dad de i n f l u i r en los m e d i o s p o l t i c o s y a d m i n i s t r a t i v o s {funcin
estrategia;
Ve-
d u n g , 1997). S t u f f l e b c a m ( 2 0 0 0 ) t i e n e u n a v a l o r a c i n en parte negativa de las

evaluaciones o r i e n t a d a s p o r fines e s t r a t g i c o s , a las cuales d e n o m i n a pseudo-evaluaciones. S u c h m a n (1967) d i s t i n g u a tres t i p o s : c u a n d o la e v a l u a c i n se u t i l i z a
para a a d i r u n t i n t e c i e n t f i c o y o b j e t i v o a decisiones d e l p r o g r a m a que ya han sid o tomadas; c u a n d o se p r o p o n e la r e a l i z a c i n de u n a e v a l u a c i n para retrasar
una d e c i s i n y esperar a q u e las c r t i c a s se suavicen c o n el t i e m p o ; o cuando se i n tenta m e j o r a r la i m a g e n p b l i c a d e l p r o g r a m a escogiendo s l o aquellos resultados q u e s i r v e n para j u s t i f i c a r l o . Se puede a a d i r el caso de que un g r u p o p o l t i c o
p r o p o n g a una e v a l u a c i n e n la q u e i n c l u y a a representantes de la o p o s i c i n , de
t a l m o d o q u e se c o m p a r t a ante la o p i n i n p b l i c a la responsabilidad p o r los resultados negativos d e l p r o g r a m a . E n c u a l q u i e r caso, es p o c o realista considerar
los acontecimientos ( P a t t o n , 1990). O t r o m o d o de c o n s t r u c c i n de escenarios es d a d

d i r c u l e s son los factores o variables clave q u e a f e c t a r n a la e v o l u c i n , y d e s p u s
cruzarlas para definir los futuros posibles. P o r e j e m p l o , en el caso de introducir u n
n u e v o p r o g r a m a de a t e n c i n al cliente, las variables clave p o d r a n ser la disponibili
dad de recursos y la permanencia de la clientela clave.
que p o d e m o s realizar evaluaciones t i c a m e n t e p u r a s en el c o m p l e j o c a m p o de los

juegos de intereses. L o m x i m o que p u e d e hacerse es ser conscientes de que la
e v a l u a c i n s e r u t i l i z a d a c o n fines e s t r a t g i c o s , a n a l i z a n d o q u i n e s e s t n i n t e r e sados en la e v a l u a c i n y p o r q u , y t o m a n d o las m e d i d a s oportunas para no ser
p a r t c i p e s de n i n g n e n g a o .
N o obstante, d i s p o n e m o s de u n m o d e l o d i f e r e n t e de pensamiento e s t r a t g i c o ,
m u y v i n c u l a d o a enfoques c u a l i t a t i v o s y construccionistas, el cual carece de esta
Los clientes permanecen
Habr recursos
Los recursos se agotarn
1. El programa funcionar tal

como est previsto y se lograrn
clientes satisfechos
2. Los recursos existentes sern

insuficientes 0 inadecuados
para mantener el programa
v a l o r a c i n n e g a t i v a ( R e b o l l o s o , F e r n n d e z - R a m r e z y C a n t n , 2006). A c e p t a n d o
que la r e a l i d a d o r g a n i z a c i o n a l es r e a l i d a d social c o n s t r u i d a y que gran parte del
peso de la e v a l u a c i n recae en la p a r t i c i p a c i n de las personas y grupos organizacionales, el o b j e t i v o de l a e v a l u a c i n n o s e r a descubrir
o r g a n i z a c i o n a l , sino redefmirla
Cambian ka dientes cave
3. U apancin de nuevos grupos

de clientes har que el programa
resurte desajustado.
4. El programa no podr
desarrollarse
n i n g u n a supuesta r e a l i d a d
y trazarse u n f u t u r o hacia el que la o r g a n i z a c i n
desee d i r i g i r s e . A t r a v s de su f u n c i n e s t r a t g i c a , la e v a l u a c i n se c o n v i e r t e en
una h e r r a m i e n t a i m p o r t a n t e p a r a el c a m b i o o r g a n i z a c i o n a l v o l u n t a r i o , o r i e n t a d o
en u n a d i r e c c i n q u e m a x i m i c e las o p o r t u n i d a d e s de a d q u i r i r ventaja respecto de
las d e m s o r g a n i z a c i o n e s d e l sector ( R e b o l l o s o , F e r n n d e z - R a m r e z y C a n t n ,
2007).
E n e l p r i m e r caso el p r o g r a m a debe m a n t e n e r s e para l o g r a r e l o b j e t i v o de satisfacer a la c l i e n t e l a clave. E n el segundo caso s e r a necesario t e n e r previstas ac-
.l.
P r o p s i t o s de la e v a l u a c i n
ciones a l t e r n a t i v a s m e j o r ajustadas a los recursos previstos o anticiparse m e d i a n t e

actuaciones d i r i g i d a s a fidelizar a los clientes antes de q u e a b a n d o n e n el s e r v i c i o
E n t r m i n o s a m p l i o s , los m l t i p l e s p r o p s i t o s de la e v a l u a c i n se c o n c r e t a n en
p o r q u e se resienta su c a l i d a d . E n e l tercer escenario las acciones planificadas ya
tres p r i n c i p a l e s ( C o o k , L e v i t n y Shadish, 1985; C h e l i m s k y , 1997a; Stufflebeam y-
n o son adecuadas y h a b r a q u e d i s p o n e r de a l t e r n a t i v a s que t e n g a n e n cuenta los
S h i n k f i e l d , 1987; V e d u n g , 1997):
posibles nuevos clientes. F i n a l m e n t e , en e l l t i m o escenario el p r o g r a m a t e n d e r a

d e s a p a r e c e r y h a b r a q u e t e n e r p r e v i s t o p r o g r a m a s a l t e r n a t i v o s d i r i g i d o s a los
nuevos d i e n t e s potenciales.
2.2.1. Evaluacin para la responsabilidad
L a s evaluaciones se r e a l i z a n e n c o n t e x t o s q u e t i e n e n una i m p o r t a n t e d i m e n s i n p o l t i c a , p o r l o q u e n o p u e d e n separarse de luchas y estrategias de g r u p o s
Su
q u e i n t e n t a n alcanzar o m a n t e n e r cuotas d e poder. A u n q u e el p e l i g r o de sesgos
ponentes, e n f a t i z a n d o la m e d i c i n de resultados, el l o g r o de objetivos y el c l c u l o
es e v i d e n t e , la e v a l u a c i n n o debe i g n o r a r esta r e a l i d a d o p e r d e r a su o p o r t u n i -
de la e f e c t i v i d a d y eficacia de las actividades, en c o m p a r a c i n c o n otras a l t e r n a n
finalidad
es e m i t i r u n j u i c i o sobre el v a l o r r e l a t i v o d e l p r o g r a m a o de sus c o m -
42
Copitulo 2: Propsitos y actividades principales del proceso evolutivo I *\
Porte /. Diseo de polticas y programas de intervencin social
vas. Para el a n l i s i s de las relaciones causales, e l m t o d o p r e f e r i d o p o r m u c h o s se-
r a el e s t u d i o e x p e r i m e n t a l c o n t r o l a d o y a l e a t o r i z a d o . L a idea de r e s p o n s a b i l i d a d
m i l i / . i n ' l " ideas t e r i c a s que p u e d e n d e r i v a r s e de las ciencias sociales o de l o s
aparece c u a n d o e l agente de u n a a c c i n necesita d e m o s t r a r ante sus
pUOtM
superiores
i , , ' | i i o l . l e m a s y las p o s i b i l i d a d e s de i n t e r v e n c i n . L o s p r o b l e m a s se i n v e s t i g a n
v
de 'as audiencias interesadas. Las ideas sobre el f u n c i o n a -
q u e ha c u m p l i d o c o n las d i r e c t i v a s recibidas, e n t e n d i e n d o los roles de agente y su-
miento d r l | i i o ( ' i a m a tienen q u e v e r con las ciencias aplicadas a las o r g a n i z a c i o -
p e r i o r de una m a n e r a a m p l i a p a r a d a r cabida a c u a l q u i e r persona o puesto d e n t r o
nes u M t i e v a l u a d o r q u i e n i m p o n e e l p l a n de i n v e s t i g a c i n , en f u n c i n de sus
de la cadena de t o m a de decisiones y a c t u a c i n d e l p r o g r a m a . P o r e j e m p l o , e l p o l -
,,itrn
t i c o d e b e responder ante l a o p i n i n p b l i c a , los a d m i n i s t r a d o r e s d e l p r o g r a m a a n -
C O I H M imii-111(1'.
<
' " i ' m n o s o c o r p o r a t i v o s ; m s b i e n p o n e al servicio del p r o g r a m a sus
te la clase p o l t i c a , los agentes d e l p r o g r a m a ante los cargos d i r e c t i v o s , etc., t e n i e n -
n i . i . y ii( .. n i . n i | l a b i l i d a d e s de m e j o r a , i n t r o d u c i e n d o u n e l e m e n t o de r e f l e x i n
d o e n cuenta que en todos estos casos cada persona o g r u p o de t r a b a j o ocupa u n
s i s t c m i i i a v * m u .i <n el discurso social. L a s n t e s i s de investigaciones es una es-
v m t o d o s c i e n t f i c o s p a r a c o m p r e n d e r la r e a l i d a d de los p r o b l e -
r o l d o b l e , s i e n d o a l m i s m o t i e m p o s u b o r d i n a d o y s u p e r i o r de a l g u i e n . U n caso es-
t r a t e g i u i i l p i n a i r - s u m u la i n f o r m a c i n s o b r e m l t i p l e s estudios y c o n c r e t a r l o
p e c i a l l o c o n s t i t u y e n los clientes o usuarios d e l sistema, que necesitan ser i n f o r m a -
que se s a l i r ' . . ' l ' i r m i
dos sobe los resultados d e l p r o g r a m a , e l n i v e l de s a t i s f a c c i n de los servicios y la

i g u a l d a d en e l t r a t o a l c l i e n t e .
L a e v a l u a c i n de la r e s p o n s a b i l i d a d es t r a d i c i o n a l m e n t e difcil de i m p l a n t a r en
el m b i t o de las a d m i n i s t r a c i o n e s p b l i c a s , d e b i d o al e x t e n d i d o f e n m e n o d e l m i e d o a ser evaluado. Cada u n o t e n d e r a aportar i n f o r m a c i n que n o ponga en c u e s t i n
su puesto d e n t r o del programa. M s a n , toda i n f o r m a c i n disponible sobre la actuac i n de u n s u b o r d i n a d o puede ser inesperadamente utilizada para criticar la l a b o r de
u n superior. E n consecuencia, la e v a l u a c i n tiene u n efecto indeseado en la m e d i d a
en que cada cual a s u m i r una a c t i t u d cautelosa antes de t o m a r decisiones cruciales
que p u e d a n resultar c o m p r o m e t e d o r a s .
2.2.2. E v a l u a c i n para el d e s a r r o l l o
Persigue la m e j o r a de las a c t i v i d a d e s , e l f o r t a l e c i m i e n t o de la o r g a n i z a c i n y el
d e s a r r o l l o de las capacidades d e las personas q u e p a r t i c i p a n de d i s t i n t o m o d o en
los p r o g r a m a s sociales y en las o r g a n i z a c i o n e s de s e r v i c i o s . L a e v a l u a c i n es u n a
p a r t e m s de las tareas d i a r i a s de g e s t i n , c o m o u n p r o c e s o p a r a l e l o de seguim i e n t o o r e v i s i n o r i e n t a d o al a p r e n d i z a j e y la c o r r e c c i n d e e r r o r e s . L a e v a l u a c i n se p a r e c e m s a u n e s t u d i o de caso, s u b r a y a n d o la r e c o g i d a d e i n f o r m a c i n
c u a l i t a t i v a q u e p u e d a ser o b t e n i d a y u t i l i z a d a c o n r a p i d e z p a r a m e j o r a r e l d i s e o
d e los p r o g r a m a s , d i r i g i r los p r o y e c t o s en c u r s o o d e s c u b r i r c m o se s i e n t e n los
b e n e f i c i a r i o s d e l p r o g r a m a . L a s m l t i p l e s presiones y la u r g e n c i a d e r e s u l t a d o s
tipo d e t e r m i n a d o
de p r o g r a m a s .
A u n q u e <isla u n a cierta b o r r o s i d a d y complementariedad (Chelimsky,

1997a), y s e a [Misililr s i n g r a n esfuerzo i d e a r u n p l a n t e a m i e n t o g l o b a l c o n t i n g e n t e
( C h e n , Vrnt. K r U . l i o s o , 1994a; S t u f f l e b e a m ef al., 1971), n o parece r e c o m e n d a b l e
desarroll.u m o d e l o s i | n e | K - i s i g a n alcanzar c o n u n m i s m o d i s e o t o d o t i p o de p r o p s i t o s u objetivos I s m s til apreciar los matices q u e se d e r i v a n de cada p r o p sito, p a r a e n i i q u c c e r el cam|K> de la d i s c i p l i n a y para estar m e j o r p r e p a r a d o s a n t e
c u a l q u i e r s i t u a c i n que se presente ( A l v i r a , 1998; R e b o l l o s o y R e b o l l o s o , 1998a).
E l e v a l u a d o r d e i u l n a p i n t o a sus clientes c u l e s s e r n los o b j e t i v o s p r i o r i t a r i o s de
la e v a l u a c i n , t r a t a n d o de q u e s e l o g i e u n n i v e l de r e s p o n s i v i d a d y u t i l i d a d elevado sin que se reduzcan las p o s i b i l i d a d e s de l l e v a r el e s t u d i o a la p r c t i c a .
2.3. A c t i v i d a d e s g e n e r a l e s d e e v a l u a c i n
E l d i s e o y la i m p l e m e n t a c i n de las evaluaciones dependen de los p r o p s i t o s e s p e c ficos a los cuales sirven. Las evaluaciones difieren de acuerdo con el t i p o de c u e s t i n
que estudian, el estadio en que se encuentre el p r o g r a m a , si el programa es n u e v o o
establecido, y el t i p o de d e c i s i n que el e v a l u a d o r i n t e n t a informar. Siguiendo el esquema b i e n c o n o c i d o de Rossi y F r e e m a n (1989), la e v a l u a c i n s i s t e m t i c a c o m p r e n de una serie de actividades e s p e c f i c a s , siendo til distinguir tres clases diferentes de
e v a l u a c i n relacionadas con el anlisis de: la c o n c e p t u a l i z a r i n y el d i s e o de las i n tervenciones, la d i r e c c i n y responsabilidad en la i m p l e m e n t a c i n del p r o g r a m a , y la
v a l o r a c i n de la u t i l i d a d (efectividad y eficiencia del p r o g r a m a ) .
p u e d e n l l e v a r a r e a l i z a r estudios q u e se m u e v e n e n e l l m i t e de l o c i e n t f i c a m e n te v l i d o .
2.3.1. C o n c e p t u a l i z a c i n y d i s e o
2.2.3. E v a l u a c i n para el c o n o c i m i e n t o
ser consideradas c o m o respuestas o intentos de solucin a problemas comunes. E l o r i -
D u r a n t e el p e r o d o de su c o n c e p t u a l i z a c i n y d i s e o , las intervenciones sociales pueden

gen de un programa es siempre el reconocimiento de un p r o b l e m a social, entendido coL a e v a l u a c i n persigue c o m p r e n d e r a m p l i a m e n t e l o s f e n m e n o s b a j o e s t u d i o ,
m o conjunto diverso de defectos socialmente reconocidos en las condiciones sociales y
a n a l i z a n d o las causas de los p r o b l e m a s y los p o r o u s d e l f u n c i o n a m i e n t o de las
humanas. L a planificacin del programa implica u n conjunto de ideas sobre q u activi-
operaciones c o n el o b j e t i v o de a u m e n t a r o r e n a r el c o n o c i m i e n t o d i s p o n i b l e so-
dades p o d r a n resolver el problema, y c m o llevarlas a la p r c t i c a p o r una o r g a n i z a c i n
| Porte
Diseo de polticas y programas de inte/vencin social
de servicios sociales o similar. Las principales cuestiones planteadas en la evaluai ion i .

la c o n c e p t u a l i z a c i n y el d i s e o de un programa son (Rossi y Freeman, 1989):
Capitulo 2: Propsitos y octividodes principales dd proceso evolutivo 45
^2.3 3- V a l o r a c i n de la utilidad del p r o g r a m a

Es crtico conocer el g r a d o en que u n p r o g r a m a p r o d u c e resultados deseados y
E s t adecuadamente
conceptualizado?
C u l es l a l o c a l i z a c i n y el alcance d e l p r o b l e m a a resolver en la p o b l a c i n 11|

referencia?
c u l e s han sido los beneficios en r e l a c i n a sus costes. E l p r i m e r p u n t o se refiere a

la eficacia del p r o g r a m a y el segundo a su eficiencia. L a eficiencia se valora respectivamente a t r a v s de los a n l i s i s coste-beneficio y coste-efectividad, los cuales
E s t d i s e a d o p a r a alcanzar los o b j e t i v o s perseguidos?
constituyen c o n j u n t a m e n t e la u t i l i d a d d e l p r o g r a m a . A menos que los resultados o
H a y u n r a c i o n a l q u e l o apoye?
la r e p e r c u s i n de u n p r o g r a m a sea d e m o s t r a b l e , es difcil defender su i m p l e m e n t a -
H a n sido raaximizadas las o p o r t u n i d a d e s de c o n c e s i n del servicio o activi-
c i n y c o n t i n u a c i n . A d e m s , hay que contrastar la eficacia con los costes, es de-
dades d e l p r o g r a m a ? (es decir, e x i s t e n p o s i b i l i d a d e s de que su a p l i c a c i n
cir, hay que ver si existe u n e q u i l i b r i o e n t r e el n i v e l de beneficio alcanzado y el
sea p t i m a ? ) .
coste pagado p o r e l l o L a e s t i m a c i n de los resultados en r e l a c i n a los costes pue-
C u l e s son los costes proyectados o existentes?" ( C u l es el presupuesto?)

C u l es l a r e l a c i n entre costes o presupuesto asignado y beneficios?
de ser e n g a o s a y c o n t r o v e r t i d a d e b i d o a que r e q u i e r e c o n frecuencia realizar

asunciones sobre el v a l o r m o n e t a r i o de las actividades relacionadas con el p r o g r a ma y el v a l o r m o n e t a r i o de los beneficios, m u y p r o b l e m t i c a s cuando se q u i e r e
traducir en d i n e r o el v a l o r de la salud p s i c o l g i c a o de la vida h u m a n a .
2.3.2. D i r e c c i n y responsabilidad en la i m p l e m e n t a c i n
H a y sobradas razones para que los responsables de la d i r e c c i n de u n p r o g r a m a
r e q u i e r a n supervisar su i m p l e m e n t a c i n y e j e c u c i n . P o r e j e m p l o , la g e s t i n y adm i n i s t r a c i n de recursos h u m a n o s , la d i r e c c i n de actividades tan eficientemente
c o m o sea p o s i b l e o e v i t a r el uso i n a p r o p i a d o d e los recursos y otras formas de act u a c i n p o c o eficaces. L o s p a t r o c i n a d o r e s y g r u p o s interesados exigen evidencia
p a l p a b l e de q u e l o que se e s t i n v i r t i e n d o e n los p r o g r a m a s e s t j u s t i f i c a d o desde
diversos p u n t o s de vista. E n m u c h o s p r o g r a m a s , p a r t i c u l a r m e n t e los que respond e n a inversiones p b l i c a s , el feedback
de i n f o r m a c i n e v a l u a t i v a es u n a h e r r a -
m i e n t a p o d e r o s a p a r a d o c u m e n t a r la e f e c t i v i d a d o p e r a c i o n a l de l a o r g a n i z a c i n
q u e ofrece e l servicio, justificar e l trabajo de los profesionales, solicitar apoyos o
n u e v o s recursos y d e f e n d e r su v a l o r f r e n t e a las actuaciones q u e l l e v a n a cabo
o t r a s organizaciones e n el m i s m o sector social d e l p r o g r a m a .
N o hay f o r m a de c o m p r o b a r l a eficacia de u n p r o g r a m a a menos q u e se haya
l l e v a d o a efecto en la f o r m a adecuada p r o y e c t a d a en el d i s e o y p l a n i f i c a c i n o r i g i n a l . E n algunas ocasiones n o e s t d i s p o n i b l e el p e r s o n a l , otras veces las p l a n t i llas profesionales e s t n presionadas p o r g r u p o s p o l t i c o s o t i e n e n o b j e t i v o s p r o p i o s d i f c i l m e n t e c o m p a t i b l e s c o n e l p r o g r a m a ; e n a l g u n o s casos n o t i e n e n
m o t i v a c i n o s i m p l e m e n t e n o saben c m o realizar sus tareas; en otros, l a i n f l a c i n
L a e v a l u a c i n de la eficacia m i d e el g r a d o en q u e u n p r o g r a m a causa u n camb i o en la d i r e c c i n deseada. E l c o n c e p t o i m p l i c a la d e f i n i c i n de un c o n j u n t o de

objetivos (fsicos, conductuales, c o m u n i t a r i o s , etc.), especificados y definidos operacionalmente, y la d e f i n i c i n de u n c o n j u n t o de c r i t e r i o s de x i t o . Para realizarla
el e v a l u a d o r necesita u n p l a n de r e c o g i d a de datos q u e p e r m i t a demostrar que los
cambios observados son f u n c i n de las actividades realizadas en el p r o g r a m a , y
que estos cambios no p u e d e n explicarse de o t r o m o d o . L a s estrategias b s i c a s de
a n l i s i s se d i s c u t i r n en c a p t u l o s posteriores ( e x p e r i m e n t o s aleatorizados, experimentos n o aleatorizados, estudios cuasi-experimcntales). Las evaluaciones de la eficacia son esenciales si se desea comparar diferentes programas o c o m p r o b a r la u t i l i dad de nuevos esfuerzos para m e j o r a r u n p r o b l e m a c o m u n i t a r i o particular. Por el
c o n t r a r i o , la e v a l u a c i n de l a eficiencia es d e m a n d a d a a consecuencia de la escasez creciente de recursos para los p r o g r a m a s . Las i n t e r v e n c i o n e s c o m p i t e n en det e r m i n a d o s foros (asociaciones, fundaciones i n t e r n a c i o n a l e s , y a varios niveles en
las agencias g u b e r n a m e n t a l e s ) . E n ocasiones, la e l e c c i n e n t r e dos alternativas de
a c t u a c i n tiene q u e ver c o n la c u e s t i n e c o n m i c a , e n f u n c i n de que p r o d u z c a n
los, suficientes beneficios c o n u n coste r a z o n a b l e c o m o para otorgarles una determ i n a d a ayuda e c o n m i c a . L a s p r i n c i p a l e s cuestiones sobre la v a l o r a c i n de la u t i l i d a d d e l p r o g r a m a son:
o l a e s t i m a c i n e r r n e a d e l presupuesto l l e v a n a q u e la p l a n t i l l a m o d i f i q u e sus esfuerzos. T a m b i n hay ejemplos en los que n o existe u n n m e r o adecuado de p a r t i -
S e muestra el p r o g r a m a efectivo en lograr sus metas u objetivos pretendidos?
cipantes, n o e s t n b i e n i d e n t i f i c a d o s o s i m p l e m e n t e n o c o o p e r a n con el p r o g r a m a .
P u e d e n explicarse los resultados d e l p r o g r a m a p o r a l g n proceso a l t e r n a t i -
E l s e g u i m i e n t o de los p r o g r a m a s p u e d e a l e r t a r d e estos y o t r o s p r o b l e m a s p r o p o r c i o n a d o u n a v a l o r a c i n s i s t e m t i c a de las siguientes cuestiones:
v o n o i n c l u i d o o p r e v i s t o en d i c h o p r o g r a m a ?
T i e n e el p r o g r a m a efectos que no se p l a n i f i c a r o n ?
C u l e s son los costes de entrega de los servicios y beneficios de los p r o g r a -
A l c a n z a el p r o g r a m a a la p o b l a c i n o b j e t i v o de referencia?
S e llevan a cabo los esfuerzos de la i n t e r v e n c i n tal y c o m o f u e r o n especificados e n el d i s e o d e l p r o g r a m a ?
mas que se o t o r g a n a los participantes?

H a c e el p r o g r a m a un uso eficiente de los recursos, en c o m p a r a c i n con los
usos alternativos de los mismos?
46
finir I [)nr/io de tolitkos y programas de intervencin social
1.4. D i s e o d e l a e v a l u a c i n
Capitulo 2: Propsitos y actividades principales del proceso evolutivo 47

pende de que las evaluaciones se p l a n i f i q u e n , d i s e e n e i m p l e m e n t e n efi
c i e n t e m e n t e , y de que se p r o d u z c a n r e s u l t a d o s c r e b l e s y relevantes p a r a
D e un m o d o simplificado, se p o d r a e q u i p a r a r la e v a l u a c i n c o n u n p r o c e d i m i e n t o
e s t i m u l a r la m c j o i a del p r o g r a m a .
de investigacin convencional en e l que t i e n e n i m p o r t a n c i a las cuestiones de objetivos, d i s e o , recogida y anlisis de i n f o r m a c i n . U n a diferencia relevante es que las
preguntas de trabajo no se originan en el investigador, sino en las audiencias a las que
2.4.2. D i s e o s e g n el t i p o de i n t e r v e n c i n social
sirve. Toda la e v a l u a c i n se organiza en f u n c i n d e las necesidades de i n f o r m a c i n

de los grupos interesados, hasta e l p u n t o de q u e el m o d o en que los resultados se
E l d i s e o de las evaluaciones debe tener en c u e n t a la clase de i n t e r v e n c i n
presentan es una p r e o c u p a c i n c o n t i n u a d e l evaluador, e l cual persigue el o b j e t i v o
que e s t siendo o b j e t o de estudio N u e v a m e n t e c o n Rossi y F r e e m a n (1989), las
operativo de encontrar y presentar la i n f o r m a c i n de m a n e r a q u e logre u n m a y o r
clases i m p o r t a n t e s de i n t e r v e n c i o n e s i n c l u y e n : i n t e r v e n c i o n e s i n n o v a d o r a s , en el
impacto e influencia en las personas relacionadas.
sentido de que no lian sido intentadas con a n t e r i o r i d a d ; modificaciones de p r o g r a mas existentes; y programas existentes (o r s t a b l e c i d o s ) .
2.4.1. Elementos de d e c i s i n
ri) Evaluaciones
dr intervenciones
innovadoras.
L a m a y o r a de los p r o g r a m a s
que se p i e s e n t a n c o m o " n u e v o s " o " i n n o v a d o r e s " son modificaciones m s

E n s n t e s i s , e l d i s e o de una e v a l u a c i n i m p l i c a t o m a r decisiones respecto de
los siguientes temas ( N e w c o m e r , H a t r y y W h o l e y , 1994):
o menos m a q u i l l a d a s de i n t e r v e n c i o n e s ya existentes. Se entiende p o r n o vedoso que las actividades de que consta el p r o g r a m a n o h a y a n sido aplicadas alguna vez a la p o b l a c i n de referencia o al c a m p o de i n t e r v e n c i n q u e
a) E l diseo,
en e l cual se d e b e n d e t e r m i n a r c u l e s son las preguntas de eva-
l u a c i n , q u t i p o de comparaciones se necesitan y c m o s e r u t i l i z a d a la i n -
se p r e t e n d e evaluar. E n c o n c r e t o , e l p r o g r a m a es i n n o v a d o r si no ha estado
sujeto a i m p l e m e n t a c i n y v a l o r a c i n , b i e n p o r q u e :
f o r m a c i n . L a s m l t i p l e s preguntas posibles d e b e n ser p r i o r i z a d a s , f o r m u larse de m a n e r a c l a r a y t i l , y d e b e n ser p r e g u n t a s q u e p u e d a n o b t e n e r
1. L a i n t e r v e n c i n e n s m i s m a es a n u n c a m p o e m e r g e n t e de i n v e s t i g a -
respuesta ( p o r e j e m p l o , n o s o n adecuadas aquellas q u e i m p l i q u e n construc-
c i n y d e s a r r o l l o ; es decir, n o h a y e v i d e n c i a ( o e s t m u y l i m i t a d a ) de
tos de i m p o s i b l e o p e r a t i v i z a c i n o d e m a s i a d o abstractas). P o r l t i m o , hay
q u e t e n g a u n i m p a c t o a t r a v s de p r o g r a m a s b i e n e s t a b l e c i d o s . P o r
q u e atender a los costes de l a e v a l u a c i n y es c o n v e n i e n t e realizar estudios
e j e m p l o , los p r o g r a m a s de d e s a r r o l l o l o c a l a t r a v s de estrategias de
p i l o t o para p o n e r a p r u e b a e l e s t u d i o a p e q u e a escala.
b) L a recogida
de datos,
autoempleo.
c o n c r e t a n d o las fuentes p r i n c i p a l e s de i n f o r m a c i n ,
2. E l sistema de dispensa d e l p r o g r a m a , o p a r t e s d e l sistema, t o d a v a n o
los p r o c e d i m i e n t o s p a r a l a r e c o g i d a y los p r o b l e m a s d e l m u e s t r e o y de la
han sido adecuadamente c o m p r o b a d a s . P o r e j e m p l o , u n p r o g r a m a q u e
calidad de los datos. H a y q u e tener e n c u e n t a las posibles dificultades y ba-
i n c l u y e la idea a n n o c o m p r o b a d a c o n u n a e v a l u a c i n f o r m a l de u t i l i z a r
rreras p o l t i c a s , b u r o c r t i c a s y t c n i c a s c o n e l o b j e t i v o de conseguir los da-
estudiantes u n i v e r s i t a r i o s para p r o p o r c i o n a r a p o y o en casa a las personas
tos m s relevantes c o n e l m e n o r coste.

c) E l anlisis
de la tercera edad.
de datos, debiendo anticiparse los anlisis que p o d r n realizarse y la
3. L o s o b j e t i v o s de los p r o g r a m a s s o n nuevos o m u y a m p l i o s ! P o r e j e m p l o ,
t r a n s f o r m a c i n de los datos para que resulten m s t i l e s . L o s anlisis condi-
la actual r e f o r m a d e l sistema u n i v e r s i t a r i o p a r a i n t r o d u c i r nuevos m t o -
cionan el f o r m a t o de los datos que se espera recoger, y pueden ayudar a estructurar la i n f o r m a c i n de resultado de f o r m a apropiada en r e l a c i n con las
preguntas de e v a l u a c i n y las audiencias a las que se dirigen los informes.
d) E l uso de la informacin,
dos docentes en todas las t i t u l a c i o n e s i m p a r t i d a s en E s p a a .

4. U n p r o g r a m a o r i g i n a l m e n t e ejecutado en respuesta a u n o b j e t i v o se c o n t i n u a o e x p a n d e p o r q u e t i e n e i m p a c t o en o t r o o b j e t i v o d i f e r e n t e . P o r
l o cual supone d e f i n i r q u datos se r e u n i r n p a r a
e j e m p l o , u n p r o g r a m a de a t e n c i n a a las v c t i m a s d e l m a l t r a t o d o m s t i -
cada audiencia e s p e c f i c a , si se e l a b o r a r n r e c o m e n d a c i o n e s y c m o se ana-
co que se r e f o r m u l a para d i r i g i r s e a los hijos de f a m i l i a r c o n p r o b l e m a s
l i z a r el i m p a r t o de estas. E l i m p a c t o de los resultados n o se r e d u c e a u n
p o r q u e se ha o b s e r v a d o q u e el p r o g r a m a i n i c i a l t e n a u n i m p a c t o n e g a t i -
p r o b l e m a de j u g a r c o n e l a t r a c t i v o de los i n f o r m e s . Para ganar i n f l u e n c i a , el
vo sobre los n i o s .
e v a l u a d o r utiliza los resultados de m a n e r a e s t r a t g i c a , p r e s e n t a n d o e v i d e n cias q u e avalen sus r e c o m e n d a c i o n e s p a r a el c a m b i o d e l p r o g r a m a . A pesar

de l o c u a l , N e w c o m e r , H a t r y y W h o l e y (1994) sugieren que la eficacia de-
b) Evaluaciones
de programas
perfeccionados
o refinados.
U n a vez puesto en
m a r c h a u n p r o g r a m a es interesante c o m p r o b a r las f o r m a s en que o p e r a . Y
48 I Porte /: Diseo de polticas y programas de intervencin socio/
Capitulo 2: Propsitos y actividades principales del proceso evolutivo j 4 9 '
la r a z n de m a y o r peso para hacer esto es q u e s l o asf p i n Ir m i . ni

m e j o r a r su eficacia o eficiencia; en o t r a s palabras, para mejorat m i l m | i i
o p a r a conseguir el m i s m o a m e n o r coste p o r u n i d a d de i m p a c t o 11
2.5. E l p r o c e s o d e i n t e r v e n c i n s o c i a l
, ,
La i n t e r v e n c i n social es una a c c i n i n t e n c i o n a l s i s t e m t i c a dirigida a resolver al-
supuesto otras razones para efectuar evaluaciones mejoradas. U n a M |..
g n p r o b l e m a social, desarrollada p o r organizaciones con capacidad para m o v i l i -
el p r o g r a m a ofrezca servicios j u s t o s (equitativos),
zar recursos muchas veces considerables (los o r g a n i s m o s de la a d m i n i s t r a c i n p -
los servicios a la p o b l a c i n de r e f e r e n c i a de la misma f o r m a que 11 K m . ,
blica, por e j e m p l o , o diversas fundaciones y O N G ) . L a i n t e r v e n c i n se ajusta a la
es decir, que se . l i . p .
con la p o b l a c i n general. Se hace h i n c a p i en la d i f i c u l t a d de separa i pTQ
e v o l u c i n de los p r o b l e m a s sociales q u e t r a t a de resolver. E n general, e s t n i m p l i -
gramas i n n o v a d o r e s y p r o g r a m a s r e f o r m a d o s (algunas veces llamados Ir
cados d i s t i n t o t i p o de agentes y grupos de i n t e r s (afectados, beneficiarios, t c n i -
p u r a d o s ) , p o r q u e a veces los c a m b i o s son m e n o r e s y c l a r a m e n t e m o d i f i c a
cos, etc.) que t o m a n decisiones relevantes e n u n a d i m e n s i n t e m p o r a l , en f u n c i n
bles. O t r a s veces son costosos y p u e d e n t e n e r i m p o r t a n t e s r a m i f i c a c i o n r
de c m o e v o l u c i o n a n los p r o b l e m a s sociales que se e n f r e n t a n y las condiciones so-
en las redes de servicios h u m a n o s . P o r e j e m p l o , Rossi y F r e e m a n (1989)
ciales, e c o n m i c a s y p o l t i c a s que f o r m a n su c o n t e x t o . L a i n t e r v e n c i n , p o r t a n t o ,
m e n c i o n a n el caso de los p r o g r a m a s de s a l u d c o m u n i t a r i a que i n t e g r a n u n
es un proceso que se ajusta siguiendo una perspectiva c o n t i n g e n t e .
t r o s de s a l u d c o n hospitales u n i v e r s i t a r i o s . E l o b j e t i v o b s i c o de o f r e t r i
E n el m b i t o de las a d m i n i s t r a c i o n e s p b l i c a s y los servicios sociales, la i n t e r -
c u i d a d o s m d i c o s a personas de baja r e n t a n o c a m b i a en este caso, poro
v e n c i n se identifica c o n l a idea de p r o g r a m a . E n r e a l i d a d , p r o g r a m a es un c o n -
p u e d e n a u m e n t a r los costes a n i v e l n a c i o n a l y verse alterada la calidad d r l
cepto flexible q u e p u e d e aplicarse a u n c o n j u n t o m u y a m p l i o de acciones que se
servicio ofrecido.
desarrollan en contextos de i n t e r v e n c i n m u y diferentes (empresariales, educatiSon programas que han venido
vos, sanitarios, entre o t r o s ) . L a siguiente d e f i n i c i n de R e b o l l o s o (1994a: 237), sin-
i m p l e m e n t n d o s e d u r a n t e u n c i e r t o n m e r o de a o s en localidades dife-
tetiza c o n c l a r i d a d sus e l e m e n t o s b s i c o s : " a s u m i m o s que el significado de un p r o -
r e n t e s , q u e c u e n t a n c o n u n a e s t r u c t u r a de f u n c i o n a m i e n t o y
financiacin
grama de i n t e r v e n c i n social es b s i c a m e n t e u n c o n j u n t o de recursos organizados
estable. L a e v a l u a c i n es aconsejable p o r u n a serie de razones. E n p r i n c i -
y aciones d i r i g i d a s a o b j e t i v o s comunes y q u e l a e j e c u c i n de ese p r o g r a m a i n c l u y e
c) Evaluaciones
de programas
establecidos.
p i o , p u e d e n h a b e r s i d o c o n s t i t u i d o s p o r u n c o m p l e j o c o n j u n t o de razones
los recursos d e l p r o g r a m a , las actividades y los resultados de estas actividades". L a
externas o p o l t i c a s , y es i m p o r t a n t e t e n e r d a t o s de su i m p a c t o y de la ra-
p l a n i f i c a c i n r a c i o n a l , e l c o n t r o l de la i m p l e m e n t a c i n y el c l c u l o de la eficacia
z n c o s t e / b e n e f i c i o e n o r d e n a j u s t i f i c a r l a d e c i s i n de c o n t i n u a r , expan-
son claves d e n t r o de la c o n c e p c i n de p r o g r a m a m s e x t e n d i d a entre los especia-
d i r l o s o t e r m i n a r l o s . L a s a c t i v i d a d e s e v a l u a t i v a s p u e d e n estar p r o v o c a d a s
listas (Rossi y F r e e m a n , 1989).
p o r c a m b i o s e n l o s recursos d i s p o n i b l e s , d i s e o s p o l t i c o s , p r i o r i d a d e s de
L a i n t e r v e n c i n t o m a c o m o p u n t o de p a r t i d a la existencia de un p r o b l e m a so-
los m i e m b r o s c o m u n i t a r i o s , a s c o m o c a m b i o s observados en las p o b l a c i o -
cial r e l e v a n t e , generalmente cuando, p o r su i m p o r t a n c i a o p o r las c a r a c t e r s t i c a s
nes de r e f e r e n c i a . Q u i z s l o mas i m p o r t a n t e al e s t i m u l a r evaluaciones de
de los grupos i m p l i c a d o s , se inserta d e n t r o d e l discurso de los grupos p o l t i c o s que
p r o g r a m a s ya establecidos es l a e v i d e n c i a o sospecha de q u e el p r o g r a m a
caracterizan la d i n m i c a de los servicios sociales. E l a n l i s i s d i a g n s t i c o del p r o -
ya n o es e f i c i e n t e . A d e m s , u n p r o g r a m a p u e d e estar sujeto a r e v i s i o n e s
b l e m a da lugar a la p l a n i f i c a c i n de una a c c i n s i s t e m t i c a ( u n p r o g r a m a ) que tie-
l e g i s l a t i v a s q u e p r o p o r c i o n a n d a t o s p a r a la t e r m i n a c i n a u t o m t i c a si
ne c o m o elementos fundamentales el e s t a b l e c i m i e n t o de una serie de metas y ob-
p i e r d e e f i c a c i a y fracasa e n d e m o s t r a r su u t i l i d a d . L a s e v a l u a c i o n e s de
j e t i v o s d e t r a b a j o ( l a n u e v a s i t u a c i n s o c i a l q u e se d e s e a a l c a n z a r ) , u n a
p r o g r a m a s establecidos se c e n t r a n g e n e r a l m e n t e e n evaluaciones de i m -
e x p l i c a c i n de c m o las actividades planificadas r e s o l v e r n el p r o b l e m a ( t e o r a
p a c t o y e n a n l i s i s c o s t e / b e n e f i c i o , l i m i t a d a s c o n frecuencia a e x a m i n a r
del p r o g r a m a ) y u n c o n j u n t o de decisiones sobre la e s t r u c t u r a , recursos y funcio-
la dispensa de los s e r v i c i o s . E n tales casos, se c e n t r a n e n las cuestiones
nes de las organizaciones de servicios q u e p o n d r n en .marcha el p r o g r a m a ( t e o r a
del control, seguimiento y direccin del programa ( m o n i t o r i z a c i n ) . Los
de la i m p l e m e n t a c i n ) (Scbeirer, 1987). E n u n paso p o s t e r i o r el p r o g r a m a se lleva
servicios sociales son m u y v u l n e r a b l e s al c u e s t i o n a m i e n t o s e r i o y r e s p o n -
a la p r c t i c a ( i m p l e m e n t a c i n ) , siendo relevantes u n c o n j u n t o de actividades eva-
sable de c m o se e f e c t a l a e j e c u c i n , a s c o m o a los ataques p o l t i c o s o
luativas q u e aseguran el c o r r e c t o d e s a r r o l l o de la i n t e r v e n c i n y la v a l o r a c i n de
r e l a c i o n a d o s c o n los m e d i o s d e c o m u n i c a c i n . L o s resultados de l a eva-
los resultados obtenidos. E n el m o d e l o t r a d i c i o n a l de i n t e r v e n c i n , la e v a l u a c i n
l u a c i n , t a n t o de l a m o n i t o r i z a c i n de l a i m p l e m e n t a c i n d e l p r o g r a m a
ocupa u n lugar bien d e f i n i d o en r e l a c i n c o n tres actividades clave: la v a l o r a c i n de
c o m o de las v a l o r a c i o n e s d e l i m p a c t o y de la e f i c i e n c i a , p u e d e n i n f l u i r las
necesidades ( e s t a b l e c i m i e n t o de p r i o r i d a d e s y urgencias), el s e g u i m i e n t o (evalua-
decisiones sobre el d e s t i n o de los p r o g r a m a s y de las o r g a n i z a c i o n e s res-
c i n del ajuste de la i n t e r v e n c i n respecto del p l a n de t r a b a j o ) y la v a l o r a c i n de
ponsables.
resultados ( e v a l u a c i n de resultados e i m p a c t o s ) .
50
(apiiuhi 1 Propsitos y actividades principles del proceso evolutivo ] i .
Porte i: Diseo de polticos y programen de intervencin soool
M s a l l de los conceptos t r a d i c i o n a l e s , R e b o l l o s o , F e r n n d e z - R a m r e z y C a n -
I>) Nivel dr u ,,;, n. E n cada u n o de los t i p o s anteriores se aplica u n a n l i -
t n (2003) p r o p o n e n u n m o d e l o s i s t e m t i c o y c o n t i n g e n t e en el que las actividades
ii i l i l c i r n t c , del c u a l se d e r i v a n los e l e m e n t o s que l a i n t e r v e n c i n
de e v a l u a c i n se e x t i e n d e n p a r a s e r v i l c o m o g u a de actuaciones a l o l a r g o d e l
h a b r de I c n e r en cuenta. A s , existe u n a fase t e r i c a de e x p l i c a c i n d e l
proceso c o m p l e t o de i n t e r v e n c i n . L a figura 2.1 muestra el proceso i n t e g r a d o de
pi n b l i m i ' ial antes de la i n t e r v e n c i n p r o p i a m e n t e dicha ( q u antece-
i n t e r v e n c i n - e v a l u a c i n , i n c l u y e n d o las correspondientes fases de la i n t e r v e n c i n
ili n i ausan q u p r o b l e m a s ) , u n a fase de e x p l i c a c i n del p r o g r a m a ( q u
y las actividades evaluativas m s adecuadas e n cada m o m e n t o . E l m o d e l o tiene u n
.n i i v i i l i u l r " . l o g r a r n q u resultados) y u n a t e r c e r a fase de e x p l i c a c i n de
a l t o valor h e u r s t i c o p o r cuanto sugiere, siguiendo u n c r i t e r i o contingente, q u activi-
los iinp.ii ios de la i n t e r v e n c i n ( q u resultados d e l p r o g r a m a causan q u
dades de e v a l u a c i n p u e d e n realizarse e n el m o m e n t o e n que se requieren los servi-
i IIIISI
cios del evaluador, teniendo c o m o referencia la s i t u a c i n en la que se encuentra el
ii.ii
ni ni i.is de segundo o r d e n ) . E l a n l i s i s t e r i c o es til para d e t e r m i -
las v.ulilbics causales y de r e s u l t a d o relevantes en cada m o m e n t o del
proceso de i n t e r v e n c i n . I g u a l m e n t e , d a cabida a los tres grandes p r o p s i t o s de la
p i n - s o i i i . n u l o (.ida una de estas variables se traduce en indicadores o p e -
e v a l u a c i n . A l definirse c o m o u n a a c t i v i d a d subsidiaria de la i n t e r v e n c i n , los r e -
r a c i n n a l e i , te e s t en d i s p o s i c i n de recoger los datos necesarios para r e a l i -
sultados evaluativos s i r v e n para afinar, m e j o r a r o a p o r t a r la i n f o r m a c i n necesaria
zar la e v a l u a c i n .
para t o m a r decisiones f u n d a m e n t a d a s sobre la m a r c h a d e l p r o g r a m a ( e v a l u a c i n
i)
Nivel le investan
ion
I s el n i v e l c e n t r a l d e l m o d e l o , e l q u e sirve c o m o
o r i e n t a d a al d e s a r r o l l o ) ; al enfatizar e l e s t u d i o de las relaciones causales e n t r e dis-
j ' i n . i p . u . i l o m a i decisiones en los restantes niveles ( p a r t e superior de la fi-
t i n t o s factores i m p l i c a d o s e n la i n t e r v e n c i n , s i r v e p a r a alcanzar c o n o c i m i e n t o s
rma
v l i d o s sobre la s o l u c i n de p r o b l e m a s sociales y la c r e a c i n d e programas de i n -
t o d o de e v a l u a c i n se a p l i c a r n , d e p e n d e en cada m o m e n t o de la fase p o r
t e r v e n c i n ( e v a l u a c i n o r i e n t a d a al c o n o c i m i e n t o ) ; p o r l t i m o , al i n c l u i r u n a n l i -
la que t r a n s c u n a la i n v e s t i g a c i n . E n el g r f i c o se i n c l u y e n la e v o l u c i n d e l
I ) A s , q u t i p o de i n t e r v e n c i n , q u t e o r a , q u a c t i v i d a d o q u m -
sis de t o d o t i p o de resultados e i m p a c t o s d e l p r o g r a m a , sirve para i n f o r m a r a los
p i o b l e m a y de los esfuerzos realizados para su s o l u c i n a t r a v s del p r o g r a -
grupos interesados acerca d e l x i t o y las consecuencias de la i n t e r v e n c i n (evalua-
m a o i n t e r v e n c i n social. D e m a n e r a e s q u e m t i c a , la idea es que aparece
c i n o r i e n t a d a a la r e s p o n s a b i l i d a d ) . Cada fase de la i n t e r v e n c i n Ueva asociada
u n p r o b l e m a social, se p l a n i f i c a u n a i n t e r v e n c i n , se p o n e e n m a r c h a e l
una a c t i v i d a d general de e v a l u a c i n , f a c i l i t a n d o q u e el e v a l u a d o r sepa q u accio-
programa, l o g r a n d o
nes debe e m p r e n d e r en cada m o m e n t o d e l proceso. N o es necesario ejecutar t o d o
c o n j u n t o de i m p a c t o s . F i n a l m e n t e , u n a vez c o n c l u i d o el ciclo, h a y q u e t o -
el b l o q u e de acciones de u n m o d o m o n o l t i c o , l o c u a l s u p o n d r a una i n v e r s i n i m -
m a r decisiones sobre el f u t u r o a p a r t i r de l o que se ha a p r e n d i d o d u r a n t e e l
p o r t a n t e en esfuerzo y recursos, sino que debe decidirse la t a r e a a realizar d e p e n -
proceso.
d i e n d o de los intereses existentes y de los o b j e t i v o s y p r o p s i t o s q u e se hayan establecido (Chen, 1 9 % ) .
d) Nivel de evaluacin.
u n c o n j u n t o d e efectos, los cuales a su vez p r o d u c e n u n
Recoge los seis t i p o s generales de e v a l u a c i n , acordes
c o n cada fase del proceso: evaluaciones de c o n t e x t o , de entrada, de p r o c e -
E l m o d e l o se estructura s e g n dos ejes. E n e l eje h o r i z o n t a l se describen las
so, de r e s u l t a d o s , de i m p a c t o y c o m p a r a t i v a . E n p a r a l e l o se establece el
actividades del proceso a l o l a r g o de u n ciclo t e m p o r a l , c o n la p e c u l i a r i d a d de q u e
p r o c e s o de r e t r o a l i m e n t a c i n , es decir, aquellos m o m e n t o s formales en q u e
es factible r e t o r n a r a actividades y a finalizadas e n caso de q u e fuera necesario. E l
el e v a l u a d o r d i s p o n e de i n f o r m a c i n e x h a u s t i v a sobre alguna fase d e t e r m i -
eje v e r t i c a l describe cada m o m e n t o d e l proceso a t r a v s de seis niveles de a n l i s i s
nada, que s e r v i r p a r a que los responsables d e l p r o g r a m a t o m e n decisiones
que t r a t a n de agotar las c a r a c t e r s t i c a s o p a r m e t r o s fundamentales d e l proceso de
sobre la a p l i c a c i n d e l m i s m o . A u n q u e l a c o m u n i c a c i n e n t r e el e v a l u a d o r
i n t e r v e n c i n - e v a l u a c i n . L a d e s c r i p c i n de cada fase d e l proceso se d e t a l l a r en
y las distintas audiencias puede y d e b e o c u r r i r en c u a l q u i e r m o m e n t o q u e
cada u n o de los c a p t u l o s correspondientes a l o l a r g o d e l l i b r o , u t i l i z a n d o dichos
sea c o n v e n i e n t e , c o m o m n i m o el e v a l u a d o r i n f o r m a r c u a n d o disponga de
niveles t a l c o m o se aclara a c o n t i n u a c i n .
datos sobre la i m p l e m e n t a c i n c o r r e c t a del p r o g r a m a ( f u n c i n f o r m a t i v a ) ,

sus resultados e i m p a c t o s ( f u n c i n s u m a t i v a ) y sobre la eficacia del p r o c e s o
a) Nivel de intervencin
social.
L a i n t e r v e n c i n p u e d e realizarse en d i s t i n t o s
en c o m p a r a c i n c o n o t r o s casos o i n t e r v e n c i o n e s similares ( f u n c i n p o l t i c a
m o m e n t o s de la e v o l u c i n d e l p r o b l e m a social y de sus consecuencias. D i s -
o administrativa).
t i n g u i m o s tres t i p o s : p u e d e d i r i g i r s e a atajar las causas de los p r o b l e m a s
e) Nivel de actividades
( i n t e r v e n c i n p r i m a r i a ) , a r e t a r d a r su d e s a r r o l l o y r e d u c i r sus efectos (se-
evaluativas.
Se c o n c r e t a q u actividades e s p e c f i c a s de
e v a l u a c i n se p u e d e n realizar p a r a d a r c u m p l i d a cuenta de cada u n o de l o s
c u n d a r i a ) , o a i m p e d i r que se c r o n i f i q u e n y aparezcan secuelas ( t e r c i a r i a ) .
t i p o s generales de e v a l u a c i n descritos en e l n i v e l anterior. Las actividades
L a i n t e r v e n c i n secundaria es la que supone la v e r d a d e r a a p l i c a c i n de u n
recogidas son s l o u n a muestra o r i e n t a t i v a de las m l t i p l e s p o s i b i l i d a d e s de
programa.
las que d i s p o n e el e v a l u a d o r para su t r a b a j o .
Capitulo 2: Propsitos y actividades principales del proceso evolutivo

f)
Nivel
de metodologa.
E l l t i m o n i v e l a p o r t a i n f o r m a c i n sobre algunos
m t o d o s que se p u e d e n aplicar en c o r r e s p o n d e n c i a con cada actividad de

e v a l u a c i n . C o m o en el caso a n t e r i o r , son s l o una muestra de las m l t i p l e s
opciones disponibles, y en n i n g n caso d e b e r a n coartar la l i b e r t a d , la i m a g i n a c i n y l a p o s i c i n e p i s t e m o l g i c a del e v a l u a d o r para utilizar el m t o d o
que resulte m s adecuado, til o ventajoso en cada m o m e n t o .
E n c o n c l u s i n , e l m o d e l o es til p a r a analizar e v o l u t i v a m e n t e la realidad social y los esfuerzos p l a n i f i c a d o s para i n t e r v e n i r en la misma. Desde u n p u n t o de
vista s i s t m i c o , el sistema p o l t i c o y a d m i n i s t r a t i v o responsable de la i n t e r v e n c i n ,
se i n t r o d u c e o se i m b r i c a en el sistema social en q u e se describe el p r o b l e m a . E n
paralelo, los evaluadores se c o n s t i t u y e n en u n tercer sistema de c o n t r o l i n t e r r e l a cionado con los anteriores, e n t e n d i d o el c o n t r o l c o m o u n concepto a m p l i o que i n cluye las ideas de r e v i s i n , m o n i t o r i z a c i n y v a l o r a c i n . L o s evaluadores asumen
as u n r o l e x t e m o , u n sistema d e vigilancia q u e analiza c o n t i n u a m e n t e q u decisiones se e s t n t o m a n d o y a p o r t a i n f o r m a c i n e v a l u a t i v a para mejorarlas.
Procedimientos diagnsticos
I iv. pn H < (liMiicnios d i a g n s t i c o s tienen c o m o o b j e t i v o d e t e n n i n a r la existencia y alcance de los problemas sociales que las polticas y programas p b l i c o s t r a t a r n de solucionan < liceo un c o n j u n t o de m t o d o s y prescripciones de o r i e n t a c i n cientfica
paia esta l a i c a , l e n l e al desarrollo de programas muchas veces con base i d e o l g i c a o
electoialista |x>r parte de los partidos p o l t i c o s , o iniciados p o r las denuncias escasamente contrastadas que puedan realizar los medios de c o m u n i c a c i n o los grupos i n teresados. I i i d e f i n i t i v a , responde a la exigencia de q u e la i n t e r v e n c i n social se
oriente a la s o l u c i n de problemas debidamente c o m p r o b a d o s .
Es esencial tener i n f o r m a c i n precisa y fiable sobre los p r o b l e m a s sociales y el
c o n t e x t o en que la i n t e r v e n c i n opera, antes de q u e el p r o g r a m a sea d i s e a d o e i m p l e m e n t a d o . A l g u n o s autores i n c l u y e n el d i a g n s t i c o d e n t r o de las d e n o m i n a d a s
evaluaciones de c o n t e x t o (Stufflebeam, p o r e j e m p l o , o nosotros m i s m o s ) , y q u i z
s e r a interesante t r a t a r de distinguirlas, siendo el o b j e t i v o de esta l t i m a analizar y
v a l o r a r el c o n t e x t o social a m p l i o p r e v i o a l a i n t e r v e n c i n . E l d i a g n s t i c o es una act i v i d a d c o m p l e j a que i m p l i c a tareas e s p e c f i c a s tales c o m o identificar necesidades,
p r o b l e m a s y o p o r t u n i d a d e s de m e j o r a , realizar u n p r o n s t i c o de la s i t u a c i n , i d e n t i f i c a r recursos, d e t e r m i n a r p r i o r i d a d e s , establecer c o n t i n g e n c i a s , etc. ( A g u i l a r ,
1998; A g u i l a r y A n d e r - E g g , 1992). E l d i a g n s t i c o es u n a a c t i v i d a d diferente de la
i n v e s t i g a c i n t r a d i c i o n a l sobre u n p r o b l e m a social c o n c r e t o . T a m p o c o se identifica
con el a n l i s i s de necesidades, aunque s t e f o r m e p a r t e d e l d i a g n s t i c o .
i
E s i m p o r t a n t e a p r e c i a r q u e los p r o b l e m a s sociales s o n c o n s t r u c c i o n e s q u e
r e s p o n d e n a procesos p e c u l i a r e s d e n t r o de la d i n m i c a de la i n t e r a c c i n e n t r e
los g r u p o s sociales. G e n e r a l m e n t e , la i n t u i c i n de u n p r o b l e m a h a r m e l l a e n la
o p i n i n de los m e d i o s d e c o m u n i c a c i n y e n los c r c u l o s p o l t i c o s , p l a n t e n d o s e
en consecuencia la necesidad d e i n i c i a r los esfuerzos de i n t e r v e n c i n . L a p a r t i c i p a c i n d e l e v a l u a d o r en esta fase asegura e l d i s p o n e r de u n c o n o c i m i e n t o m s
Captulo 3: Procedimientos diagnsticos
56 J Pone I: Diseo de polticas y programas de intervencin social

e x a c t o y f i a b l e sobre las c a r a c t e r s t i c a s d e l m i s m o , las situaciones en <|u
a p a r e c i e n d o y las p e r s o n a s q u e se v e n a f e c t a d a s . D e este m o d o , m e d i a n i l , I
d i a g n s t i c o se c l a r i f i c a la p o b l a c i n o b j e t i v o y se o b t i e n e una i n f o r m a c i n clave
p a r a o r i e n t a r las a c t i v i d a d e s del p r o g r a m a .
Entrevista.
T c n i c a de recogida de i n -
Evaluacin
de contexto.
Fase i n i c i a l
Poblacin
de riesgo.
T c n i c a de recogida de i n -
f o r m a c i n basada en el d i l o g o d i -
f o r m a c i n masiva en la que el t o t a l
recto entre el i n v e s t i g a d o r y cada
de las personas seleccionadas para
una de las personas seleccionadas
el e s t u d i o r e s p o n d e n por escrito a
para el estudio, u t i l i z a n d o u n
u n c o n j u n t o de cuestiones p r e v i a -
estructurado
m e n t e e l a b o r a d a s p o r los i n v e s t i -
en f u n c i n de l o s o b j e t i v o s de l a
gadores en f u n c i n de los intereses
investigacin.
de la i n v e s t i g a c i n .
guin m s o menos
C o n c e p t o s clave
Encuesta.
57
Sector o g r u p o de
d e l p r o c e s o de i n t e r v e n c i n - e v a -
la p o b l a c i n cuyas c a r a c t e r s t i c a s o
l u a c i n en la q u e se describen y va-
c o n d i c i o n e s de vida i n d i c a n que
l o r a n las c o n d i c i o n e s sociales a m -
e x i s t e u n a g r a n p r o b a b i l i d a d de
plias que enmarcan el p r o b l e m a
q u e r e s u l t e n afectados p o r a l g n
K u r t L e w i n parece ser el p r i m e r o en p r o p o n e r q u e la i n t e r v e n c i n social debe
social y l a p r o p i a i n t e r v e n c i n . E n -
p r o b l e m a o s i t u a c i n n o deseable.
seguir u n m o d e l o s i s t e m t i c o , r e p r e s e n t a d o p o r las fases de p l a n i f i c a c i n , i n t e r -
t r e o t r a s , i n c l u y e las t r a d i c i o n a l e s
actividades de e v a l u a c i n de necesidades y e v a l u a c i o n e s
diagnsti-
cas.
T e o r a del problema.
v e n c i n y e v a l u a c i n ( v a s e cuadro 3.1), d e f i n i e n d o un proceso

Necesidad.
Es un juicio de valor que re-
D u r a n t e esta fase es i n t e r e s a n t e c o n o c e r e l e s t a d o de l a c u e s t i n q u e r e s u l t a
p r o b l e m t i c a , las necesidades de a l g n sector de la p o b l a c i n o de u n g r u p o o r -
t u a c i n ideal que se desea conseguir.
g a n i z a c i o n a l , y e n g e n e r a l r e a l i z a r u n d i a g n s t i c o q u e p e r m i t a p l a n i f i c a r una i n t e r v e n c i n d i r i g i d a a s o l u c i o n a r l o s p r o b l e m a s d e t e c t a d o s . L a s actividades d i a g -
Evaluacin
de necesidades.
Actividad
e v a l u a t i v a c u y o o b j e t i v o es descri-
v e n c i n i r d i r i g i d a a frenar, e l i m i -
b i r y v a l o r a r o p r i o r i z a r las necesi-
nar o c o n t r o l a r los factores que te-
dades de un g r u p o .
Sensibilidad.
L o s p r o b l e m a s so-
L o s programas deben de-
s a r r o l l a r p r o c e d i m i e n t o s p a r a de-
ciales s o n a q u e l l o s q u e e s t n sien-
terminar q u i n e s pueden
do percibidos o vividos como pro-
p a r c o m o usuarios. L a sensibilidad
blema por un grupo importante
es l a capacidad para detectar casos
de la p o b l a c i n , y son d e f i n i d o s
q u e c u m p l e n las condiciones esta-
partici-
m e d i a n t e u n proceso d e construc-
b l e c i d a s p a r a ser i n c l u i d o s e n e l
c i n social e n t r e los d i s t i n t o s acto-
programa
que
aparece.
y conceptualizacin
del programa,
e n la c u a l se estima la e x t e n -
i d e n t i f i c a una fase i n i c i a l d e estas c a r a c t e r s t i c a s d e n t r o d e l m o d e l o C I P P

text, Input,
Process,
Product)
(Con-
y, e n g e n e r a l , e n t o d o s los d e n o m i n a d o s m o d e l o s
s i s t e m t i c o s d e e v a l u a c i n , las a c t i v i d a d e s d i a g n s t i c a s o c u p a n u n a p o s i c i n
clara d e n t r o d e l p r o c e s o g e n e r a l de i n t e r v e n c i n , a pesar de q u e sean recogidas
con e t i q u e t a s d i f e r e n t e s .
E n el c a p t u l o a n t e r i o r p r e s e n t a m o s los e l e m e n t o s d e l m o d e l o s i s t e m t i c o y
contingente de R e b o l l o s o y cois. (2003), caracterizado p o r considerar cada a c t i v i t r o d e l proceso de i n t e r v e n c i n social, e n p a r a l e l o c o n la c o r r e s p o n d i e n t e fase de
Informantes
clave.
L o s m i e m b r o s de
u n g r u p o q u e , p o r su p o s i c i n o su
e x p e r i e n c i a , d i s p o n e n de i n f o r m a -
Poblacin
objetivo.
Sector o g r u p o de
la p o b l a c i n a la que e s t dirigido
e l p r o g r a m a y q u e son c o n s i d e r a dos u s u a r i o s p o t e n c i a l e s d e l m i s mo.
fase de diseo
s i n y g r a v e d a d de los p r o b l e m a s sociales, c o n e l fin de d i s e a r p r o g r a m a s para
dad evaluativa c o m o una a c c i n q u e se debe d e s a r r o l l a r de f o r m a integrada d e n -
res y g r u p o s i m p l i c a d o s o r e l a c i o n a d o s c o n la s i t u a c i n en
n s t i c a s e s t n descritas t a m b i n p o r R o s s i y F r e e m a n ( 1 9 8 9 ) c o m o p a r t e de la
a m i n o r a r l o s . D e f o r m a s i m i l a r , S t u f f l e b e a r a ( 1 9 6 6 ; S t u f f l e b e a m y cois., 1971)
r i c a m e n t e causan el p r o b l e m a .
social.
diagnstico
problemtica.
t u a c i n actual de un grupo y una si-
del p r o b l e m a . L a posterior inter-
Problema
p r e v i o e n r e l a c i n c o n e l a n l i s i s y d e s c r i p c i n de la s i t u a c i n
sulta de la c o m p a r a c i n entre la si-
H i p t e s i s c o n la
c u a l se i n t e n t a e x p l i c a r e l o r i g e n
3.1. L a e v a l u a c i n d e c o n t e x t o d e n t r o d e l p r o c e s o d e i n t e r v e n c i n s o c i a l
la i n t e r v e n c i n p r o p i a m e n t e d i c h a . E n la figura 2 . 1 , i n c l u i d a en el c a p t u l o segundo, se mostraba el proceso i n t e g r a d o de i n t e r v e n c i n social j u n t o a las actividades

evaluativas adecuadas a cada fase. E n el caso de las evaluaciones de c o n t e x t o ,
c i n e x h a u s t i v a y v e r a z s o b r e los
d e n t r o de las cuales se e n m a r c a n los p r o c e d i m i e n t o s d i a g n s t i c o s , el m o d e l o a n a l i -
r e s t a n t e s m i e m b r o s , las necesida-
za una serie de p a r m e t r o s de i n t e r s que resultan t i l e s p a r a el m e j o r d e s a r r o l l o
des, v a l o r e s , d i n m i c a s y otras
de la e v a l u a c i n . L a figura 3.1 describe de f o r m a m s detallada la fase de e v a l u a c i n
cuestiones del g r u p o relevantes pa-
de contexto. L a c o l u m n a de la izquierda indica los distintos niveles de anlisis u t i l i -
r a la e v a l u a c i n .
zados por R e b o l l o s o y cois. (2003) para describir el m o d e l o . A c o n t i n u a c i n c o m e n taremos b r e v e m e n t e cada u n o de ellos.
58
Capitulo 3: Procedimientos diagnsticos
Porte /. D i s e o de polticas y piogromas de intervencin social
| -
o c u p a , e l p r o g r a m a de i n t e r v e n c i n c o m o t a l n o ha s i d o d i s e a d o t o d a v a .
Cuadro 3.1. Papel del diagnostico en el ocio de investigacin-accin de K l rwm
Sin e m b a r g o , es el m o m e n t o en q u e se e m p i e z a a d e t e c t a r el p r o b l e m a soKurt Lewin analiza la importancia de la actividad diagnstica en su conocido artculo de 1946 (reproducido en castellano en la Revisto de Psicologa Social 1988. vol. 3: 229-240). En su opMdn, para
que el esfuerzo profesional y comunrtano se convierta en accin organizada y eficiente. r \ necesario
resolver tres cuestiones especificas: cul es la situacin actual?, cules son los peligros? y. lo ms importante, /qu hacer? Es decir, necesitamos saber cules son los problemas que requieren solucin,
qu actividades podemos implantar para resolverlos y cules son las dificultades que puede irnjiedir el
xito de la intervencin.
La actividad cientfica convencional no basta para resolver estas cuestiones. El propsito del cientfico es definir leyes generales para comprender y explicar por igual todo tipo de situaciones Sin embargo, de cara a la intervencin social, no es suficiente conocer las leyes generales sobre un fenmeno, ano que es necesano determinar las caractersticas peculiares de la situacin especifica donde se
quiere intervenir. Una cosa es saber por qu ocurre un problema, y otra diferente saber cmo resolverlo. Lewin est proponiendo de este modo dos objetivos de investigacin, igualmente imprescindibles, que deben afrontarse de manera coordinada:
"El conocimiento de las leyes puede servir de guia para el logro de dertos objetivos bajo ciertas
condiciones. Para actuar correctamente no basta, sin embargo, que el ingeniero o el cirujano conozcan las leyes generales de la fsica o la fisiologa. Tienen que conocer tambin d carcter especfico de
la situacin presente Este carcter e n e determinado por una recogida cientfica de datos que se llama diagnstico. En cualquier campo de accin son necesarios ambos tipos de investigacin cientfica"
(Lewin. 1946/1988: 231).
Tampoco los procedimientos de diagnstico son suficientes por s solos para definir la intervencin. Enrealidad,forman parte del cido global de la invesbgadn-accin, en el cual deben ser complementados con estudios comparativos de la eficacia de las diversas posibilidades de intervencin
disponibles. Una vez que d investigador dispone de conocimientos generales y de un diagnstico
adecuado de la situacin, d proceso de planificacin sigue los siguientes pasos:
c i a l , y y a se d e b e r a i n t e r v e n i r c o n v e l o c i d a d p a r a e v i t a r que se e x t e n d i e r a
o se asentase. L a i n t e r v e n c i n p r i m a r i a a c t a d i r e c t a m e n t e s o b r e las causas
y los factores de riesgo q u e o r i g i n a n e l p r o b l e m a p a r a e v i t a r su a p a r i c i n .
b)
Teora
del problema.
E n la fase de d i a g n s t i c o es i m p o r t a n t e d e s a r r o l l a r
m o d e l o s t e r i c o s a l t e r n a t i v o s que e x p l i q u e n c o n la m a y o r e x a c t i t u d p o s i b l e
c u l es el p r o b l e m a y p o r q u sucede. T o d a i n t e r v e n c i n se f u n d a m e n t a
p r e n d e r c m o f u n c i o n a el p r o b l e m a . D e h e c h o , l a m e r a f o r m u l a c i n
ractersticas,
a p a r t i r de la cual se p o d r d e s a r r o l l a r el m o d e l o t e r i c o q u e
o r i e n t e y d f u n d a m e n t o al p r o g r a m a de i n t e r v e n c i n . I g u a l m e n t e , la t e o r a
d e l p r o b l e m a a y u d a i a l o i n a i decisiones p r e v e n t i v a s d e n t r o de u n m a r c o
INtlIMNON
Prrnaria
(<S{nos(irprTvervJon)
TEOIUZACJN
INVESTIGACION
3. Recoger datos que demuestren d nivd de logro esperado micialmente, dando a los planificadores una oportunidad para aprender, planificar d siguiente paso y modificar d plan general.
4. Iniciar un nuevo ocio de planificacin, ejecucin y reconodmiento.
EVALUACIN
ACTIVIDADES
EstLX&o
de
la
aakKn
de l A u a o s
En resumen, la investigacin accin es una prctica de investigacin social que se ocupa tanto de
las leyes generales como del diagnstico de situaciones especficas. En relacin con d proceso racional de toma de decisiones, la investigacin en accin es un proceso reiterativo que parte de un objetivo general a conseguir, y se compone de las etapas de diagnstico, planificacin, accin y reconocimiento, de tal modo que cada ocio aumenta los conocimientos y experiencias sobre el problema y la
intervencin, por lo que grficamente es pertinente unafiguraen espiral (Alonso Amo. 1988; Argyris,
I980-, Kemmis, 1981).
Anlois de condioone
(loicas, econmicas. - )
loentifcan de audiencias
Iderruficaan del problema
(causas)
METODOLOGIA
ruestionano
Lrrtrevsta
Tcnicas jrupales (Ddphu.)
Definionde problemas sociales
a)
Intervencin
primaria.
T r a d i c i o n a l m e n t e se d i s t i n g u e n t r e s t i p o s de i n t e r -
v e n c i n social, e n r e l a c i n c o n diversos m o m e n t o s e n la e v o l u c i n d e l p r o b l e m a que se p r e t e n d e r e s o l v e r ( S n c h e z V i d a l , 1996). E n e l caso q u e n o s
del
p r o b l e m a c o n l l e v a i m p l c i t a m e n t e una h i p t e s i s sobre su o c u r r e n c i a y ca-
I. Disear d plan general para alcanzar d objeto de cambio.

2 Poner en prctica el pnmer paso dd plan general.
"La gestin social racional, por tanto, procede en espiral de forma que cada paso se compone de
un ciclo de planificacin, accin y recogida de datos sobre el resultado de la accin" (Lewin,
1946/1988:233).
en
u n c o n j u n t o de ideas p i c v u s o suposiciones que a y u d a n a e x p l i c a r y c o m -
Figura 3.1. Elementos de la evaluacin de contexto.
60 I Parle I: Diseo de polticas y programas de intervencin social

de i n t e r v e n c i n p r i m a r i a . E n este p u n t o es i m p o r t a n t e d i s t i n g u ! r u i n
j 61 '
i.
c u e s t i n es d e t e r m i n a r las r e a s en que los usuarios e s t n r e c i b i e n d o u n
t e o r a d e l p r o b l e m a , que i n d i c a los factores q u e crean una siiu.it Ion I d 11|
servicio defectuoso, con vistas a plantear i n t e r v e n c i o n e s en consecuencia
indeseada, y la p o s t e r i o r t e o r a d e l p r o g r a m a , que explica p o r q u d t t i m i l
( R e b o l l o s o , F e r n n d e z - R a m r e z y C a n t n , 2001).
nadas actividades t e n d r n c o m o consecuencia los resultados que drs<
2. A n l i s i s de las condiciones en que se e n m a r c a el p r o b l e m a , i n c l u y e n d o
( e n este caso, la m e j o r a o d e s a p a r i c i n d e l p r o b l e m a social).

c) Investigacin
sobre el problema.
los aspectos sociales, e c o n m i c o s , a m b i e n t a l e s , p o l t i c o s , legales, o cua-
L a i n t e r v e n c i n es una actividad que se i n i I
lesquiera o t r o s q u e resulten pertinentes p a r a c o m p r e n d e r el p r o b l e m a
ta y p r o c e d e de f o r m a integrada d e n t r o de la realidad sociaJ y poltica r n UM
d e n t r o d e l c o n t e x t o social en q u e se p r o d u c e .
se desarrolla el p r o b l e m a . E n este sentido, los c i e n t f i c o s se constituyen r n
3. I d e n t i f i c a c i n de las audiencias o stakeholders.
Se entiende por
stakehol-
u n o m s d e los grupos que e s t n i m p l i c a d o s , d e b i d o precisamente a su proal
ders todos aquellos grupos de personas que e s t n afectadas positiva o ne-
m i d a d c o n el p r o b l e m a ( R e b o l l o s o , 1990a). E l g r u p o de los cientficos entTI
g a t i v a m e n t e p o r e l p r o b l e m a . Esta a c t i v i d a d es i m p o r t a n t e al menos p o r
en r e l a c i n con el p r o b l e m a m e d i a n t e u n p r i m e r a n l i s i s de la realidad social
dos razones. E n p r i m e r lugar, p o r q u e la d e f i n i c i n del p r o b l e m a depen-
(la e v a l u a c i n de c o n t e x t o ) , q u e supone t a m b i n u n p r i m e r contacto con el
de d e l significado y la perspectiva q u e asuma cada g r u p o de i n t e r s y a
resto de grupos de stakeholders.
N u e s t r a idea de la realidad social responde a
p r i o r i n o es p o s i b l e d e t e r m i n a r c u l de ellas s e r la m s adecuada para
en la que m l t i p l e s factores e s t n determinando
e n t e n d e r y resolver el p r o b l e m a . E n s e g u n d o lugar, p o r q u e t a n t o el p r o -
los distintos aspectos o situaciones que venimos a identificar c o m o " e l proble-
b l e m a c o m o la p r o p i a i n t e r v e n c i n se e n t i e n d e n c o m o un c o n j u n t o de
m a " ; construccionista,
supuestos y actividades q u e son definidas c o n s t r u c t i v a m e n t e
una o r i e n t a c i n : multicausal,
en la m e d i d a en que t o d a r e a l i d a d social es f r u t o de un
proceso de c o n s t r u c c i n social e n el q u e cada g r u p o d e interesados discute,

analiza y da sentido al p r o b l e m a c o m o una realidad " o b j e t i v a " ; y contexta!
mediante
procesos de n e g o c i a c i n entre las audiencias.
4. L o c a l i z a c i n de las causas del p r o b l e m a . U n a vez identificados los l m i -
s e g n la cual el p r o b l e m a n o p u e d e ser analizado i g n o r a n d o el con-
tes y las c a r a c t e r s t i c a s m n i m a s del p r o b l e m a , es necesario d e t e r m i n a r
t e x t o social en que se p r o d u c e , c o n t o d o l o que esto i m p l i c a en cuanto a un
c u l e s son los factores que l o generan y los mecanismos que e x p l i c a n su
holstica,
m a y o r n m e r o de factores relevantes a tener en cuenta.

d) Evaluacin
de contexto.
a p a r i c i n . L a t e o r a d e l p r o b l e m a p u e d e ser desarrollada a p a r t i r de los
Las actividades evaluativas q u e se p u e d e n llevar a
c o n o c i m i e n t o s disponibles en las distintas disciplinas c i e n t f i c a s , a p a r t i r
c a b o e n esta fase e s t n e s t r e c h a m e n t e r e l a c i o n a d a s c o n la i n v e s t i g a c i n i n i -
de las explicaciones q u e los p r o p i o s interesados hayan desarrollado en su
cial s o b r e el p r o b l e m a , y en g e n e r a l se o r i e n t a n a d e t e r m i n a r las c o n d i c i o -
i n t e r a c c i n c o n e l p r o b l e m a , o i n t e n t a n d o una c o m b i n a c i n entre ambas
nes p r e v i a s y el c o n t e x t o del p r o b l e m a . E n otras palabras, se p r e t e n d e ana-
( C h e n , 1996; L e v i t n , 1994).
lizar, c o m p r e n d e r y p r i o r i z a r las "necesidades" d e la p o b l a c i n ( e v a l u a c i n

de necesidades) y las c o n d i c i o n e s s o c i o e c o n m i c a s y p o l t i c a s q u e enmarca-
f)
Mtodos
de investigacin
tiles para la evaluacin
de contexto.
Existe una a m -
r n al p r o g r a m a , para f a c i l i t a r la c o m p r e n s i n de los p r o b l e m a s sociales a
plia variedad de posibles m t o d o s aplicables en esta clase de e v a l u a c i n , y es
los q u e se p r e t e n d e d a r respuesta, y o r i e n t a r a s la p l a n i f i c a c i n d e l p r o g r a -
posible c o m b i n a r de f o r m a v l i d a estrategias de n d o l e cuantitativa y cualitati-
m a de i n t e r v e n c i n .
va. Por ejemplo, las entrevistas en p r o f u n d i d a d y las t c n i c a s grupales ( D e l p -
e) Algunas
actividades
evaluativas
especificas.
Para c o m p l e t a r c o n x i t o la eva-
l u a c i n de c o n t e x t o se p u e d e n p o n e r en p r c t i c a u n a serie de actividades
h i , grupos de d i s c u s i n , grupos nominales, f r u m c o m u n i t a r i o , etc.; N e z y

'
Loscertales, 1996) p r o p o r c i o n a n i n f o r m a c i n provechosa y de p r i m e r a m a n o
e s p e c f i c a s , e n t r e las cuales se i n c l u y e n los p r o c e d i m i e n t o s d i a g n s t i c o s . L a
acerca del p r o b l e m a y de los factores que l o o r i g i n a n , y acerca de la perspecti-
e l e c c i n d e q u a c t i v i d a d d e s a r r o l l a r d e p e n d e r de c r i t e r i o s funcionales, de
va, actitudes o experiencia de los grupos interesados. L a o b s e r v a c i n de la?
eficacia, eficiencia, u t i l i d a d , o c u a l q u i e r o t r o q u e resulte de i n t e r s , m a n t e -
condiciones ambientales, sociales y e c o n m i c a s , j u n t o a la r e v i s i n de la legis-
n i e n d o u n a n i m o f l e x i b l e y e c l c t i c o , t e n i e n d o e n c u e n t a que son las a c t i -
l a c i n vigente y el anlisis de contenidos de t o d o t i p o de documentos servir-
vidades t c n i c a s las q u e d e b e n adaptarse a la r e a l i d a d social, y n o al c o n t r a -
an para completar el enmarque del p r o b l e m a y del f u t u r o programa.
rio, para m e j o r a r nuestra c o m p r e n s i n de los p r o b l e m a s . R e b o l l o s o y cois.

(2003) s u g i e r e n las siguientes p o s i b i l i d a d e s :
3.2. P r o b l e m a s sociales
1. E s t u d i o de la s a t i s f a c c i n d e usuarios. Se e n t i e n d e usuarios de u n m o d o
a m p l i o c o m o todas aquellas personas q u e r e c i b e n u n servicio p o r parte
L o s p r o b l e m a s sociales n o son f e n m e n o s que r e s p o n d a n a una r e a l i d a d c o m p l e -
de l o s c e n t r o s d e servicios sociales o de c u a l q u i e r o t r a i n s t i t u c i n . L a
t a m e n t e o b j e t i v a , sino "construcciones sociales" q u e e m e r g e n de los intereses y
62
Parte /: Diseo de potrcas y programas de intervencin socio/
Capruilo 3: Procedimientos diagnsticos
v a l o r e s de la sociedad y de las personas q u e t i e n e n i n t e r s en ellos. Sin e m b a r g o ,
,,,, a x p l f c i l a m e n t e . E l a u m e n t o de recursos se c o n v i e r t e a s en la s o l u c i n para t o -
e n el caso de los esfuerzos para t r a t a r c o n la m a y o r a de los p r o b l e m a s sociales, se
d M l o s |>ioblemas, y los responsables de los p r o g r a m a s de m e j o r a se centran ex-
r e q u i e r e c o n o c i m i e n t o sobre e l p r o b l e m a y los hechos d e l pasado que h a n i n c i d i d o
, luMviimente en l o g r a r l a c o n t i n u i d a d de la s i t u a c i n p r o b l e m t i c a a t r a v s de la
e n l . Se precisa u n a i n f o r m a c i n e v a l u a t i v a de g a r a n t a ( v l i d a y fiable) c o m o ba-
a m p l i a c i n de los f o n d o s , r e f o r z a n d o e l statu q u o y l i m i t a n d o las o p o r t u n i d a d e s
se sobre la cual se c o n s t r u y a n las i n t e r v e n c i o n e s . T o m e m o s e l caso de la i n m i g r a -
realizar c a m b i o s sustanciales. Para e v i t a r esta p r c t i c a , K e t t n e r , M o r o n e y y
c i n . L a i n m i g r a c i n n o es en s m i s m a u n p r o b l e m a , sino u n f e n m e n o s o c i o d e -
M . i i t i n ( l ' ? ) ' ) ) sugieren q u e e l a n l i s i s d e l p r o b l e m a d e b e r a centrarse en la c o m -
m o g r f i c o , u n flujo de personas que traslada su residencia y su p r o y e c t o v i t a l a u n
p i c n s i n del m i s m o , y n o en las soluciones, e i n t r o d u c i r nuevas perspectivas l i b r e s
l u g a r lejano. L o s i n m i g r a n t e s suelen quejarse de ser r e c i b i d o s c o n actitudes nega-
,lt
tivas y c o m p o r t a m i e n t o s d i s c r i m i n a t o r i o s p o r p a r t e de la p o b l a c i n a u t c t o n a . E l
p r o b l e m a es, p o r t a n t o , q u e existe p r e j u i c i o o r a c i s m o . Sin e m b a r g o , la p o b l a c i n
a u t c t o n a se q u e j a a m e n u d o de q u e los i n m i g r a d o s t r a e n costumbres e x t r a a s y
n o respetan los valores y n o r m a s de c o m p o r t a m i e n t o d e l lugar. E l p r o b l e m a es e n tonces que n o r e a l i z a n u n esfuerzo suficiente p o r integrarse. E n d e f i n i t i v a ,
.iMiin
es
previas sobre el f u n c i o n a m i e n t o de los p r o g r a m a s existentes.
I I a n l i s i s d e l o s p r o b l e m a s sociales c o m o c o n s t r u c c i n r e q u i e r e asumir, al
menos i o i n o o b j e t i v o o p e r a t i v o , u n e n f o q u e c o n s t r u c c i o n i s t a . Esta perspectiva es
i I I . M I V . I al c l s i c o p a r a d i g m a p o s i t i v i s t a respecto a tres asunciones
mu
bsicas
((tilia y L i n c o l n , 1989):
cada
g r u p o construye su p r o p i a v e r s i n d e l p r o b l e m a .
N o r m s t r n ir.ib,lacles o b j e t i v a s ( p o s i t i v a s ) , s i n o construcciones m e n t a l e s ,
I a m i , '.tti'.u i o n emerge y es u n p r o d u c t o de la i n t e r a c c i n entre investiga-
P a r a considerar la existencia de u n p r o b l e m a s o c i a l , es necesario a t e n d e r a u n a

serie de c a r a c t e r s t i c a s ( S u l l i v a n et al., 1980): consenso e l e v a d o sobre c u l es e l
un l i n d a s las supuestas leyes que p r e t e n d e l a c i e n c i a .
p r o b l e m a ; i d e n t i f i c a c i n de los g r u p o s sociales c o n intereses en l a d e f i n i c i n y e n
d o i r i n v e s t i g a d o , y n o tiene sentido la d i s t i n c i n sujeto-objeto, pues e l " b -
la s o l u c i n d e l p r o b l e m a , i m p l i c a c i n de los valores sociales q u e d e t e r m i n a n l a r e -
lelo
l e v a n c i a de la c u e s t i n y u n c a r c t e r p b l i c o , e x t e n s o , fuera de la r b i t a de l o p r i -
c e s o ile i o i i .ti mi e l [ e s t i l l a d o c i e n t f i c o .
v a d o e i n d i v i d u a l . L a d e f i n i c i n d e l p r o b l e m a social nace d e l c o n f l i c t o de i n t e r e -
,le la u i v r s i i g i i i i o n es u n " s u j e t o " que p a r t i c i p a activamente en el p r o -
F r e n t e al m t o d o e x p e r i m e n t a l , se i n t e n t a a p r o v e c h a r la i n t e r a c c i n p a r a
ses, p o l t i c o p o r n a t u r a l e z a , y s l o l l e g a a expresarse c u a n d o u n o s c o n v e n c e n a
crear nuevas construcciones m s sofisticadas y acertadas. E n c i e r t o m o d o ,
o t r o s de la existencia de c o n d i c i o n e s p r o b l e m t i c a s o injustas. S l o a s e l p r o b l e m a
la e v a l u a c i n crea o c o n s t r u y e la r e a l i d a d en l u g a r de m e r a m e n t e descu-
l l e g a r a e n t r a r en las agendas p o l t i c a s ( G e m e n t e , 1992). Por t a n t o , la c a p a c i d a d
b r i r l a . Las d i s t i n t a s construcciones ( p u n t o s de v i s t a ) de cada g r u p o d e p e n -
p a r a d e f i n i r la existencia de u n p r o b l e m a social t i e n e q u e ver c o n la a u t o r i d a d que
de de sus valores e intereses, de t a l m o d o q u e e l r e s u l t a d o de la e v a l u a c i n
o b t e n g a u n g r u p o de i n t e r s c o n c r e t o ( S u l l i v a n et al., 1980).
d e p e n d e r de q u valores se c o n s e n s e n d u r a n t e e l proceso de investiga-
L a d e f i n i c i n d e l p r o b l e m a es el o r g a n i z a d o r p r i m a r i o de l a i n t e r v e n c i n , y t o -
c i n , c o n v e r t i d o en u n p r o c e s o de n e g o c i a c i n , m s q u e de d e s c u b r i m i e n t o .
das las fases que siguen en e l proceso p o l t i c o y e v a l u a d o r se e s t r u c t u r a r n , al menos en p a r t e , e n f u n c i n de la m i s m a ( M a d i s o n , 2 0 0 0 ) . L a d e f i n i c i n t e n d r c o m o
E n los m e d i o s p o l t i c o s , p o r e j e m p l o , se u t i l i z a e l c o n c e p t o de calidad de v i d a
base las presunciones acerca de las causas que p r o v o c a n y sustentan e l p r o b l e m a
c o m o u n o b j e t i v o deseable, a p a r t i r d e l cual se p u e d e n d e t e r m i n a r las necesidades
( t e o r a d e l p r o b l e m a ) , s e a l a n d o q u c o m p o r t a m i e n t o s c o n c u r r e n y c u l e s necesi-
y logros comunitarios. Sin embargo, existen p r o b l e m a s sobre el significado del
tan evitarse. E n e l e j e m p l o anterior, se d e s a r r o l l a r n p r o g r a m a s de r e d u c c i n d e l
c o n c e p t o y la i m p o r t a n c i a r e l a t i v a de las d i m e n s i o n e s o b j e t i v a y subjetiva asocia-
p r e j u i c i o ( c a m p a a s de i n f o r m a c i n , c o n v i v e n c i a escolar, c a m b i o de a c t i t u d e s ) e n
das al m i s m o ( B l a n c o , 1985; Casas, 1990). L a i n v e s t i g a c i n psicosocial m u e s t r a c -
el p r i m e r caso, o p r o g r a m a s p a r a acelerar la i n t e g r a c i n ( a p r e n d i z a j e d e l i d i o m a ,
m o , en c o n d i c i o n e s a p r i o r i rechazables, las personas son capaces de adaptarse y
las costumbres o las leyes locales) en e l segundo. A u n q u e el a c i e r t o e n las p r e s u n -
apreciarlas c o m o m e j o r e s de l o que p u d i e r a n parecer. N o obstante, esto n o d e b e
ciones es d u d o s o (puesto q u e n o r e s p o n d e a n i n g n a n l i s i s e x h a u s t i v o y desinte-
i n d u c i r n o s a e n g a o y hacernos caer en u n r e l a t i v i s m o e x t r e m o que l e g i t i m e c u a l -
resado de l a s i t u a c i n , sino a la v i s i n de u n a de las p a r t e s ) , a p o r t a s e g u r i d a d co-
q u i e r s i t u a c i n ; s e r a deseable satisfacer ciertos c r i t e r i o s o b j e t i v o s m n i m o s , a par-
m o d e f i n i c i n o f i c i a l m a n t e n i d a p o r e l g r u p o y s i n t e t i z a los intereses que t i e n e
t i r de los cuales c o n s i d e r a r e l c o n c e p t o de c a l i d a d de v i d a en t r m i n o s estricta-
t a n t o en la r e d u c c i n c o m o en la c o n t i n u a c i n d e l p r o b l e m a .
m e n t e subjetivos ( B l a n c o , 1985).
E n muchas ocasiones las i n t e r v e n c i o n e s p r o c e d e n c m o si se c o m p r e n d i e r a
L a i d e n t i f i c a c i n de los stakeholders
es una tarea inicial f u n d a m e n t a l del proceso
b i e n c u l es el p r o b l e m a y c u l e s son sus soluciones. I n c l u s o se llega a d e f i n i r i n -
de i n t e r v e n c i n y e v a l u a c i n , pues los objetivos y actividades d e l p r o g r a m a y de la
c o r r e c t a m e n t e el p r o b l e m a e n t r m i n o s de soluciones. Por e j e m p l o , m u c h o s p r o -
e v a l u a c i n se d i r i g e n a resolver sus quejas, intereses o p r o b l e m a s de i n f o r m a c i n .
cesos de a n l i s i s o r g a n i z a c i o n a l c o n c l u y e n que e l p r o b l e m a es l a falta de recursos,
G u b a y L i n c o l n (1989) asignan al evaluador el r o l de elicitar y c o n f r o n t a r el discurso
l o que e n r e a l i d a d s e r a u n a posible s o l u c i n para u n p r o b l e m a que queda sin d e f i -
sobre e l p r o b l e m a social de los distintos tipos de stakeholders,
generando consensos
64
Porte /: Diseo de potincas y programos de intervencin social
65
negociados. G e n e r a l m e n t e , los primeros que identifican los problemas sociales M U
lugares. A d e m s de d e t e r m i n a r y p r i o r i z a r las necesidades del programa, los resul-
los lderes morales y p o l t i c o s y otras personas que tienen intereses en los p i o g m i n -.
tados ayudan a establecer p r i o r i d a d e s entre los potenciales beneficiarios, a f o r m a r
(stakeholders),
y distribuir al personal, a elegir la m e j o r l o c a l i z a c i n para la i m p l e m e n t a c i n o a
p e r o los evaluadores tienen u n r o l esencial a la hora de definu In un
turaleza, t a m a o y d i s t r i b u c i n del p r o b l e m a a t r a v s d e l uso de
procedimiento!
d i a g n s t i c o s s i s t e m t i c o s y reproducibles. G u b a y L i n c o l n (1981) distinguen t i c . | |

pos de grupos interesados en la e v a l u a c i n : los responsables de planificar e
distribuir los recursos d i s p o n i b l e s . L o s destinatarios de la i n f o r m a c i n son las personas que p a r t i c i p a r n en la p l a n i f i c a c i n del p r o g r a m a .
Impli
mentar el programa, los beneficiarios, o personas q u e sacan a l g n provecho del pro

grama, y las v c t i m a s , o personas que se v e n afectadas de alguna m a n e r a poi 11
3.3.2. Anlisis de problemas
objeto, i n c l u y e n d o aquellos grupos que quedan relegados en la i n t e r v e n c i n , que su

fren efectos colaterales negativos, o que p i e r d e n o p o r t u n i d a d e s en t m n o s de a u n
E n ocasiones se confunde el p r o b l e m a con las condiciones sociales en que aparece.
petencia. C o o k (1984) distingue entre cinco tipos de stakeholders,
cada u n o de Irw
C o m o vimos en u n e j e m p l o anterior, la i n m i g r a c i n n o es un p r o b l e m a sino una
cuales tiene intereses p r o p i o s y peculiares en el p r o b l e m a y en el programa: poliii i |
c o n d i c i n o u n f e n m e n o social. Se vuelve un p r o b l e m a c u a n d o a l g n g r u p o inte-
y administradores del p r o g r a m a , gestores de los programas, trabajadores (practh
resado l o define c o m o n e g a t i v o o perjudicial, r a z n p o r la cual es especialmente
lo
ners), clientes del p r o y e c t o y a c a d m i c o s . T a n t o los p o l t i c o s c o m o los evaluadores
i m p o r t a n t e darse cuenta de c u l es el g r u p o que e s t d e f e n d i e n d o l o que resulta
que t i e n e n intereses concretos en I H
p r o b l e m t i c o . K e t t n e r , M o r o n e y y M a r t i n (1999) p r o p o n e n u n sencillo esquema de
f o r m a c i n , m a n t e n i m i e n t o y s o l u c i n de los p r o b l e m a s (la c o n t i n u i d a d de su r o l en la
trabajo para realizar el a n l i s i s de u n p r o b l e m a social. Se trata de una lista de nue-
forman en s mismos dos grupos de stakeholders
a d m i n i s t r a c i n p o l t i c a depende de la existencia de problemas sociales que resolver),
ve preguntas t i l e s para o b t e n e r una d e s c r i p c i n exhaustiva de las c a r a c t e r s t i c a s ,
de tal m o d o que su o p i n i n sobre los p r o b l e m a s sociales o b j e t o de la i n t e r v e n c i n
el c o n t e x t o , los grupos i m p l i c a d o s y las causas del p r o b l e m a . Las preguntas son:
t a m b i n puede ser sospechosa de parcialidad. P o r ello, es recomendable incluir en el

anlisis d i a g n s t i c o ( y en otras fases del proceso e v a l u a t i v o ) la o p i n i n y los valores
de m l t i p l e s grupos de stakeholders,
f u n d a m e n t a l m e n t e los m i e m b r o s de la c o m u n i -
dad en desventaja (Casas, 1990). D e este m o d o , se asegura que la poltica social se
formula para solucionar problemas e s p e c f i c o s , y n o c o m o parte de un j u e g o de intereses p o l t i c o s o de i n v e s t i g a c i n .
C u l es la naturaleza de la s i t u a c i n o c o n d i c i n social, t e n i e n d o en cuenta

los p u n t o s de vista de todos los gTupos posibles?
C m o se e s t n d e f i n i e n d o los t r m i n o s d e l p r o b l e m a , e v i t a n d o que las palabras s i g n i f i q u e n cosas distintas para diferentes g r u p o s de personas?
C u l e s son las c a r a c t e r s t i c a s de las personas que v i v e n la s i t u a c i n o cond i c i n social? A s , t o d o s los grupos i m p l i c a d o s p u e d e n ser i d e n t i f i c a d o s y
tenidos en c u e n t a en la p l a n i f i c a c i n de una p o s i b l e i n t e r v e n c i n .
3.3. M t o d o s d i a g n s t i c o s
C u l es la m a g n i t u d y la d i s t r i b u c i n de l a s i t u a c i n ? , es decir, c u n t a s
personas e s t n afectadas y c u l es su d i s t r i b u c i n g e o g r f i c a ?
Para identificar y d e f i n i r los p r o b l e m a s sociales se u t i l i z a n u n a v a r i e d a d de proce-
Q u valores sociales e s t n siendo amenazados p o r la existencia de l a c o n -
d i m i e n t o s . L o s i n d i c a d o r e s sociales d i s p o n i b l e s p u e d e n p r o p o r c i o n a r i n f o r m a c i n
d i c i n social descrita? Se t r a t a de saber c m o r e a c c i o n a r a n las personas an-
sobre tendencias h i s t r i c a s relevantes para la i n v e s t i g a c i n . L a s encuestas c o n i n -
te la existencia de la c o n d i c i n . Son especialmente relevantes las o p i n i o n e s
formantes clave, e l e s t u d i o de los registros de las agencias, encuestas, censos co-
de la c o m u n i d a d , de sus l d e r e s , de los m e d i o s de c o m u n i c a c i n y de otros

grupos que t e n g a n u n a especial i m p l i c a c i n .
m u n i t a r i o s y las evaluaciones de necesidades s o n f o r m a s c o m u n e s de a p r o x i m a c i n a l a i d e n t i f i c a c i n d e u n p r o b l e m a s o c i a l . V e a m o s a c o n t i n u a c i n algunos
m t o d o s d i a g n s t i c o s interesantes.
H a s t a q u p u n t o se reconoce la existencia de l a s i t u a c i n ? D e este m o d o ,

se puede estimar el a p o y o p o t e n c i a l con q u e c o n t a r a u n a e v e n t u a l i n t e r v e n c i n , d e s a r r o l l a n d o c a m p a a s de c o n c i e n c i a c i n en caso necesario.
Q u i n define la c o n d i c i n social c o m o u n p r o b l e m a ? C o m o m n i m o son de
3.3.1. Evaluaciones proactivas
esperar tres p o s i c i o n e s : el g r u p o o g r u p o s q u e d e f i n e n la s i t u a c i n c o m o
Se d e n o m i n a a s a u n t i p o de evaluaciones o r i e n t a d a s a buscar i n f o r m a c i n q u e
se o p o n e n a las iniciativas p a r a c a m b i a r la s i t u a c i n .
p r o b l e m t i c a , los q u e n o t i e n e n una o p i n i n f o r m a d a al respecto y los q u e

sirva para la c r e a c i n de u n n u e v o p r o g r a m a o p a r a la m o d i f i c a c i n r a d i c a l de un
C u l es la e t i o l o g a del problema? L o s problemas sociales son multicausales y,
p r o g r a m a existente ( O w e n y R o g c r s , 1999). L a a t e n c i n d e l estudio se centra en el
por l o tanto, difciles de explicar, si bien la posible i n t e r v e n c i n requiere nece-
contexto e n el que se d e s a r r o l l a r el p r o g r a m a o en c o n t e x t o s similares en o t r o s
sariamente contar con una idea sobre los factores causales m s relevantes.
66
Cop/tulo 3: Procedimientos diagnsticos \ ..
Porte /. Dueo de polhkas y programas de intervencin social
E x i s t e n consideraciones t i c a s o de g n e r o ? Su i m p o r t a n c i a p r o v i e n e de la
especial sensibilidad actual hacia los g r u p o s sociales i n c l u i d o s en estas categ o r a s , l o cual r e c o m i e n d a ser c o n s i d e r a d o y e v i t a r que la i n t e r v e n c i n so-
| o |
!,,,,,,
la < i r a c i n de servicios e s p e c f i c o s ( K e t t n e r , M o r o n e y y
Multa , l f H )
.
,
.
.
I ,, | | . i lli l , la e v a l u a c i n de necesidades tiene tres fases, similares a las de
r
cial pueda afectarles o ser ella m i s m a afectada de f o r m a negativa.
, ! , ! , proyi
Iti di I n v e s t i g a c i n de e v a l u a c i n . L a fase inicial de p l a n i f i c a c i n
,1, | , i i u d l n i
3.3.3. E v a l u a c i n de necesidades
V 1 1
ne p o r o b j e t o identificar y p r i o r i z a r las necesidades existentes e n u n m b i t o determ i n a d o , o r i e n t n d o s e a l a t o m a de decisiones en r e l a c i n a la d i s t r i b u c i n de recur-
Ii ii
_o,
,,,
L a e v a l u a c i n de necesidades es u n a f o r m a de i n v e s t i g a c i n social aplicada q u e tie-
I( finii un p l a n de t r a b a j o q u e incluya la definicin de los obje-
y ||
i
|o d i o b l e n e i datos sobre el estado actual y la s i t u a c i n deseada. E n la
,,,,, ,
,i, .
,,.,
< p n o i i / a i i las necesidades detectadas y. en su caso, se d i s e a
i , | . . i i i i reducirlas. A l g u n o s de los siguientes errores o c u r r e n c o n
Upo de estudios
l , , ,,,,,
r
sos, la p l a n i f i c a c i n y el d i s e o de i n t e r v e n c i o n e s ( M c K i l l i p , 1987, 1998; R e v i e r e

et aL, 1996; W i t k i n y A l t s c h u l d , 1995). E x i s t e u n t o t a l acuerdo a la h o r a de d e f i n i r l a
e v a l u a c i n de necesidades t o m a n d o c o m o r e f e r e n c i a el proceso d e e v a l u a c i n e
i n t e r v e n c i n social c o m o u n a de sus fases, m o m e n t o s o tareas iniciales, p r e v i a s al
d i s e o y d e s a r r o l l o de las i n t e r v e n c i o n e s ( R o s s i y F r e e m a n , 1989; S t u f f l e b e a m y
1995)
. 1 . K los m t o d o s de i n v e s t i g a c i n q u e se u t i l i z a r n y los usos
id lo ., ..liados. E n la siguiente fase se recoge la i n f o r m a c i n necesa-
( O w e n s y R o g e r s , 1999; W i t k i n y A l t s c h u l d ,
i . . ... . ...Lides c o n soluciones, n o concretar el estado que se q u i e r e
, l , , ,
din
,1, l i n i i ii
in
IIIIIH
i . l a de i n f o r m a c i n a u n solo m t o d o de i n v e s t i g a c i n ,
un I-, necesidades o negar asistencia a los grupos que necesi-
tan la i n l e i v r i n i o n d r maneta m s urgente.
S h i n k f i e l d , 1987). Su p r i n c i p a l p r o p s i t o es r e c o p i l a r i n f o r m a c i n acerca de las necesidades existentes c o n o b j e t o de d e c i d i r c u l e s v a n a ser o b j e t o de i n t e r v e n c i n
3.3.4. HeviMi'.fi d r invrstli;,it iones
p r i o r i t a r i a . Por t a n t o , n o se l i m i t a a d e s c r i b i r los p r o b l e m a s existentes, s i n o que

i m p l i c a a d e m s v a l o r a r su i m p o r t a n c i a o g r a v e d a d a t r a v s d e l e s t a b l e c i m i e n t o de
Se t r a a di iprOVI I h U I M nMUitldOI de investigaciones previas relevantes para el
p r i o r i d a d e s ( W i t k i n , 1994), d e t e r m i n a n d o a s i m i s m o los p r o b l e m a s de s o l a p a m i e n -
proMomi dk
tos, conflictos p o l t i c o s o dificultades de c o o r d i n a c i n e n t r e agencias q u e ofrecen
sin (COOptr, 1904; N e i i i n i i n , l ' W V ) I ' idea b s i c a es que el c o n o c i m i e n t o d i s p o -
s e r v i c i o s r e l a c i o n a d o s c o n la m i s m a n e c e s i d a d . M c K i l l i p ( 1 9 9 8 ) s u b r a y a los si-
nible a p a i l u de i n v r M i g
guientes aspectos: la e v a l u a c i n de necesidades se centra en el a n l i s i s de los p r o -
cas y pioi'.iainas d r i n t e i v e n i i o n E l i n l o d o de t r a b a j o es la r e v i s i n de l i t e r a t u r a ,
b l e m a s q u e afectan a d e t e r m i n a d o g r u p o o p o b l a c i n , es decir, e n las necesidades
aunque la b s q u e d a no d e b f
sociales frente a las de c a r c t e r i n d i v i d u a l ; p u e d e ser d e f i n i d a c o m o una f o r m a de
ficas. Las bases de dalos disponibles en la r e d y en f o r m a t o s e l e c t r n i c o s son una
i n v e s t i g a c i n social aplicada, ya q u e u t i l i z a la m e t o d o l o g a de las ciencias sociales
ayuda Indispensable. L a r e v i s i n se inicia c o n la d e m a r c a c i n del r e a de b s q u e -
c o m o base para la i d e n t i f i c a c i n y p r i o r i z a c i n de los p r o b l e m a s existentes en e l
da (palabras c l a v e ) , sigue c o n la v a l o r a c i n de la c a l i d a d de cada t r a b a j o , la i n t e r -
m b i t o analizado; y p o r l t i m o , el p r o p s i t o de este t i p o de e v a l u a c i n es p r o p o r -
p r e t a c i n e i n t e g r a c i n de resultados y finaliza c o n l a e l a b o r a c i n de u n i n f o r m e
c i o n a r i n f o r m a c i n t i l p a r a la p l a n i f i c a c i n de p o l t i c a s sociales y p r o g r a m a s de
que ofrezca una d e s c r i p c i n e i n t e r p r e t a c i n r a z o n a d a d e l campo de estudio r e v i -
i n t e r v e n c i n que i n c i d a n sobre las necesidades p r i o r i t a r i a s identificadas y p r o m u e -
sado. S m a l l w o o d y H u r w o r t h (1998) r e c o m i e n d a n q u e el revisor sea f l e x i b l e al va-
v a n cambios sociales.
l o r a r la c o n t r i b u c i n p o t e n c i a l de cada t r a b a j o , u t i l i z a r estudios de m e t a - a n l i s i s ,
Las necesidades son conceptos n o r m a t i v o s q u e v a r a n e n f u n c i n d e l c o n t e x t o

social, p o l t i c o y e c o n m i c o . P o r e j e m p l o , las necesidades de asistencia sanitaria
e n la p o b l a c i n h a n v a r i a d o s e g n se d e s a r r o l l a b a el c o n c e p t o de salud a l o l a r g o
d e l siglo pasado. Las necesidades p u e d e n d e f i n i r s e de m a n e r a j e r r q u i c a , atend i e n d o a las p r i o r i d a d e s , deseos o expectativas q u e aparecen c u a n d o las personas
h a n superado d e t e r m i n a d o n i v e l de v i d a , o a p a r t i r d e u n n i v e l de exigencias b s i -
I Itudlo v qUI M
am u r n t r a n
publicadas e n diversos medios de d i f u -
>nrs l i g u i o s a s se a p i o v e c h e en la e l a b o r a c i n de p o l t i -
redui use
a los i n f o r m e s aparecidos en revistas c i e n t -
s n t e s i s de investigaciones y b i b l i o g r a f a s anotadas, consultar fuentes de i n f o r m a c i n variadas ( p o r e j e m p l o , i n f o r m e s n o p u b l i c a d o s , debates p o l t i c o s ) y d e f i n i r

criterios para d e t e r m i n a r la calidad de los trabajos encontrados. A d e m s d e l resum e n de los p r i n c i p a l e s c o n o c i m i e n t o s , el i n f o r m e de r e v i s i n d e b e r a i n c l u i r una
d e s c r i p c i n c r t i c a d e l estado de l a i n v e s t i g a c i n , sin dejar de s e a l a r aquellas r e as concretas de i n t e r s en las q u e la l i t e r a t u r a n o tenga nada que decir.
cas deseables e n c u a l q u i e r r e a de i n t e r s v i t a l ( s a l u d , s i t u a c i n social, e m o c i o n a l ,

etc.) ( M a s l o w , 1954). L o i m p o r t a n t e es su p a p e l i n t e r m e d i o d e n t r o d e l proceso de
p l a n i f i c a c i n , e n t r e la d e f i n i c i n d e l p r o b l e m a social y l a puesta en m a r c h a de u n
3.3.5. R e v i s i n de las mejores p r c t i c a s
(benchmarking)
servicio o una i n t e r v e n c i n . S i r v e n p a r a t r a d u c i r el p r o b l e m a social a unos t r m i -
E l benchmarking
nos relevantes para l a v i d a de las personas, y o r i e n t a n a s l n e a s de a c t u a c i n de
utilizan las organizaciones para adoptar las p r c t i c a s que se consideran excelentes en
se define c o m o un proceso c o n t i n u o de medida y c o m p a r a c i n que
Copitulo 3: Procedimientos diagnsticos
68 J Porte /; Diseo de polticas y programas de nterverrcn socio/

su sector de a c t u a c i n , p o r ejemplo las que desarrollan las organizaac >m c llden
I |
sector (Cross e I q b a l , 1994; Sharp, 1994). E l proceso se d i v i d e en dos fases difi

das: el e s u b l e d m i e n t o de benchmarks
y la a p l i c a c i n de los mismos para
que realiza la p l a n t i l l a que atiende d i r e c t a m e n t e a la p o b l a c i n que solicita ayuda.

E n cualquier caso, puede ser c o n v e n i e n t e r e d e f i n i r la p o b l a c i n o b j e t i v o una vez
oriaoUl |
proceso de c a m b i o y m e j o r a . E n p r i m e r lugar se localizan los casos de p r c t i c a s r x i r
iniciado el p r o g r a m a , c o n vistas a alcanzar a u n m a y o r n m e r o de personas. L a correcta e s p e c i f i c a c i n de los o b j e t i v o s e s t a b l e c e r fronteras apropiadas, de manera
que la i n t e r v e n c i n alcance c o r r e c t a m e n t e la p o b l a c i n de referencia y sean facti-
los principios de a c c i n subyacentes. Estos elementos centrales se operativizan r n un
bles de aplicarse. L o s planificadores del p r o g r a m a d e b e r a n seleccionar la pobla-
conjunto de indicadores (benchmarks)
lentes, aplicando m t o d o s i n d u c t i v o s para d e t e r m i n a r sus c a r a c t e r s t i c a s conum.
que sirven para d e f i n i r planes de a c t u a c i n y
cin de referencia de f o r m a que m a x i m i z a r a la sensibilidad y especificidad. Se de-
registrar los resultados o b t e n i d o s en su i m p l a n t a c i n . D e este m o d o , la organi/.i. lfl
b e r a n hacer esfuerzos para e v i t a r la s o b r e i n c l u s i n y la i n f r a i n c l u s i n , t r a t a n d o de
establece sus objetivos d e mejora y p u e d e analizar el progreso hacia los mismos COffl
que los recursos i n v e r t i d o s en el p r o g r a m a se ajusten al n m e r o de personas a las
p a r n d o s e c o n l o que se considera la p r c t i c a excelente. L o s benchmarks
son las va
que va d i r i g i d o y a sus necesidades. E n general se distingue e n t r e las personas que
riables de c o m p a r a c i n , y sus niveles son los hitos que se espera conseguir en el pro
r e s u l t a r n beneficiadas d i r e c t a e i n d i r e c t a m e n t e p o r el p r o g r a m a . E n t r e los benefi-
ceso de m e j o r a . E v i d e n t e m e n t e , el x i t o de esta a c t i v i d a d depende de la capacidad
ciarios i n d i r e c t o s se d i s t i n g u e n a d e m s los l e g t i m o s de los i l e g t i m o s ( C o h n y
para t r a d u c i r las buenas p r c t i c a s en indicadores significativos c o m o mecanismo di-
Franco, 1993), en c u a n t o q u e n o son beneficiarios directos de la i n t e r v e n c i n , p e r o
g e s t i n d e n t r o de la o r g a n i z a c i n ( O w e n y Rogers, 1999).
su i n c l u s i n concuerda con e l e s p r i t u de la m i s m a , frente a quienes se benefician a

pesar de que n o sufren una s i t u a c i n de desventaja. T a m b i n incluyen el concepto
de "beneficio p b l i c o " , en c u a n t o que la nueva s i t u a c i n que p r o m u e v e la inter-
3.4. S e l e c c i n d e l a p o b l a c i n
objetivo
v e n c i n supone a l g n b e n e f i c i o e s p e c f i c o para la sociedad en su c o n j u n t o .
M u c h o s p r o b l e m a s en la i m p l e m e n t a c i n de u n p r o g r a m a se deben a dificultades pa
r a d i r i g i r l o a la p o b l a c i n realmente necesitada, m s que a problemas para entender
3.4.1 Conceptos
c m o p o n e r l o en p r c t i c a ( B i c k m a n , 1987a). C o h n y F r a n c o (1993) d e f i n e n la pob l a c i n o b j e t i v o c o m o e l c o n j u n t o de las personas que t i e n e n en c o m n a l g n atribut o , carencia o p o t e n c i a l i d a d que se p r e t e n d e r e m e d i a r o p o t e n c i a r con la interven-
E n t r e los conceptos i m p o r t a n t e s u t i l i z a d o s para seleccionar los objetivos del

p r o g r a m a figuran ( R o s s i y F r e e m a n , 1989):
c i n . E n t o d o e l proceso de i n t e r v e n c i n son cruciales las definiciones precisas y

adecuadas de los p r o b l e m a s y de las poblaciones de referencia, desde la p l a n i f i c a c i n
a) Incidencia
y prevalencia.
L a incidencia se refiere a la cantidad de casos nuevos
inicial en todas las fases de la i m p l e m e n t a c i n del p r o g r a m a . L o s objetivos pueden
que aparecen c o n u n p r o b l e m a particular en u n r e a y d u r a n t e u n p e r o d o es-
ser personas, grupos, r e a s g e o g r f i c a s , o unidades fsicas, y p u e d e n estar definidos
p e c f i c o . L a prevalencia es u n concepto m s general, d e f i n i d o c o m o el n m e r o
c o m o objetos directos o indirectos de l a i n t e r v e n c i n . L a s e l e c c i n de la p o b l a c i n de
t o t a l de casos del p r o b l e m a q u e existen e n u n r e a y durante u n p e r o d o espe-
referencia i m p l i c a : una d e f i n i c i n clara de las unidades o b j e t i v o , decidir si los objeti-
cfico. L a prevalencia indica la e x t e n s i n del p r o b l e m a antes de que el progra-
vos han de alcanzarse d i r e c t a o indirectamente, estimar el t a m a o ( n m e r o ) y distri-
m a comience. A n t e p r o b l e m a s sociales diferentes i n t e r e s a r definir la pobla-
b u c i n de los objetivos, establecer las reglas de i n c l u s i n y e x c l u s i n c o m o parte de la

d e f i n i c i n d e l o b j e t i v o y c o m p r e n d e r las necesidades desde varias perspectivas.
c i n o b j e t i v o en f u n c i n de u n o y o t r o de los conceptos.
b) Poblacin
de riesgo.
E l c o n c e p t o hace referencia a las personas que t i e n e n
p r o b a b i l i d a d de c o m e n z a r a sufrir a l g n p r o b l e m a o c o n d i c i n n o deseada.
E v i d e n t e m e n t e , n o t o d o s d e s a r r o l l a r n e l p r o b l e m a , p o r l o que la d e f i n i 3.4.1. D e f i n i c i n
c i n de la p o b l a c i n o b j e t i v o en t r m i n o s de riesgo i m p l i c a i n c l u i r a personas que nunca n e c e s i t a r n e l t r a t a m i e n t o .
E n ocasiones, la d e f i n i c i n de la p o b l a c i n o b j e t i v o se p l a n t e a en t r m i n o s vagos y
c) Sensibilidad
y especificidad.
Son dos conceptos inversamente relacionados en-
a m p l i o s p a r a ganar en f l e x i b i l i d a d y n o r e s t r i n g i r innecesariamente e l t i p o de per-
tre s, vinculados c o n la i d e n t i f i c a c i n corTecta de los usuarios potenciales del
sonas q u e p u e d e n s o l i c i t a r servicios d e l p r o g r a m a . A d e m s existen una serie de
programa (Rossi y F r e e m a n , 1989). L a sensibilidad es la capacidad para de-
p r o b l e m a s ( F r e e m a n y S h e r w o o d , 1970) de t i p o t i c o , c o m o el asociado a la d e f i n i -
tectar casos que c u m p l e n las condiciones establecidas para ser incluidos en el
c i n de l a p o b l a c i n en t r m i n o s de severidad d e l p r o b l e m a , dejando fuera a perso-
p r o g r a m a ( p o r e j e m p l o , v i v i r en condiciones de infravivienda en r e l a c i n
nas q u e n o alcanzan c i e r t o g r a d o de severidad y sin e m b a r g o p u e d e n necesitar ayu-
u n programa de r e a l o j a m i e n t o ) , mientras que la especificidad es la capacidad
da; o p r o b l e m a s a d m i n i s t r a t i v o s , c o m o los relacionados c o n la t o m a de decisiones
para rechazar los casos q u e n o c u m p l e n dichas condiciones.
ron
Generalmente
70
Porte /: Diseo de polticas y programas de intervencin social

debe tomarse una d e c i s i n sobre c u l de las dos medidas
prcfieri Optimizarse,
j 71
3.S. M t o d o s p a r a i d e n t i f i c a r l a p o b l a c i n o b j e t i v o d e l p r o g r a m a
p o r q u e en ocasiones es m s i m p o r t a n t e acertar a localizar el m x i m o de personas que sufren una c o n d i c i n p r o b l e m t i c a , a n a costa de i | u r reciban e l
Para especificar e l L u n a d o y la d i s t r i b u c i n de u n p r o b l e m a , los evaluadores deben
p r o g r a m a u n n m e r o elevado de personas q u e en realidad no l o necesitan,
recoger y analizar d a l o s
p o r e j e m p l o cuando se trata de salvar vidas humanas.
la i n f o r m a c i n n e c e a n
d) Necesidad
y demanda.
E l t r m i n o "necesidad" es generalmente d e f i n i d o co-
m o " u n j u i c i o de v a l o r acerca de la existencia de un
problema que
,.1...
r . l i u l e s d e muchas fuentes. Puesto que con frecuencia
< st .I -.j
ble d i r e c t a m e n t e , es frecuente que e m p r e n -
dan o c o n t r a t e n s u p m p i . i i n v e s t i g a c i n social, i n c l u i d a s las entrevistas c o n i n f o r -
afecta a
mantes clave-., estudios d r i r g i s i r o s de la agencia, encuestas y censos, evaluaciones
un g r u p o d e t e n n i n a d o y puede ser r e s u e l t o " ( M c K i l l i p , 1WH: 263), e implica
de necesidades y evaluai nuil s i militiitivas d e necesidades. Cada una de estas fuen-
la c o n s t a t a c i n de u n a discrepancia e n t r e la s i t u a c i n actual del g r u p o y una
tes tiene s u s u s o s v l u m i a , iones
s i t u a c i n i d e a l deseable ( K a u f m a n e E n g l i s h , 197'); W i i k i n y A l t s c h u l d ,
pueden ser i r l a i i v a m e n i i
1995). E n f u n c i n de q u g r u p o define las necesidades y el c r i t e r i o de compar a c i n , es posible diferenciar c u a t r o tipos de necesidades (Bradshaw, 1972):
las necesidades n o r m a t i v a s son las establecidas p o r profesionales y expertos
en u n r e a especfica de intereses; las necesidades peicibidas son las i d e n t i f i cadas p o r los p r o p i o s afectados, las necesidades expresadas son las que se manifiestan mediante la a c c i n ( p o r ejemplo, a t r a v s de la u t i l i z a c i n o d e m a n -
|><>i r j e m p l o , las entrevistas con informantes clave
b a i a t a s v de l n l e j e c u c i n , p e r o son de dudosa
fiabilidad;
las eviiluac i o n e s i ii.iln.tiiv.i-. ,lc nc i c s u l . i c l r s p u e d e n p r o p o r c i o n a r intuiciones de los
mecanismos snbyac e n t e s n los problemas sociales, p e r o necesitan ser c o m p l e m e n t a das con m e d i d a s i uanlilattvas ya q u e r l d i s e o y la i m p l e m e n t a c i n del p r o g r a m a
demandan i n f o r m a c i n m s precisa. A l g u n a s t c n i c a s t i l e s en la e s t i m a c i n del o b jetivo se i n ogeii en los a p a i t a d o s siguientes (Rossi y F r e e m a n , 1989).
da de programas y servicios) y las necesidades relativas son las definidas p o r

c o m p a r a c i n con otras poblaciones de c a r a c t e r s t i c a s similares. E n contextos
p o l t i c o s , a d m i n i s t r a t i v o s y empresariales es f r e c u e n t e el uso de t r m i n o s
que, aunque son p r x i m o s al c o n c e p t o de necesidad, n o deben ser empleados
de u n m o d o i n d i s t i n t o , ya que hacen referencia a realidades claramente diferenciadas. Es el caso, p o r e j e m p l o , d e l c o n c e p t o de " d e m a n d a " , c o n e l que
suele denominarse a la p e t i c i n expresa de acciones orientadas a la satisfacc i n de una necesidad o u n deseo. A u n q u e algunas necesidades son expresadas a t r a v s de demandas, n o siempre existe una t o t a l equivalencia e n t r e a m bas. N o todas las necesidades son percibidas p o r los p r o p i o s i n d i v i d u o s que
las presentan (necesidades n o expresadas o latentes), n i todas las necesidades percibidas son manifestadas c o m o d e m a n d a s ( C h a c n , 1989; C h a c n ,
B a r r n y L o z a n o , 1988). P o r o t r o l a d o , t a m p o c o t o d a s las d e m a n d a s se
o r i e n t a n a la cobertura de necesidades, buscando en ocasiones la s a t i s f a c c i n
de deseos que se e n c u e n t r a n m s all d e l n i v e l adecuado o satisfactorio al
3.5.1. Entrevistas c o n i n f o r m a n t e s clave

I o iiilorrnantes clave son aquellas personas que, p o r su p o s i c i n o estatus d e n t r o del
supo, pueden
facilitar i n f o r m a c i n clave para identificar o criticar la d e f i n i c i n d e l
problema, la necesidad o la p o b l a c i n necesitada. Se espera obtener i n f o r m a c i n de

primera m a n o y de forma sencilla y r p i d a , siempre q u e tengan realmente una v i s i n
acertada y n o sesgada del p r o b l e m a . Se r e q u i e r e del i n f o r m a n t e que conozca bien a
la comunidad y que tenga c a r a c t e r s t i c a s para convertirse p o t e n d a l m e n t e en l d e r de la
m i s m a . Por e j e m p l o , en u n estudio con p o b l a c i n i n m i g r a n t e , R e b o l l o s o y H e r n n dez (2003) entrevistaron a un n m e r o r e d u c i d o de representantes d e l colectivo m a g r e b , buenos conocedores t a n t o de las necesidades d e l colectivo como de los recursos disponibles a t r a v s de la r e d de servicios sociales. E l o b j e t i v o era analizar las
necesidades y las redes de a p o y o de la p o b l a c i n m a g r e b . Para asegurar la validez de
los datos u t i l i z a r o n otros m t o d o s de i n v e s t i g a c i n de m a n e r a combinada.
que hace referencia este l t i m o concepto. L a d i f e r e n c i a c i n y c o r r e c t o uso

de ambos t r m i n o s es, p o r t a n t o , i m p r e s c i n d i b l e para su a p r o p i a d a identificacin y evaluacin.
e)
Estimaciones.
3.5.2. F o r o c o m u n i t a r i o
G u a r d a n r e l a c i n c o n la necesidad de d e m o s t r a r que la exis-
tencia de u n p r o b l e m a r e a l m e n t e merece e l esfuerzo de i n v e r s i n q u e su-
Es una r e u n i n a b i e r t a a la q u e se i n v i t a a p a r t i c i p a r a la c o m u n i d a d p a r a t r a t a r
p o n e la c r e a c i n de u n p r o g r a m a de i n t e r v e n c i n social; p o r e j e m p l o , a n a l i -
sobre m u y diversas cuestiones posibles ( e v a l u a c i n de necesidades, x i t o de l a i n -
z a n d o la e x t e n s i n d e l p r o b l e m a en f u n c i n de diferentes g r u p o s sociales
t e r v e n c i n , etc.). Se r e q u i e r e q u e e l g r u p o de asistentes sea r e p r e s e n t a t i v o de l a
( p o r rangos de edad, g n e r o , n i v e l de ingresos, residencia, etc.), de t a l m o -
c o m u n i d a d y q u e sientan l i b e r t a d para expresar sus p u n t o s de vista, a u n q u e a ve-
d o q u e se puede e s t i m a r m s ajustadamente q u i n e s s e r n los d e s t i n a t a r i o s
ces la presencia de o t r o s p u e d a c o a r t a r l a e x p r e s i n . P o r e j e m p l o , las r e u n i o n e s
de una p o t e n c i a l i n t e r v e n c i n . E v i d e n t e m e n t e , la c u e s t i n p u e d e p l a n t e a r -
plenarias de los Consejos escolares en los centros p b l i c o s de e n s e a n z a e s p a o l e s
se en t r m i n o s de coste-beneficio, en la m e d i d a en que el p r o b l e m a social
se u t i l i z a n , e n t r e otras cuestiones, p a r a d e f i n i r y p r i o r i z a r las necesidades de la co-
sea suficientemente grave o extenso p a r a iniciar el p r o g r a m a .
m u n i d a d escolar ( R e b o l l o s o , C a n t n y F e r n n d e z - R a m r e z , 2004). L a s r e u n i o n e s
72
Porte /: Diseo de poHtkas y programas de intervencin socio/
cuentan con la p a r t i c i p a c i n de representantes de todos los colectivos Iroplll d o i v
73'
que pueda p r o p o r c i o n a r la persona entrevistada acerca del tema o b j e t o de estudio
p r o c e d e n con m t o d o s d e m o c r t i c o s p a r a la t o m a de decisiones. E l b u e n i .
( G o n z l e z , 1997). E n c u a n t o a l a entrevista abierta, de t i p o cualitativo, posee las
n a m i e n t o de los foros c o m u n i t a r i o s r e q u i e r e u n p e r i o d o p r e v i o de reunioDM pal
mismas c a r a c t e r s t i c a s que la a n t e r i o r a e x c e p d n de l o r e f e r i d o a sus objetivos,
d a l e s y una p r e p a r a c i n exhaustiva de la agenda de l a r e u n i n plenaria (NAl I v
estructura y aspectos formales. Su p r i n d p a l p r o p s i t o es recoger el discurso de un
Loscertales, 1 9 % )
sujeto, p e r m i t i n d o l e h a b l a r l i b r e m e n t e , c o n la n i c a r e s t r i c c i n de un g u i n no
d i r e c t i v o que c o n t e m p l a las r e a s o temas d e i n t e r s sobre los que interesa recoger
i n f o r m a d n d u r a n t e la entrevista, sin establecer n i n g n o r d e n rgido a la hora de
3.5.3. Indices bajo tratamiento
plantear las cuestiones ( P a t t o n , 1990; R o d r g u e z , G i l y G a r c a , 1996; T a y l o r y B o g dam, 1984; Valles, 1997).
Supone recoger i n f o r m a d n a t r a v s de las personas q u e h a n r e c i b i d o t r a t a m i c n

to, consideradas c o m o u n segmento significativo de la p o b l a d n con p r o b l e m a s
E x i s t e u n posible sesgo c u a n d o el acceso a los servicios del p r o g r a m a n o son posi-
3.5.6. T c n i c a s de encuesta
bles o e q u i t a t i v o s para todos los subgrupos de la p o b l a d n o b j e t i v o t o t a l .

Las t c n i c a s de encuesta son las m s utilizadas para e l d i a g n s t i c o de los p r o b l e mas y necesidades sociales ( M c K i l l i p , 1998; W i t k i n , 1994). Se trata de u n p r o c e d i 3.5.4. Indicadores sociales
m i e n t o consistente e n f o r m u l a r una serie de preguntas a un n m e r o d e t e r m i n a d o

de i n d i v i d u o s representativos de u n c o l e c t i v o m s a m p l i o - g e n e r a l m e n t e un g r u p o
L o s i n d i c a d o r e s son c o n j u n t o s de datos q u e recoge p e r i d i c a m e n t e una agencia
de p o b l a d n , los usuarios de u n servicio, los proveedores del m i s m o , etc.- con o b -
o f i d a l y q u e hacen referencia a variables, c a r a c t e r s t i c a s y aspectos variados r e a
j e t o de recoger i n f o r m a d n acerca de sus actitudes, o p i n i o n e s , creencias, prefe-
d o n a d o s c o n el p r o b l e m a y e l p r o g r a m a de i n t e r v e n d n . L o s indicadores son t i -
rencias, percepciones y c o m p o r t a m i e n t o s en r e l a d n a la s i t u a c i n o p r o b l e m a
les p a r a analizar l a e v o l u d n t e m p o r a l de las c o n d i d o n e s de v i d a o del estado de
analizado y a los servicios q u e se ofrecen e n u n r e a e s p e c f i c a . Se trata, p o r t a n t o ,
u n p r o b l e m a s o d a l . P o r e j e m p l o , los responsables de la D i r e c d n G e n e r a l de T r -
de u n m t o d o Dexible q u e p e r m i t e a b o r d a r una gran v a r i e d a d de temas, e i m p l i c a
fico u t i l i z a n i n d i c a d o r e s generales ( n m e r o g l o b a l de accidentes, n m e r o de h e r i -
u n c o n t a c t o d i r e c t o c o n l a p o b l a c i n cuya s i t u a c i n va a ser evaluada, p r o m o v i e n -
dos, n m e r o de m u e r t e s , etc.) para d e t e r m i n a r el x i t o de las intervenciones que
d o l a c o n d e n d a c i n acerca de los p r o b l e m a s existentes entre los m i e m b r o s de la
se r e a l i z a n a n u a l m e n t e para r e d u c i r la m o r t a l i d a d en las carreteras e s p a o l a s . U n
c o m u n i d a d , y f a d l i t a n d o su p a r t i d p a d n activa en los p r o g r a m a s y acciones e m -
p r o b l e m a es la d i f i c u l t a d p a r a s e a l a r el i m p a c t o d i r e c t o de las i n t e r v e n d o n e s , a s
p r e n d i d a s para su s o l u c i n . Sin e m b a r g o , t a m b i n p u e d e n crear la falsa expectati-
que es necesario c o m p l e t a r los datos c o n e s t a d s t i c a s s o b r e e l t i p o de a c d d e n t e s y
va de q u e se v a n a a d o p t a r medidas para la m e j o r a de la s i t u a c i n en base a los r e -
sobre o t r o s factores de especial i n d d e n d a e n e l n m e r o d e a c d d e n t e s r e g i s t r a d o

(estado de las carreteras, c l i m a t o l o g a , etc.).
sultados d e l estudio, l o cual n o siempre sucede ( M c K i l l i p , 1998). E n t r e las t c n i c a s

de encuesta m s conocidas y empleadas c o m o p r o c e d i m i e n t o s de d i a g n s t i c o destacan el c u e s t i o n a r i o y la e n t r e v i s t a estructurada. L o s ejemplos son abundantes.
Por c i t a r u n o , R e b o l l o s o , F e r n n d e z - R a m r e z y Pozo (2000) u t i l i z a n un cuestiona-
3.5.5. Entrevistas
rio e s t r u c t u r a d o para diagnosticar los p r o b l e m a s de s a t i s f a c c i n del personal p r o f e s i o n a l de u n s e r v i c i o de a d m i n i s t r a c i n u n i v e r s i t a r i a . E l c u e s t i o n a r i o e s t u v o
P u e d e ser d e f i n i d a c o m o u n a c o n v e r s a c i n , g e n e r a l m e n t e e n t r e dos personas,

guiada p o r u n e n t r e v i s t a d o r c o n el p r o p s i t o de r e c o p i l a r datos acerca d e l t e m a i n -
o r i e n t a d o p o r u n m o d e l o t e r i c o e x h a u s t i v o y se u t i l i z en el m a r c o de una eval u a c i n de la c a l i d a d d e las p r c t i c a s de g e s t i n .
vestigado ( A n d e r - E g g , 1995; C a n n e l l y K a h n , 1992; q e m e n t e , 1992). T e n i e n d o e n

cuenta el g r a d o de e s t r u c t u r a d n y la n a t u r a l e z a de l a i n f o r m a d n que esta t c n i ca p r o p o r d o n a , es p o s i b l e diferenciar e n t r e l a e n t r e v i s t a estructurada y la e n t r e -
3.5.7. Registro de d o c u m e n t o s o datos de archivo
vista a b i e r t a o en p r o f u n d i d a d ( B i s a u t a , 1989). L a e n t r e v i s t a estructurada y estandarizada, d e t i p o c u a n t i t a t i v o , se realiza sobre la base d e u n g u i n de preguntas
Consiste en r e c o p i l a r i n f o r m a d n de naturaleza c u a n t i t a t i v a d i s p o n i b l e en d i v e r -
cerradas q u e se p l a n t e a n s i e m p r e en el m i s m o o r d e n y e n i d n t i c o s t r m i n o s , c o n
sas i n s t i t u c i o n e s ( p o l t i c a s , sociales, educativas, sanitarias, etc.) acerca de la p o b l a -
respuestas ajustables a c a t e g o r a s definidas a p r i o r i y c o n r e g i s t r o m e c n i c o de los
d n o p r o b l e m t i c a analizada. D e n t r o de esta c a t e g o r a p u e d e n incluirse los cen-
datos. Su p r i n d p a l o b j e t i v o es recoger l a m x i m a c a n t i d a d p o s i b l e de i n f o r m a d n
sos, los registros i n s t i t u c i o n a l e s y los datos acerca de la u t i l i z a d n de programas y
74
Porte I: Diseo de polticos y programos de intervencin social
servicios ( M c K i l l i p , 1998). Esta i n f o r m a c i n suele encontrarse d i s p o n i b l e en i n f o r mes escritos, bases de datos y, m s r e c i e n t e m e n t e , ha c o m e n z a d o a ser d i f u n d i d a a
t r a v s de I n t e r n e t . E l p r i n c i p a l uso de este t i p o d e p r o c e d i m i e n t o s suele ser la desc r i p c i n de las c a r a c t e r s t i c a s de la p o b l a c i n o b j e t o de estudio, en t r m i n o s de datos
s o c i o d e m o g r f i c o s tales c o m o edad, sexo, n i v e l de ingresos, nivel de estudios, lugar
de residencia, etc. E n cuanto a la u t i l i z a c i n de servicios, la d e s c r i p c i n de las caract e r s t i c a s de los usuarios de los programas suele p r o p o r c i o n a r i n f o r m a c i n t i l para
la d e t e c c i n de grupos que n o e s t n r e c i b i e n d o l a i n t e r v e n c i n , a pesar de p e r t e necer a la p o b l a c i n o b j e t i v o d e l p r o g r a m a , y de usuarios que no necesitan r e a l m e n t e el servicio, p e r m i t i e n d o identificar las posibles barreras q u e i m p i d e n o l i m i tan el acceso a los p r o g r a m a s .
Evaluacin de entrada
y planificacin del programa
3.5.8. Censos c o m u n i t a r i o s
L o s censos s o n u n a m o d a l i d a d d e d a t o s d e a r c h i v o , d e c a r c t e r e s t a d s t i c o - d e s c r i p t i v o , acerca de una p o b l a c i n d e t e r m i n a d a ( A n d e r - E g g , 1995; A n g e l y Freedman, 1992). Se trata, por t a n t o , de una t c n i c a de recogida de i n f o r m a c i n de natura-
l a lase d r i l a i n l i i ai i.'>n d r l p r o g i a m a r s d r especial trascendencia para el x i t o de
leza c u a n t i t a t i v a . M i e n t r a s q u e l o s d a t o s de e n t r e v i s t a s o n e l r e s u l t a d o d e u n
la inte i VMli i o n v r x i i - e In < o l a b o r a c i n estrecha e n t r e los evaluadores y los r e s p o n -
proceso c o n s t r u c t i v o de i n t e r a c c i n social entre e l investigador y el sujeto e n t r e -
s a b l e s d e l p i o g i . u u a ( i l n r i U n e s , a d m i n i s t r a d o r e s y personal t c n i c o ) . Las o r g a n i -
vistado, e l a n l i s i s de censos n o i m p l i c a n i n g n t i p o de r e l a c i n c o m u n i c a t i v a , l i -
zaciones di si vi
m i t n d o s e a la r e c o p i l a c i n de datos ya existentes acerca de la p o b l a c i n o b j e t o de
m o d o i | u r la v i a b i l i d a d d r l a i n t e r v e n c i n d e p e n d e de q u e se m a n t e n g a n las c o n d i -
estudio. A l g u n a s universidades, p o r e j e m p l o , h a n i m p l a n t a d o r e c i e n t e m e n t e siste-
c i o n e s i d n e a s de p a r t i d a y se c o n t r a r r e s t e n las posibles barreras o d i f i c u l t a d e s
mas de g e s t i n de la i n f o r m a c i n que a y u d a n a crear u n a base de datos p e r m a n e n -
que p u e d e n aparecer.
s o n s e n s i b l e s a los c a m b i o s y las influencias p o l t i c a s , de t a l
te, a m p l i a y r e n o v a d a a n u a l m e n t e sobre m u l t i t u d de cuestiones de i n t e r s . C u a l -
L a p l a n i f i c a c i n del p r o g r a m a es una a c t i v i d a d r a c i o n a l que i m p l i c a la e l e c c i n
q u i e r investigador, c o n e l p e r m i s o adecuado, puede acceder a d e t e r m i n a d o s
de las mejores opciones de i n t e r v e n c i n y la d e f i n i c i n de u n sistema de i m p l e -
sectores de la base de datos para extraer i n f o r m a c i n til para sus investigaciones.
m e n t a c i n adecuado que sea capaz de alcanzar a l a p o b l a c i n o b j e t i v o y prestarle los servicios esperados. L a coherencia i n t e r n a del p r o g r a m a tiene q u e ver con la
correcta d e f i n i c i n de las metas, objetivos y actividades de l a i n t e r v e n c i n ( t e o r a
del p r o g r a m a ) , que son o b j e t o de anlisis de la e v a l u a c i n de la e v a l u a b i l i d a d o de
la e v a l u a c i n o r i e n t a d a p o r l a t e o r a . E n sucesivas ocasiones de i m p l e m e n t a c i n ,
los p r o g r a m a s p o d r n ser refinados o ajustados t e n i e n d o e n cuenta la e x p e r i e n c i a
previa.
F r e n t e a la v i s i n c o n v e n c i o n a l q u e i d e n t i f i c a l a e v a l u a c i n c o m o una a c t i v i dad q u e se realiza al final de la i n t e r v e n c i n , c u a n d o se ha l o g r a d o a l g n t i p o de
r e s u l t a d o , l a e v a l u a c i n de e n t r a d a enfatiza la necesidad de revisar y m e j o r a r la
p r o p i a d e f i n i c i n d e l p r o g r a m a , i n c l u y e n d o t a n t o su base l g i c a c o m o p r a g m t i c a .
Es decir, p o r q u se espera q u e determinadas actividades produzcan los cambios deseados en la p o b l a c i n objetivo, y c m o se e s t r u c t u r a r el f u n c i o n a m i e n t o de l a organ i z a c i n de servicios responsable del p r o g r a m a para localizar y trabajar con la p o b l a cin objetivo.

11 - Rebolloso, E. - Evaluación de Programas de Intervención Social (Cap. 1, 2 y 3)

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

11 - Rebolloso, E. - Evaluación de Programas de Intervención Social (Cap. 1, 2 y 3)

Hochgeladen von

Copyright:

Verfügbare Formate

(Consulte n u e s t r a p g i n a w e b : w w w . s i n t e s i s .

C a p t u l o I . Polticas, programas y evaluaciones

1.2. Evaluacin e investigacin social

1.3. Desarrollo histrico de la investigacin de evaluacin

1.4. Situacin actual de la investigacin de evaluacin

1.5. Caractersticas del proceso de evaluacin

1.6. Delimitacin final del concepto de e v a l u a c i n -

C a p t u l o 2. P r o p s i t o s y actividades principales del proceso evaluativo

Conceptos clave.2.1. Razones o motivos principales de las evaluaciones

2.2.1. Evaluacin para la r e s p o n s a b i l i d a d

2.2.3. Evaluacin para el conocimiento

2.3. Actividades generales de evaluacin

2.3.3. Valoracin de la utilidad del p r o g r a m a

3.2. Problemas sociales

3.3.3. Evaluacin de necesidades

3.3.5. Revisin de las mejores prcticas (benchmarking)

5.2. Implementacin del programa

5.2.2. Seguimiento, c o m p o s i c i n y factores de la implementacin

5.2.3. La evaluacin formativa de McCIintock

5.3. Seguimiento de la participacin

5.4. La evaluacin de la i m p l e m e n t a c i n dentro del proceso

C a p t u l o 6. Estrategias para la evaluacin de resultados e impactos

4.3.1. Misin y objetivos de los programas

4.3. Objetivos de los programas

4.1.2. Dificultades para la evaluacin

6.4. Criterios de valor y variables de resultado

5.5. Evaluacin para el desarrollo organizacional

6.3. La emisin de juicios de valor

3.5.8. Censos comunitarios

C a p t u l o 5. Evaluacin de proceso y seguimiento del programa

5.1. Seguimiento del programa...

3.5.3. ndices bajo tratamiento

K'LN M ' . I I M A I K A I >! I ( I\ I 1 K X . I I A M A 5

3.5.1. Entrevistas con informantes clave

3.5.4. Indicadores sociales

3.3.1. Evaluaciones proactivas

4.7.2. I I '.r.lrm.i .Ir- ini|ilriiii'iil.ii ion

3.1. La evaluacin de contexto dentro del proceso de intervencin social

3.3.2. Anlisis de problemas

4.7.1. B m t t n t M < ' I

3.3. Mtodos diagnsticos

4.7. Evaluacin*- orientad* por la t e o r a

C a p t u l o 7. D i s e o s aleatorizados y no aleatorizados para las evaluaciones

7.1.1. Eleccin del d i s e o

4.3.2. Definicin de los objetivos del programa

4.3.3. Elementos del programa

4.4. Planificacin y ajuste de las evaluaciones

7.4. D i s e o de grupos unitarios para la evaluacin de resultados

4.5. La e v a l u a c i n de entrada dentro del proceso de intervencin social

4.6. Evaluacin de la evaluabilidad

Capitulo 8. Evaluacin de la eficiencia

8.1. Evaluacin de la eficiencia

8.2. Aspectos esenciales en el ciclo de los programas o proyectos sociales

8.2.1. Estado de pre-inversin._..

8.2.2. Estado de inversin

8.4. Consideraciones diferenciales segn los grupos de personas afectadas.....

8.4.1. La perspectiva del participante objetivo.....

8.4.1 La perspectiva del patrocinador del programa

8.4.3. La perspectiva de la sociedad en su conjunto

8 5 . Identificacin y estimacin del valor de los componentes

8.6.1. Monetarios y no monetarios

8.6.3. Recurrentes y no recurrentes

8.6.4. Manifiestos y escondidos

8.6.5. Fijos y variables

4.7. Evaluacin- orientad por la t e o r a