Sie sind auf Seite 1von 30

Lt TIEDAU, Tobias

Lt WENTZ, Daniel
Responsive Evaluation
1
Gliederung:
1) Kontextualisierung
2) Responsive Evaluation
a. Merkmale
b. Clock-Modell nach Stake
3) Notwendige Anforderungen an
a. Planung
b. Methodenwahl
c. Funktion und Rolle der wissenschaftl. Begl.
4) Grenzen und Chancen
2
Programm rationaler
Forschung
kritischer Rationalismus
Popper, Beck
Programm reflexiver
Praxis
epistemologisches Subjektmodell
Little, Scheele
Kontextualisierung
Vgl. Sloane 2007, S. 28f
Wiederholung Rationalittsmodelle:
Programm rationaler
Praxis
kritische Theorie
Marcuse, Adorno
3
Distanziert
non-interaktiv
empirisch-analytisch
phnomenologisch-
textwissenschaftlich
Intervenierend
interaktiv
Handlungsforschung
Vernderungs- Lernprozesse
Responsiv
Verbindung beider Ansprche
Kontextualisierung
Vgl. Sloane 2007, S. 28f
Wiederholung wissenschaftl. Begleitforschung:
THEORIE PRAXIS
4
Responsive Evaluation, Merkmale:
Konzept responsiver Evaluationsforschung
Zwei Phasen:
Evaluation, Empfehlung
Evaluation, drei Phasen
Empfnglich und empfindlich fr Signale und Interessenlagen relevanter
Beteiligungsgruppen. Methodologisch nicht geschlossen und nicht vorab
festgelegt (Ehrlich 1995, S. 36)
Prof. Dr. Sloane
Dr. Beywl
5
Responsive Evaluation, Merkmale:
Empirisch-analytisch genau
und zugleich
sozial verantwortungsbewusst
(vgl. Beywl 1988, S. 145)
Individuelle Selbststndigkeit von Menschen soll untersttzt werden
(vgl. u.a. Beywl 1988, S. 147)
Bercksichtigung individueller Interessen Partizipierender als
Steuerungskriterien (vgl. u.a. Ptzold 1995, S. 55; Ehrlich 1995, S. 36)
6
Responsive Evaluation, Merkmale:
Responsive Evaluation ist konstruktivistisch,
indem sie Realitt nicht nur beschreibt oder analysiert, sondern in einem
gemischt wissenschaftlich-soziopolitischen Prozess neu schafft. Die
Vernderung des Evaluationsgegenstandes ist nicht unerwnschte Strung,
sondern integraler Bestandteil des Prozesses (Beywl 1991, S. 147)
7
Responsive Evaluation, Merkmale:
Responsive Evaluation ist emergent,
da sie nicht einem vorher festgelegten Untersuchungsplan folgt, sondern
Schritt fr Schritt, in flieender Kommunikation zwischen Evaluatorinnen und
anderen Beteiligten konzipiert wird (Beywl 1991, S. 147)
8
Responsive Evaluation, Merkmale:
Responsive Evaluation ist responsiv,
insofern als Steuerungskriterien die Anliegen und Konfliktthemen der am
evaluierten Programm beteiligten Gruppen fungieren, auf die Evaluation
"antwortet (Beywl 1991, S. 147)
NERFKOP
9
Responsive Evaluation, Clock-Modell
Kommunikation mit
allen Beteiligten
Indentifizierung
Handlungsspielraum
berblick
Programmaktivitten
Aufdeckung
Untersuchtenbedrfnisse
Zielerreichungsbedrfnisse
Bei Bedarf Sammlung
formeller Berichte
Reduzierung und
Formatierung zum
ffentlichen Gebrauch
Validierungen bzw.
Falsifikationen
Studium und Beobachtung
festgelegter Vorgeschichten,
entstehender Transaktionen und
Resultate Bei Bedarf Selektion von
Beobachtern, Richtern,
Instrumenten
Identifizierung
Datenbedarf
Konzeptualisierung von
Themen und Problemen
Angelehnt an Stake 1975, S. 20
Thematisierung, Vorbereitung
und Durchfhrung von
Portraits und Fallstudien
10
Responsive Evaluation ist emergent,
da sie nicht einem vorher festgelegten Untersuchungsplan folgt, sondern
Schritt fr Schritt, in flieender Kommunikation zwischen Evaluatorinnen und
anderen Beteiligten konzipiert wird (Beywl 1991, S. 147)
Die Verlaufsplanung responsiver Evaluation
11
Die Verlaufsplanung responsiver Evaluation
Zwar werden im Modellversuchsantrag immer auch
Arbeitsschritte und angestrebte Ergebnisse sowie zu entwickelnde
Produkte definiert, doch zeigt die Praxis [], dass im Prozess []
immer wieder neue Abstimmungen [] erfolgen mssen. Dies
hngt u. a. damit zusammen, dass die Komplexitt des
Modellversuchsgeschehens in einer vorausgehenden Planung nicht
vollstndig antizipiert werden kann. Dies hat wiederum
Konsequenzen fr das Forschungskonzept ( Sloane 2006, S. 659).
Zwar werden im Modellversuchsantrag immer auch
Arbeitsschritte und angestrebte Ergebnisse sowie zu entwickelnde
Produkte definiert, doch zeigt die Praxis [], dass im Prozess []
immer wieder neue Abstimmungen [] erfolgen mssen. Dies
hngt u. a. damit zusammen, dass die Komplexitt des
Modellversuchsgeschehens in einer vorausgehenden Planung nicht
vollstndig antizipiert werden kann. Dies hat wiederum
Konsequenzen fr das Forschungskonzept ( Sloane 2006, S. 659).
12
Die Verlaufsplanung responsiver Evaluation
Zwar werden im Modellversuchsantrag immer auch
Arbeitsschritte und angestrebte Ergebnisse sowie zu entwickelnde
Produkte definiert, doch zeigt die Praxis [], dass im Prozess []
immer wieder neue Abstimmungen [] erfolgen mssen. Dies
hngt u. a. damit zusammen, dass die Komplexitt des
Modellversuchsgeschehens in einer vorausgehenden Planung nicht
vollstndig antizipiert werden kann. Dies hat wiederum
Konsequenzen fr das Forschungskonzept ( Sloane 2006, S. 659).
Zwar werden im Modellversuchsantrag immer auch
Arbeitsschritte und angestrebte Ergebnisse sowie zu entwickelnde
Produkte definiert, doch zeigt die Praxis [], dass im Prozess []
immer wieder neue Abstimmungen [] erfolgen mssen. Dies
hngt u. a. damit zusammen, dass die Komplexitt des
Modellversuchsgeschehens in einer vorausgehenden Planung nicht
vollstndig antizipiert werden kann. Dies hat wiederum
Konsequenzen fr das Forschungskonzept ( Sloane 2006, S. 659).
13
Die Verlaufsplanung responsiver Evaluation
Vgl. Beywl 1986, S. 163
14
Die Verlaufsplanung responsiver Evaluation
Evaluator
Evaluator
Beteiligte Personen
des MVT
Beteiligte Personen
des MVT
15
Evaluation
Evaluation
Gegenstandsbestimmung
Gegenstandsbestimmung
Informationssammlung
Informationssammlung
Ergebniseinspeisung
Ergebniseinspeisung
Vgl. Wottawa 1993, S. 729ff.
Die Verlaufsplanung responsiver Evaluation
Der Ablauf der responsiven Evaluation vollzieht sich in drei Hauptphasen in einem
rekursiven Prozess, der schleifenartig immer wieder neu durchlaufen wird
(Spanhel 2001, S. 3).
Der Ablauf der responsiven Evaluation vollzieht sich in drei Hauptphasen in einem
rekursiven Prozess, der schleifenartig immer wieder neu durchlaufen wird
(Spanhel 2001, S. 3).
16
Die Verlaufsplanung responsiver Evaluation
Gegenstandsbestimmung
Gegenstandsbestimmung
1
4
3
2
Vertrag
Beteiligte Gruppen
Risikokatalog
Anliegen und
Konfliktthemen
Vgl. Beywl 1987, S. 171 sowie Wottawa 1993, S. 729ff.
17
Die Verlaufsplanung responsiver Evaluation
Informationssammlung
Informationssammlung
Vgl. Beywl 1987, S. 171 sowie Wottawa 1993, S. 729ff.
Informationsgewinnung
zur Klrung von Anliegen
und Konfliktthemen
Informationsgewinnung
zur Klrung von Anliegen
und Konfliktthemen
Entwicklung des Designs
Zuordnung von Methoden
Zuordnung von Untersuchungsinstrumenten
Entwicklung des Designs
Zuordnung von Methoden
Zuordnung von Untersuchungsinstrumenten
Informationsgewinnung
von Anliegen
und Konfliktthemen
Informationsgewinnung
von Anliegen
und Konfliktthemen
Deskriptive
Skizzierung der
Ausgangs-
bedingungen
Deskriptive
Skizzierung der
Ausgangs-
bedingungen
18
Die Verlaufsplanung responsiver Evaluation
Ergebniseinspeisung
Ergebniseinspeisung
berfhrung der Ergebnisse in
Handlungsempfehlungen
Ergebnisbericht und Empfehlung unabhngig
keine Beeinflussung
Recht auf Evaluationsbericht
Individualitt der beteiligten Gruppen
berfhrung der Ergebnisse in
Handlungsempfehlungen
Ergebnisbericht und Empfehlung unabhngig
keine Beeinflussung
Recht auf Evaluationsbericht
Individualitt der beteiligten Gruppen
Vgl. Beywl 1987, S. 171 sowie Wottawa 1993, S. 729ff.
19
Die Methoden und Erhebungsinstrumente
responsiver Evaluation
keine speziellen Voraussetzungen an
Methoden
qualitative und quantitativ Methoden der ESF
Phase der Gegenstandsbestimmung
qualitative Methoden!!!
nachfolgender Einsatz von quantitativen
Methoden mglich
keine speziellen Voraussetzungen an
Methoden
qualitative und quantitativ Methoden der ESF
Phase der Gegenstandsbestimmung
qualitative Methoden!!!
nachfolgender Einsatz von quantitativen
Methoden mglich
Vgl. Beywl 1987, S. 166
20
Die Methoden und Erhebungsinstrumente
responsiver Evaluation
Handeln
Handeln
Bewerten
Bewerten
Objekt
Objekt Subjekt
Subjekt
Vgl. Kleining 1982, S. 230 ff.
Die vier Grundelemente
qualitativer Sozialforschung
21
Die Methoden und Erhebungsinstrumente
responsiver Evaluation
Entscheidend fr die Abgrenzung zu anderen
Untersuchungsmethoden ist, da die Annherung an die soziale
Realitt mit Hilfe offener Verfahren erfolgt. Die jeweiligen
Untersuchungsfelder werden vorwiegend ohne Zuhilfenahme
standardisierter Erhebungsinstrumente erschlossen (Hopf 1979,
S. 14)
Entscheidend fr die Abgrenzung zu anderen
Untersuchungsmethoden ist, da die Annherung an die soziale
Realitt mit Hilfe offener Verfahren erfolgt. Die jeweiligen
Untersuchungsfelder werden vorwiegend ohne Zuhilfenahme
standardisierter Erhebungsinstrumente erschlossen (Hopf 1979,
S. 14)
unstrukturierte
Beobachtungen
unstrukturierte
Beobachtungen
1
qualitative
Interviews
qualitative
Interviews
qualitative
Inhaltsanalysen
qualitative
Inhaltsanalysen
2
standardisierte und
strukturierte
Instrumente
standardisierte und
strukturierte
Instrumente
Vgl. Beywl 1987, S. 166
22
Kompetenzen
Kompetenzen
Ambiguittstoleranz
Beraterfhigkeiten
psychologische Fhigkeiten
Wissenschaftlichkeit
Sozialkompetenz
Methodenkompetenz
Fachkompetenz
Kommunikation
Die Anforderungen an den wissenschaftlichen
Begleiter in der responsiven Evaluation
Moderation
They are required to become political managers who orchestrate
the involvement of diverse interest groups (Weiss 1983, S. 10).
They are required to become political managers who orchestrate
the involvement of diverse interest groups (Weiss 1983, S. 10).
23
Die Anforderungen an den wissenschaftlichen
Begleiter in der responsiven Evaluation
Kompetenzen
Sozialkompetenz Methodenkompetenz Fachkompetenz
Kommunikation Moderation Wissenschaft
Einfhlungsvermgen
Sensibilitt
Beratung
Analyse
Psychologie
Forschungsfeld
Ambiguittstoleranz
E
v
a
l
u
a
t
i
o
n
s
t
e
a
m
24
Grenzen und Chancen responsiver Evaluation
25
Vgl. Beywl 1987, S. 174 ff.
Widerspruch zu den Vorstellungen sozialwissenschaftlicher
Begleitforschung
keine Erfllung der Ansprche an
Objektivitt und Wahrheit
Verallgemeinerbarkeit der Ergebnisse
Rollendefinition des ber den Konflikten und Problemen
stehenden Wissenschaftlers
Widerspruch zu den Vorstellungen sozialwissenschaftlicher
Begleitforschung
keine Erfllung der Ansprche an
Objektivitt und Wahrheit
Verallgemeinerbarkeit der Ergebnisse
Rollendefinition des ber den Konflikten und Problemen
stehenden Wissenschaftlers
Grenzen und Chancen responsiver Evaluation
26
atheoretisch ohne Struktur, feste Regeln und standardisierte
Verfahren Keine eigene Identittsbildung, da sie von den
Interessen der Beteiligten beeinflusst ist (Mikropolitik etc.)
mangelndes Problembewusstsein seitens der Beteiligten
geistige Barrieren
atheoretisch ohne Struktur, feste Regeln und standardisierte
Verfahren Keine eigene Identittsbildung, da sie von den
Interessen der Beteiligten beeinflusst ist (Mikropolitik etc.)
mangelndes Problembewusstsein seitens der Beteiligten
geistige Barrieren
Grenzen und Chancen responsiver Evaluation
27
Chancen und Grenzen responsiver Evaluation
Gerade in einer Zeit konomischer, technologischer und
kultureller Umbrche ist es eine lohnende Aufgabe die
Sozialwissenschaften als Potential bei der Lsung sozialer
Probleme nutzbar zu machen ( Beywl 1986, S. 175).
Gerade in einer Zeit konomischer, technologischer und
kultureller Umbrche ist es eine lohnende Aufgabe die
Sozialwissenschaften als Potential bei der Lsung sozialer
Probleme nutzbar zu machen ( Beywl 1986, S. 175).
Vgl. Beywl 1986, S. 163
28
Literaturangabe:
Beywl, Wolfgang(1986): Wissenschaftlich Begleitung Das Versprechen der responsiven Evaluation.
Luchtturm Verlag
Beywl, Wolfgang(1988): Zur Weiterentwicklung der Evaluationsmethodologie. Grundlegung, Konzeption
und Anwendung eines Modells der responsiven Evaluation. Frankfurt.
Beywl, Wolfgang(1991): Entwicklung und Perspektiven praxiszentrierter Evaluation. In:
Sozialwissenschaften und Berufspraxis, 14 (1991) 3, S. 265 - 279.
Ehrlich, K. (1995): Auf dem Weg zu einem neuen Konzept wissenschaftlicher Begleitung, in:
Berufsbildung in Wissenschaft und Praxis, 1, S. 32-37.
Hopf, Chr. (1979): Qualitative Sozialforschung. Stuttgart
Kleining, G.: Umriss einer Methodologie qualitativer Sozialforschung. In: Klner Zeitschrift fr
Soziologie und Sozialpsychologie 34(1982)
29
Sloane, P. (2006): Modellversuchsforschung. In: Rauner, F. (Hg.): Handbuch Berufsbildung,
Bielefeld, S. 658-664.
Sloane, P. (2007): Berufsbildungsforschung im Kontext von Modellversuchen und ihre
Orientierungsleistung fr die Praxis Versuch einer Bilanzierung und Perspektiven, in:
Nickolaus, R. / Zller, A. (Hg.): Perspektiven der Berufsbildungsforschung.
Orientierungsleistungen der Forschung fr die Praxis. Bielefeld, S. 11-60.
Spanhel, Dieter (2001): Die Bedeutung pdagogischer Evaluationsforschung an einem
Beispiel responsiver Evaluation. Insbruck.
Stake, R.E. (1975): Program Evaluation Particularly Responsive Evaluation. Center for
Instructional Research and Curriculum Evaluation. University of Illinois at Urbana-
Champaign. Paper 5. Occasional Paper Series. (Ms.)
Wottawa, H.:Evaluation. In: Weidenmann, B., Krapp, A. u. a. (Hrsg): Pdagogische
Psychologie. Ein Lhrbuch. 3. Aufl., Weinheim 1993, S. 703 733
Literaturangabe:
30