Sie sind auf Seite 1von 136

KURSBUCH WIRKUNG

DAS PRAXISHANDBUCH FR ALLE, DIE GUTES NOCH BESSER TUN WOLLEN

tchrit Mit S hrittc fr-S ngen & u t Anlei pielen i e B s

In Kooperation mit

KOOPERATIONSPARTNER DIESER PUBLIKATION

Bertelsmann Stiftung
Die 1977 von Reinhard Mohn gegrndete Bertelsmann Stiftung setzt sich fr das Gemeinwohl ein. Sie frdert die Zivilgesellschaft und engagiert sich in den Bereichen sowie internationale Verstndigung und Bildung, Wirtschaft und Soziales, Gesundheit frdert das friedliche Miteinander der Kulturen. Durch ihr gesellschaftliches Engagement will sie alle Brger ermutigen, sich

Impressum
1. Auage, November 2013 PHINEO gAG, Berlin

Autoren: Bettina Kurz, Doreen Kubek

Gestaltung & Illustrationen: Stefan Schultze Kontakt

PHINEO gAG 10178 Berlin

ebenfalls fr das Gemeinwohl einzusetzen. www.bertelsmann-stiftung.de

Anna-Louisa-Karsch-Str. 2 Tel. +49.30.52 00 65 400 info@phineo.org www.phineo.org Fr inhaltliche Fragen zu diesem Kursbuch Doreen Kubek, Doreen.Kubek@phineo.org stehen Ihnen gerne zur Verfgung:

Fax +49.30.52 00 65 403

Philipp.Hoelscher@phineo.org Nutzung dieser Publikation:

Dr. Philipp Hoelscher,

Bettina Kurz, Bettina.Kurz@phineo.org

wir antworten gern!

teilweise nutzen? Bitte fragen Sie uns,

Sie mchten die Publikation ganz oder

ISBN 978-3-00-043516-4

Verantwortung

Klimaneutraler Druck

durch DBM Druckhaus Recyclingpapier

Berlin Mitte GmbH auf

EDITORIAL

Die Themen Wirkung und Wirkungs-

orientierung werden im gemeinntzigen Projekte mchten mit ihrer Arbeit so viel Positives wie mglich fr ihre Zielgruppen erreichen, und gleichzeitig fordern

als sperrige Aufgabe wahrgenommen, die umsetzen lsst.

Sektor viel diskutiert. Organisationen und

sich angesichts begrenzter Ressourcen nicht

In unseren Workshops versuchen wir zu

Geldgeber vermehrt Nachweise darber, ten Projekte haben. Die Beschftigung

zeigen, dass sich Wirkungsorientierung fr

welchen Nutzen die von ihnen untersttzmit dem Thema Wirkung ist fr gemeindenen Grnden wichtig.

gemeinntzige Organisationen jeder Gre

und jeden Alters eignet, auch wenn nur weauerhalb der Workshops wurde deutlich,

nige Mittel dafr zur Verfgung stehen. Auch dass es einen Bedarf nach einer praxisnahen Handreichung zum Thema Wirkungsorientierung gibt. So entstand gemeinsam mit der Bertelsmann Stiftung die Idee fr das

Bettina Kurz

ntzige Organisationen also aus verschie-

Bei unserer Arbeit haben wir viele gemeingelernt, die mit ihrer Arbeit Groartiges

ntzige Projekte und Organisationen kennenleisten. Sie arbeiten mit viel Wissen, Engagement und Ressourcen unter anderem dafr, dass es Menschen besser geht, die Natur

Kursbuch Wirkung, das einen Einstieg ins

Thema bietet und mit vielen praxisnahen InWirkungsorientierung als festen Bestandteil in den Projektalltag zu integrieren.

strumenten, Tipps und Beispielen dabei hilft,

Doreen Kubek
sind verantwortlich fr das seit der Grndung 2010 im

geschtzt oder der gesellschaftliche Zusam-

Kursbuch Wirkung. Beide sind PHINEO-Team. Die Politikwissenin zahlreichen Projekten zum

menhalt in ihrem Stadtteil gestrkt wird. Mit ihrer Arbeit leisten sie damit jeden Tag einen Dabei versuchen sie, so viel Wirkung wie unverzichtbaren Beitrag fr die Gesellschaft. mglich zu erzielen. Doch Wirkung tritt nicht gesamten Projektverlaufs darauf geachtet werden, ob das Projekt auf dem richtigen

Wir wrden uns freuen, wenn dieses Kurs-

buch Ihnen dabei hilft, Ihre Arbeit wirkungsorientiert zu gestalten, und wnschen Ihnen eine interessante und wirkungsvolle Lektre.

schaftlerin Bettina Kurz war zuvor Thema Zivilgesellschaft in der

Bertelsmann Stiftung ttig. Ihr Themen Wirkungsanalyse und Qualittsentwicklung.

von alleine ein, sondern es muss whrend des Bettina Kurz

Arbeitsschwerpunkt liegt auf den

Doreen Kubek hat Politikwissenschaften studiert und war in Bereichen wie Internationale

Weg ist, um die gewnschten Wirkungsziele zu erreichen. Vielen Organisationen fehlen Instrumente, um Wirkungsorientierung allerdings das Wissen und die geeigneten systematisch in ihre Projektarbeit zu integ-

Politik und Soziale Arbeit ttig. Bei PHINEO gehren Monitoring und Evaluation zu ihren Aufgaben.

Doreen Kubek

rieren. Wirkungsorientierung wird daher oft

Weitere kostenfreie Publikationen von PHINEO

nden Sie unter www.phineo.org/publikationen

INHALT
Editorial Inhaltsverzeichnis 1.

Zur Einfhrung

2.

Einfhrung ins Thema ber das Kursbuch

4 4 9

TEIL 1: WIRKUNG PLANEN


1. Herausforderungen und Bedarfe verstehen
1.1 1.2 Die Bedarfs- und Umfeldanalyse in der Praxis Vom Bauchgefhl zum Wissen

10 12 14 25 27 13

2. Die Wirkung in den Blick nehmen Wirkungsziele setzen


2.1 Wirkungsziele setzen: notwendig und ntzlich 2.2 Wirkungsziele erarbeiten und formulieren

26

2.3 Den richtigen Handlungsansatz fr das Projekt whlen

31

3. Auf dem Weg zur Wirkung die Wirkungslogik


3.2 Die Wirkungslogik und ihre Bestandteile 3.3 Die Erstellung einer Wirkungslogik

3.1 Was sind Wirkungslogiken und wofr werden sie genutzt?

33 34 33

3.4 Wirkungsziele im Rahmen der Wirkungslogik detailliert ausarbeiten 3.5 Wirkungsorientierte Planung im berblick: Der Wirkungskreislauf

44 45

40

TEIL 2: WIRKUNG ANALYSIEREN


4. Die Wirkungsanalyse vorbereiten
4.1 Wirkungsanalyse, Monitoring und Evaluation 4.2 Logistische Fragen zur Wirkungsanalyse 4.3 Welche Fragen sollen durch die Wirkungsanalyse beantwortet werden?

46 48 48 54 58 50

5. Wirkung berprfbar machen Indikatoren entwickeln


5.1. Was sind Indikatoren und wofr braucht man sie? 5.2 Arten von Indikatoren 5.3 Schritte zur Indikatorenentwicklung

60 66

59 63

5.4 Wie viel solls denn sein? Baselines und Soll-Werte

6. Daten fr die Wirkungsanalyse erheben


6.1 Datenerhebung die praktischen Schritte

70 70

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Tue erst das Notwendige, dann das Mgliche, und pltzlich schaffst du das Unmgliche.
Franz von Assisi (* ca. 1181 / 1182 1226)

6.2 Schwer zu erhebende Wirkungen

6.3 Qualittskriterien fr die Datenerhebung

82 85

7. Datenaufbereitung und -analyse


7.1

7.2 Wer ist fr die Datenauswertung und -analyse zustndig?

Wann und wie oft sollten die Daten ausgewertet und analysiert werden?

86 87 87

7.3 In vier Schritten von der Datenaufbereitung zur Erarbeitung von Handlungsempfehlungen

88 98 100 102

TEIL 3: WIRKUNG VERBESSERN


8. Lernen und verbessern
8.1 Voraussetzungen fr eine lernende Organisation 8.2 Lernen in der Organisation 8.3 Lernen von und mit anderen Organisationen 8.4 Gute Entscheidungen treffen

101

104

105

9. ber Wirkung berichten


9.2 Berichte schreiben

9.1 Eine Kommunikationsstrategie fr das Projekt entwickeln

108 108 111

10.(Noch) weiter wirken Wirkung verbreiten


10.2 Verbreitungsmethoden 10.1 Kriterien fr die Verbreitung von Projekten

116 116 120 122 117

10.3 Wirkungsanalyse bei der Verbreitung von Projekten Zum Schluss Weiterfhrende Literaturhinweise Herzlichen Dank

Glossar

124 126 127

Literaturverzeichnis

128

ZUR EINFHRUNG

Stellen Sie sich vor, Sie wollen eine Seereise unternehmen. Wie planen Sie Ihre Reise? Zuerst berlegen Sie wahrscheinlich, wo es wollen und wie Sie Ihre Passagiere sicher entscheiden, welches Schiff und welche

Rckblickend wrden Sie aber vielleicht noch einige Dinge anders machen. Vielleicht war einer der Passagiere seekrank und es gab oder ein anderer bekam einen starken

berhaupt hingehen soll, wen Sie mitnehmen an den Zielort bringen knnen. Sie mssen Mannschaft Sie dafr brauchen, planen Ihre Route und denken darber nach, wie viel Proviant Sie mit an Bord nehmen mssen. und Passagiere die Reise gebucht haben,

keine entsprechenden Medikamente an Bord, Sonnenbrand. Bei der nchsten Reise wrden Sie darauf achten, ein Reisemedikament und ausreichend Sonnenschutz dabeizu-

haben, um auf verschiedene Wetterlagen und Bedrfnisse Ihrer Passagiere reagieren zu erfolgreicher. Aber was hat das alles mit kungsorientierung zu tun? knnen. Dann wird die Reise sicher noch diesem Kursbuch und mit dem Thema Wir-

Nachdem Sie alles Ntige organisiert haben kann es losgehen. Unterwegs berprfen Sie

gemeinsam mit Ihrer Mannschaft laufend, ob Sie noch auf dem richtigen Weg sind oder der Kurs angepasst werden muss. Sie sorgen fr fr sie da. Es wird eine schne Reise, die die Passagiere und sind als Ansprechpartner Passagiere loben den Service und die Auskommen alle wohlbehalten an und gehen

1. EINFHRUNG INS THEMA


Genau wie Sie bei Ihrer Reise bestrebt sind, der Arbeit in einer gemeinntzigen Organisation, mit Ihren Projekten die grtmgliche Wirkung zu erzielen. Sie stecken viel dass alles optimal verluft, versuchen Sie bei

stattung Ihres Schiffes. Am Ende der Reise zufrieden von Bord. Auch Sie selbst sind mit dem Verlauf der Reise insgesamt zufrieden.

Ressourcen und Herzblut in die Planung und

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Die Wirkungstreppe

Ab dieser Stufe spricht man von Wirkung

1 Aktivitten finden wie geplant statt


Durchfhrung Ihrer Projekte und arbeiten ne Wirkungsebenen unterscheiden, z.B. die der Lebenslage der Zielgruppen, wie in der oben stehenden Grak anhand der WirAbb.: Eigene Darstellung nach Univation 2007

Zielgruppen werden erreicht

Zielgruppen akzeptieren Angebote


OUTPUT

Zielgruppen verndern ihre Fhigkeiten

5 Zielgruppen ndern ihr Handeln

Lebenslage der Zielgruppen ndert sich


OUTCOME

7 Gesellschaft verndert sich

IMPACT

tagtglich mit viel Energie und persnlichem Engagement daran, dass sich Dinge zum Podafr, dass es benachteiligten Menschen sitiven verndern. Sie sorgen unter anderem besser geht, Bildung gefrdert, die Natur menhalt gestrkt wird.

Vernderung von Fhigkeiten, Verhalten oder

kungstreppe veranschaulicht ist. Wirkungen treten in Folge von Leistungen, d.h. Angebospricht man von Outputs. Diese sind noch um diese zu erreichen. ten, Manahmen oder Produkten ein. Hierbei keine Wirkungen, aber eine Voraussetzung,

geschtzt oder der gemeinschaftliche ZusamWas bedeutet in diesem Kontext der Be-

griff Wirkungsorientierung? Dazu muss

zunchst dargestellt werden, was in diesem Zusammenhang mit dem Begriff Wirkung gemeint ist.

Ein Beispiel: Will ein Projekt Jugendlichen dabei helfen, einen Ausbildungsplatz zu bekommen, bestehen seine Leistungen

Was sind Wirkungen?


Wirkungen sind Vernderungen, die Sie mit Ihrer Arbeit bei Ihren Zielgruppen, deren Lebensumfeld oder der Gesellschaft erreichen. Gesellschaftliche Wirkung wird als Impact, Wirkungen bei den Zielgruppen

(Outputs) aus durchgefhrten Nachhilfestunden und Bewerbungstrainings. Die Durchfhrung allein oder eine hohe Teilnehmerzahl sagen jedoch nichts ber die Wirkung des Projekts aus. Denn die Teilnahme sich Vernderungen bei den Jugendlichen eingestellt haben, die ihnen beim Finden

am Projekt bedeutet nicht automatisch, dass

werden als Outcomes bezeichnet. Bei den

Outcomes lassen sich wiederum verschiede-

eines Ausbildungsplatzes helfen. Die Outputs

sind aber andererseits eine wichtige Voraussetzung, um Wirkungen erzielen zu knnen. Denn: Wrde niemand die Angebote wahrnehmen, knnte man durch dieses Angebot erreichen. Haben die Jugendlichen durch

auf dem richtigen Weg ist, muss whrend des Projektverlaufs berprft werden, ob es sich in Richtung der formulierten Wirkungsziele bewegt. Dies ist die Aufgabe der Wirkungsanalyse (Teil 2 des Kursbuchs). Instrumente der Wirkungsanalyse sind Monitoring und durch Monitoring- und Evaluationsma-

auch keine Vernderung bei den Zielgruppen die Teilnahme an den Bewerbungstrainings

etwa relevante Kenntnisse und Fhigkeiten baut und knnen nun selbststndig gut

Evaluation. Die berprfung von Wirkungen nahmen nimmt eine zentrale Rolle bei der

erworben, haben sie Selbstvertrauen aufgeformulierte Bewerbungen erstellen, so sind der Vermittlung in Ausbildung beitragen.

wirkungsorientierten Projektsteuerung ein. Die Ergebnisse der Wirkungsanalyse bilden die Grundlage, um Schlussfolgerungen fr falls Verbesserungen zu implementieren. Entsprechend bildet der Themenbereich

dies Wirkungen (Outcomes), die zum Ziel Schafft es das Projekt, seine Teilnehmer in

die Projektarbeit zu ziehen und gegebenen-

Ausbildung zu vermitteln, und trgt dies zu sigkeit in der Region, in der es ttig ist, bei,

einem allgemeinen Rckgang der Arbeitslohtte es eine Vernderung auf gesellschaftliausfhrliche Darstellung der verschiedenen Wirkungsstufen Kap. 3)

Wirkung verbessern den dritten Kernschritt bei der wirkungsorientierten Arbeit (Teil 3 des Kursbuchs). Anhand der Erkenntnisse aus der Wirkungsanalyse, dem daraus Gelernten nun erneut geplant werden, und es beginnt ein neuer Kreislauf. sowie den abgeleiteten Verbesserungen kann

cher Ebene (Impact) bewirkt. (vgl. fr eine

Was ist Wirkungsorientierung?


Wirkungsorientierung bedeutet, dass ein

Die Wirkungsanalyse, das Lernen daraus und das Ableiten von Schlussfolgerungen bilden zudem eine wichtige Grundlage, wenn ein (Kapitel 10 des Kursbuchs).

Projekt darauf ausgelegt ist, Wirkungen zu erzielen, und es entsprechend geplant und umgesetzt wird. Erwnschte Wirkungen werden als konkrete Ziele formuliert, an denen sich die gesamte Arbeit des Projekts ausrichsich drei Kernschritte mit Unterschritten

Projekt erweitert oder verbreitet werden soll

Warum ist Wirkungsorientierung wichtig?

tet. Fr die wirkungsorientierte Arbeit lassen identizieren, die einen Kreislauf ergeben. Wirkungsorientiert vorzugehen bedeutet fr ein Projekt, dass es zunchst auf die muss. Damit beschftigt sich Teil 1 des erwnschte Wirkung hin geplant werden Kursbuchs. Um festzustellen, ob das Projekt

Warum sollten Sie wirkungsorientiert ar-

beiten und Ihre Wirkungen analysieren? Sie

wollen mit Ihrer Arbeit die Situation fr Ihre

Zielgruppen verbessern und den Teilnehmern Ihrer Projekte eine hohe Qualitt bieten. Dabei Ihren Zielgruppen erreichen wollen, und fr mssen Sie sich genau berlegen, was Sie berprfen, ob Sie dies auch tatschlich tun.

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

VE

S BES

ERN

TE
Herausforderungen und Bedarfe verstehen

IL

L3 W

ber Wirkung berichten

IR

IR
KU

NG

TEI

Lernen und anpassen

9 8

1 2 3

Wirkungsziele setzen

PLA

NEN

Daten auswerten und analysieren

7 6 5 4

Wirkungslogik erarbeiten

Daten erheben

Wirkungsanalyse vorbereiten

Immer mehr gemeinntzige Organisationen bemhen sich darum, die Resultate und Wirkungen ihrer Projekte zu analysieren und zu belegen. Dies ist jedoch noch nicht gngige Praxis und wird oft als groe Herausforderung angesehen. Hug wird die Beschftigung mit dem Thema Wirkung zudem eher einseitig im Sinne der Auendarstellung und Legitimation gedacht. Die wesentliche

Bedeutung von Wirkungsorientierung liegt

TE
IL
2

IR

KU

Indikatoren entwickeln

NG

A N A LY S I E R E N

aber im Lernen, in der kontinuierlichen Ver-

besserung der eigenen Arbeit. Nur wer seine chen kennt, kann diese Erkenntnisse nutzen, systematisch nherzukommen.

Arbeitsergebnisse, seine Strken und Schwum sich weiterzuentwickeln und seinen Zielen

Abb. Wirkungsorientierung im Steuerungskreislauf: Die Schritte der wirkungsorientierten Steuerung vgl. Studie Wirkungsorientierte Steuerung in Non-Prot-Organisationen Wirkung und Transparenz schaffen, PHINEO gAG (2013 : 8)

Um nun auf das Eingangsbeispiel der Seereise zurckzukommen: Es ist Ihnen wahrscheinlich gar nicht aufgefallen, aber Sie

... Ihr Projekt von Anfang an wirkungsvoll zu gestalten.

... die Ergebnisse Ihrer Arbeit besser zu kommunizieren.

... Ihre Arbeit gegenber Geldgebern zu legitimieren.

Wirkungsanalyse hilft Ihnen dabei ...

... festzustellen, was Sie mit Ihrer Arbeit bewirken.

... Ihre Mitarbeitenden zu motivieren. ... die Wirkung Ihrer Arbeit kontinuierlich zu verbessern.

... aus Fehlern zu lernen.

haben auf Ihrer Reise auch die verschiedenen Schritte unternommen. Sie haben sich berlegt, wohin Sie wollen und warum, haben die Schifffahrt geplant, durchgefhrt und

Die wirkungsorientierte Projektarbeit von

gemeinntzigen Organisationen ist natrlich komplexer, aber sie folgt im Wesentlichen ebenfalls diesen Schritten. Lassen Sie sich sondern sehen Sie sie als Mglichkeit, Ihr

laufend berprft, ob die Richtung stimmt.

Die lobenden Worte der Passagiere haben Sie zur Kenntnis genommen, aber auch gesehen, dass es Dinge gibt, die Sie in Zukunft anders machen wrden. Ganz nebenbei haben Sie so eine Analyse Ihrer Reise gemacht. Sich Ziele zu setzen, Ergebnisse und Prozesse zu analysieren ist etwas, das wir in unserem Alltag stndig machen. Wir sammeln InformaBedeutung und handeln entsprechend. tionen, wir bearbeiten sie, geben ihnen eine

von Herausforderungen nicht abschrecken, Projekt voranzubringen. Die Zeit und der Aufeine durchdachte Wirkungsanalyse stecken, werden sich auf jeden Fall lohnen. Warten Sie nicht darauf, dass Ihnen Berichts- und werden, sondern nehmen Sie die Zgel in wirkungsorientiert!

wand, die Sie in ein gut geplantes Projekt und

Nachweispichten von auen vorgegeben die Hand und gestalten Sie selbst Ihr Projekt Wie kann Ihnen dieses Kursbuch dabei helfen?

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

2. BER DAS KURSBUCH


Was ist Ziel dieses Kursbuchs?
Das Kursbuch Wirkung mchte einen

bisher noch wenig mit dem Thema Wirkungsorientierung und Wirkungsanalyse beschftigt haben. Und wir mchten zeigen: Auch Organisationen mit geringen Ressourcen fr Monitoring und Evaluation knnen mit

niedrigschwelligen Einstieg in das Thema

Wirkungsorientierung bieten. Wir mchten Ihnen zeigen, wie Sie mit einfachen Schritten Ihr Projekt wirkungsorientiert planen,

einfachen kleinen Schritten die Wirksamkeit ihrer Arbeit berprfen und die Ergebnisse zum Lernen nutzen.

umsetzen und Wirkungen analysieren knnen. Es werden alltagstaugliche Instrumente zur Verfgung gestellt, die Ihnen bei der prakti-

Wie ist das Praxishandbuch aufgebaut?


Der Aufbau des Handbuchs orientiert sich am vorgestellten wirkungsorientierten Steuerungskreislauf und untergliedert sich analysieren und Wirkung verbessern.

schen Umsetzung von Wirkungsorientierung in Ihrer Projektarbeit helfen und den Austausch zum Thema Wirkungsorientierung innerhalb Ihrer Organisation untersttzen. Vor allem Thema auseinanderzusetzen.

in die drei Teile Wirkung planen, Wirkung Der Schwerpunkt dieses Kursbuchs liegt auf der Wirkungsorientierung im Rahmen der Projektarbeit. Auch wenn organisatorische

aber mchten wir Sie motivieren, sich mit dem

An wen richtet sich das Kursbuch?


Das Kursbuch richtet sich an Projekte,

Prozesse einen entscheidenden Einuss auf nicht Inhalt des Handbuchs.

die Wirkung von Projekten haben, sind diese

Programme und Organisationen, die sich

Veranschaulicht wird die Theorie anhand eines ktiven Patenschaftsprojekts: PAFF Paten fr Ausbildung und Frderung in Frankfurt ist ein Patenprojekt in einem Stadtteil von Frankfurt, das seit fast fnf Jahren besteht. Die Jugendlichen aus dem Stadtteil haben eine deutlich geringere Erfolgsquote, nach dem Schulabschluss einen Ausbildungsplatz zu bekommen, als Jugendliche aus anderen Stadtteilen. Einige haben einen Migrationshintergrund, und bei vielen sind die Schulleistungen nicht ausreichend, um einen qualizierten Schulabschluss zu erlangen. Ziel des Projekts ist es, Jugendliche t fr die Ausbildung zu machen und sie beim Schritt ins Arbeitsleben zu untersttzen. Dazu werden sie von ehrenamtlichen Paten begleitet, berwiegend bestehend aus ehemaligen Fhrungskrften, die mit den Jugendlichen lernen und ihnen mit Rat und Tat zur Seite stehen. Zustzlich zu der Begleitung durch Paten bietet PAFF Nachhilfestunden und Bewerbungstrainings an, die von professionellen Krften durchgefhrt werden. Bislang ist PAFF an zwei Schulen im Stadtteil aktiv. Das Projekt wird durch eine hauptamtliche Projektleitung und ehrenamtliche Paten getragen. Die Paten treffen sich regelmig, um sich auszutauschen. Hierfr haben einige Paten die Aufgabe als Patengruppenbetreuer bernommen. Es stehen relativ wenig nanzielle Ressourcen zur Verfgung.

TEIL 1: WIRKUNG PLANEN

Wer nicht wei, wohin er segeln will, fr den ist kein Wind der richtige.
Seneca (*4 v.Chr. 65 n.Chr.)

Das sind die Inhalte von Teil 1 des Kursbuchs:

In Kapitel 1 erfahren Sie, wie Sie durch die Bedarfs- und Umfeldanalyse wichtige Inforerhalten, die Ihnen helfen, Ihr Projekt wirkungsorientiert zu planen.

mationen ber die Bedarfe Ihrer Zielgruppe und das Umfeld Ihres (geplanten) Projekts

In Kapitel 2 erfahren Sie, wie Sie auf Basis der Bedarfs- und Umfeldanalyse die Wirkungsziele und den Handlungsansatz des Projekts entwickeln knnen.

In Kapitel 3 erfahren Sie, wie Sie den Weg, auf dem die Wirkungsziele erreicht werden sollen, im Rahmen einer Wirkungslogik systematisch erarbeiten knnen.

Ergnzende Materialien Direktdownload Im Anhang zu diesem Praxishandbuch haben wir Ihnen ein Glossar der www.phineo.org/publikationen unser kleines Nachschlagewerk

wichtigsten Begriffe zusammengestellt. Zustzlich knnen Sie sich unter Social Deutsch / Deutsch Social als kostenloses PDF herunterladen.

10

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

VE

S BES

ERN

TE
Herausforderungen und Bedarfe TE IL verstehen 1

WIRKUNG PLANEN

IL

L3 W

IR

ber Wirkung ERN ESS B berichten R VE


ber Wirkung berichten

L3 W

TEI

Lernen und anpassen


TEI

Lernen und anpassen

Herausforderungen und Bedarfe verstehen

WIRKUNG ANALYSIEREN

2 3

Wirkungsziele setzen

Wirkungsziele setzen
KU
NG

WIRKUNG VERBESSERN

Daten Daten 7 7 auswerten und auswerten und analysieren analysieren

Wirkungslogik Wirkungslogik erarbeiten

Daten erheben

erarbeiten

1 2 3

IR

IR
KU

NG

IR

PLA

PLA

NEN

NEN

Wirkungsanalyse vorbereiten

TE

2 erheben Daten W IR KU N

Indikatoren entwickeln

Wirkungsanalyse vorbereiten

IL

TE

Kin Bevor Sie USee N stechen, machen Sie sich


Ihre Reise. Dabei werden Sie und Ihre Fragen stellen:

IR

G AN A LY S I E R E N Indikatoren entwickeln

IL

G A Gedanken N A LY S wahrscheinlich einige ber IEREN


Mannschaft sich unter anderem folgende

Doch was bedeutet dies fr bereits bestehende Projekte? Vielleicht sind Sie schon auf hoher See, also mitten in der Umsetpen erfolgreich umschifft und viele Passaes auch in diesem Fall Sinn, sich ber die

zung Ihres Projekts, haben schon viele Klipgiere erfolgreich an ihr Ziel gebracht. Macht wirkungsorientierte Planung Gedanken zu See das Wetter umschlagen kann oder die

Was ist der Grund unserer Reise? Welches Ziel mchten wir mit unseren
Passagieren erreichen? Wenn Sie nun statt einer Schiffsreise ein gemeinntziges Projekt planen, werden

Auf welchem Weg kommen wir dorthin?


die Fragen, die Sie sich stellen, nahezu die gleichen sein. So wie die Planung der Seereise einen groen Einuss auf den Erfolg die Basis fr eine wirkungsvolle Projektarbeit. Die drei Kapitel in Teil 1 des Kurs-

machen? Auf jeden Fall, denn wie auf hoher Passagiere seekrank werden knnen, knnen sich die Rahmenbedingungen fr ein Projekt und die Bedarfe der Zielgruppen ndern.

Wenn ein Projekt auch weiterhin erfolgreich arbeiten mchte, muss wie beim Schiff der Kurs, auf dem man unterwegs ist, berdacht und gegebenenfalls angepasst werden. Die Planungsphase bezieht sich also nicht nur auf den Beginn eines Projekts, verlauf wiederholen. sondern sollte sich regelmig im Projekt-

der berfahrt hat, legt die Planungsphase

buchs folgen daher diesen drei Fragen und erlutern, wie Projekte wirkungsorientiert geplant werden.

11

1. HERAUSFORDERUNGEN UND BEDARFE VERSTEHEN

In diesem Kapitel

nung einer Seereise mit Passagieren doch etwas anders ab. Wahrscheinlich werden Sie berlegen, in welchem Rahmen die Reise stattnden soll: Ist es eine Kreuzfahrt durch planen Sie eine Expedition mit dem Eisbredie Karibik mit dem Ziel, sich zu erholen, oder cher in die Antarktis? Und mit Blick auf Ihre

erfahren Sie, warum eine Analyse der


gesellschaftlichen Herausforderung, der Bedarfe der Zielgruppe und des same Projektarbeit bildet. Projektumfelds die Basis fr eine wirk-

lernen Sie die fr die Bedarfs- und


und Fragestellungen kennen.

Umfeldanalyse relevanten Aspekte

Passagiere: Wen haben Sie an Bord? Und wie muss die Reise gestaltet sein, dass sie Ihren besten Hafen von Bord gehen? Sind Ihre Passagieren gefllt und diese nicht am erstGste vielleicht etwas nervs, weil dies ihre erste Schiffsreise ist und einige von ihnen nicht schwimmen knnen? Gibt es Personen, die leicht seekrank werden? Sie sehen: Bei der Planung einer Schiffsreise gilt es also, sowohl den Kontext der Reise im Auge zu

Wie entscheiden Sie, wie die Seereise gestaltet sein soll, wen Sie mitnehmen und welche Ausrstung an Bord sein muss? Buchen Sie fr die gesamte Gruppe eine Atlantikbereiner gelungenen Schiffsreise entspricht? von Ihrem Reiseziel und Ihrer Route mit

querung, weil dies nun mal Ihrer Vorstellung Oder statten Sie alle Passagiere unabhngig Regenmnteln aus, weil Sie davon gera-

haben, als auch die individuellen Bedarfe der Passagiere. Nicht anders ist das bei der Planung und Umsetzung von sozialen Projekten.

de eine grere Menge gnstig erwerben konnten? Nun, vermutlich luft die Pla-

12

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Gesellschaftliche Herausforderungen und die Situation vor Ort Ursachen und Auswirkungen des Problems Zielgruppen und ihre Bedarfe

Perspektiven der Bedarfs- und Umfeldanalyse

Bisherige Angebote und Frderlcken im Angebot

Stakeholder identizieren und einbeziehen

1.1 VOM BAUCHGEFHL ZUM WISSEN


Warum ist der Blick auf die (Ausgangs-) Situation, die Bedarfe und das Projektumfeld wichtig? Um die erwnschte Wirkung entfalten zu knnen, mssen Projekte auf die konkrete Situation vor Ort und die Bedarle gemeinntzige Organisationen, die schon lange in einem Themenfeld ttig sind, mag
Abb.: Dimensionen

diese Erkenntnis ein wenig banal erscheinen. stehende Projekte ist es sinnvoll, sich mit der Analyse der Bedarfe der Zielgruppe(n) sowie des Projektumfelds zu beschftigen.

der Bedarfsanalyse

Doch nicht nur fr neue, sondern auch fr be-

fe der Zielgruppe zugeschnitten sein. Fr vie-

Wichtig zu wissen: Die Bedarfs- und Umfeldanalyse hilft Ihnen dabei,


die Prioritten in Ihrer Projektarbeit richtig zu setzen. libusae reperi tet vellitat atem Die Bedarfs- und Umfeldanalyse dient dazu, festzustellen, ob fr ein Projekt berhaupt Bedarf elluptatus bestehtvelliquas und falls apientorro ja, wie dieser genau aussieht. Auf der Grundlage dieser Informationen sollten Organisationen und auch Geldminciam facipiet lab iunt, ipsunt geber entscheiden, welche Projekte sie aufsetzen, untersttzen oder eben nicht mehr untersttzen. optiore nihilitatus antio. der Zielgruppe Ihrer Arbeit ein mageschneidertes Projekt zur Verfgung zu stellen.harchilia excereperum. Die Menschen, an die sich soziale Projekte wenden, sollten das Angebot bekommen, das bestmglich auf ihre Situation und individuellen Bedarfe abgestimmt ist. Ein Programm, das genau auf die Bedarfe der Zielgruppe reagiert, hat gute Chancen, die erwnschte Wirkung zu erzielen.
Iciassitem. Em ut plandant Headline Marginalie

die wichtigen Stakeholder zu identizieren und in Ihre Arbeit einzubeziehen. Fr eine wirkungsorientierte Projektumsetzung ist es entscheidend, dass von Beginn an die wichtigen Stakeholder also diejenigen Personen, Personengruppen oder Institutionen, die von dem Projekt (positiv oder negativ) betroffen sind und/oder es beeinussen knnen eingebunden werden. Die Bedarfs- und Umfeldanalyse ist der ideale Zeitpunkt, die Stakeholder an Bord zu holen.
Fortsetzung auf S.14

13

Fortsetzung von S.13

die Grundlagen fr Monitoring und Evaluation zu legen. Im Rahmen von Monitoring und Evaluation werden die Informationen, die zu Beginn des Projekts erhoben wurden, als Referenzpunkt fr die im Projektverlauf erhobenen Daten genutzt. Ihre Ressourcen efzient und effektiv einzusetzen. In der Projektumsetzung trgt eine Bedarfsanalyse dazu bei, die Ressourcen an der richtigen Stelle und in der richtigen Hhe einzusetzen. die Qualitt der Arbeit in Ihrem Themenfeld und Projektumfeld voranzubringen. Wenn die erhobenen Informationen mit anderen Akteuren im Umfeld geteilt werden, kann dies auch bei anderen Organisationen zur hheren Wirkungs orientierung ihrer Arbeit fhren. die Qualitt Ihrer Arbeit gegenber Geldgebern darzustellen. Es spricht fr eine hohe Qualitt der Arbeit einer Organisation, wenn sie vor Beginn ihrer Arbeit die Bedarfe ihrer Zielgruppe identiziert und analysiert. Nutzen Sie daher die Bedarfs- und Umfeldanalyse als Grundlage fr die Mittelakquise.

1.2 DIE BEDARFS- UND UMFELDANALYSE IN DER PRAXIS


Aufgabe der Bedarfs- und Umfeldanalyse ist es also, systematisch Informationen zusammenzustellen und zu analysieren, um auf der Grundlage dieser Informationen das Projekt zu planen und umzusetzen.

keinen Einuss hat (zum Beispiel die Zahl

der angebotenen Ausbildungspltze)? Wie verndert sich das Projektumfeld? Entstehen neue Projekte im Themenfeld? Fallen bisherige Angebote weg?

Wann sollte eine Bedarfs- und Umfeldanalyse durchgefhrt werden?

Zu folgenden Zeitpunkten ist es sinnvoll, fhren:

eine Bedarfs- und Umfeldanalyse durchzu-

Eine Bedarfs- und Umfeldanalyse bildet

nicht nur die Grundlage fr die Konzeption eines neuen Projekts, sondern auch fr die sinnvolle Weiterentwicklung bestehender Projekte. Nicht selten kommt es im Laufe eines Projekts zu Vernderungen, auf die in der Projektgestaltung reagiert werden muss. Wird zum Beispiel die Zielgruppe grer oder kleiner? ndern sich ihre

vor Beginn eines Projekts, im regelmigen Turnus whrend der


Projektumsetzung, wie geplant luft,

wenn Daten aus Monitoring und Evalu wenn berlegt wird, ob das Projekt an
andere Orte verbreitet werden soll,

ation darauf hinweisen, dass etwas nicht

Zusammensetzung und damit ihre Bedarfe, mit Migrationshintergrund im Stadtteil gestiegen ist? Wie entwickeln sich die

weil zum Beispiel die Zahl der Jugendlichen

wenn innerhalb des bestehenden Pro entwickelt werden sollen, um Lcken zu schlieen.

jekts zustzliche Angebote passgenau

Faktoren, von denen der Projekterfolg (mit) abhngt, auf die das Projekt selbst aber
14 PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

WIRKUNG ANALYSIEREN

Fr wen und zu welchem Zweck soll die Analyse durchgefhrt werden?

Wie viel Aufwand bedeutet eine Bedarfs- und Umfeldanalyse?


WIRKUNG VERBESSERN

Das Ziel der Bedarfs- und Umfeldanalyse wohl es bei der Analyse immer um die

sollte von Anfang an klar sein, denn obBedarfe der Zielgruppen und das Projektumfeld geht, kann sich je nach ErkenntWird ein bundesweites Projekt geplant, nisinteresse der Fokus der Analyse ndern: bei dem der Initiator wissen mchte, wo

Bei der Bedarfs- und Umfeldanalyse geht es nicht darum, mit hohem Aufwand so viele Informationen wie mglich zu erhe-

ben. Sie mssen, zumindest in den meisten Fllen, keine umfangreiche wissenschaftliche Studie in Auftrag geben, bevor Sie Ihr Projekt konzipieren knnen. Es geht vielmehr darum, gezielt die In-

1 2 3

der erste Standort errichtet werden soll?

Mchte eine Frderstiftung wissen, wie die Informationsgrundlage ihre Frderent-

formationen zu sammeln, die notwendig sind, um darauf eine bedarfsorientierte Projektplanung aufzusetzen. Die Hhe des Aufwands ist vor allem davon abhngig, mationen zu bekommen. wie schwer es ist, die notwendigen Infor-

Bedarfslage vor Ort aussieht, um auf dieser scheidung zu treffen? Mchte eine bestenoch zeitgem ist? Ist eine Verbreitung und es soll festgestellt werden, ob und

hende Organisation wissen, ob ihr Projekt des Projekts an andere Standorte geplant wie das Projekt auch an anderen Stand-

Woher kommen die Informationen? Grundstzlich gibt es zwei Mglichkei-

orten seine Wirkung entfalten kann? Will eine neue Initiative vor Ort verstehen, an angebot noch Lcken gibt, die sie schlieAnalyse, zu welchem Zweck die Analyse welcher Stelle es im vorhandenen Projekten knnte? berlegen Sie daher vor der durchgefhrt wird und wie die gesammelten Informationen genutzt werden sollen, und investieren Sie gengend Zeit in die Erarbeitung der Fragestellungen.

ten, Informationen fr eine Bedarfs- und Umfeldanalyse zu sammeln. Es kann auf werden. Diese Mglichkeit sollten Sie, bereits vorhandene Daten zurckgegriffen wenn Informationen aus zuverlssiger

Quelle vorliegen, auf jeden Fall nutzen.

Wenn keine Daten existieren oder die be-

stehenden Informationen nicht ausreichen, mssen neue Daten erhoben werden. Die Mglichkeiten hierzu sind vielfltig und

reichen von sehr komplexen wissenschaft-

lichen Erhebungen bis hin zu Instrumenten, die vom Projektteam selbst auch mit wenig Vorkenntnissen und wenig Ressourcen angewendet werden knnen. In Teil 2

dieses Kursbuchs lernen Sie eine Reihe von Instrumenten der Datenerhebung kennen.

15

Fragestellungen der Bedarfsund Umfeldanalyse

Mglichkeit zu kooperieren? Wo kann es zu Konkurrenzsituationen kommen?

Um ein umfassendes Bild von der Ausgangsjektumfeld zu bekommen, sollten verschiewerden. Die folgenden Fragen sind fr die Bedarfs- und Umfeldanalyse zentral:

situation, den Bedarfen vor Ort und dem Prodene Fragestellungen in den Blick genommen

der gesellschaftlichen Herausforderung gibt es, und wie hngen sie zusammen? Im Folgenden wird auf diese fnf Fragen praxisnahe Tipps fr ihre Beantwortung gegeben.

Welche Ursachen und Auswirkungen

im Einzelnen eingegangen und es werden

Herausforderung, auf die das Projekt reagieren mchte? Ist diese so gro Situation vor Ort dar? wie angenommen? Wie stellt sich die

Was ist die gesellschaftliche

Das Ausma der gesellschaftlichen Herausforderung und die Situation vor Ort

jekts? Was brauchen die Leute?

Wer sind die Zielgruppen des Pro-

In einem ersten Schritt ist es sinnvoll, sich

einen berblick ber den Umfang der gesellund zum Beispiel festzustellen, wie viele

schaftlichen Herausforderung zu verschaffen Personen von dem Problem betroffen sind.

einbezogen werden?

Welche Akteure sollten in das Projekt

Informationen liefern hier zum Teil bereits bestehende Datenquellen. Dazu gehren unter anderem ofzielle Statistiken und Erhebungen. Regelmig erhobene Daten (z. B. Arbeitslosenzahlen) knnen zur Einscht-

Umfeld? Welche Ergebnisse haben diese geschlossen werden? Wo ergibt sich die

Welche Angebote gibt es bereits im

bisher erzielt? Welche Frderlcken sollten

zung der aktuellen Situation genutzt werden,

16

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

aber auch problematische Entwicklungen und Trends aufzeigen. Oft liegen diese Informationen jedoch nur in stark zusammengefasster Form vor, zum Beispiel als Durchschnittswerte fr die Bundesebene. Um Aussagen fr kleinere Einheiten wie Stdte oder Stadtteile treffen zu knnen, mssen Daten fr die

Projektbeispiel PAFF Die Initiatoren von PAFF haben bei den ersten berlegungen fr das Projekt unterschiedliche Informationsquellen genutzt. Zum einen

WIRKUNG PLANEN

verfolgten sie regelmig die Entwicklung der Jugendarbeitslosigkeit in Deutschland und in Ausbildungsmarkt. Gleichzeitig informierten sie sich intensiv ber die Situation im Stadtder Region sowie die Situation am regionalen

WIRKUNG ANALYSIEREN

jeweilige Situation vor Ort vorliegen, denn

diese kann sich von Ort zu Ort ganz erheblich unterscheiden. Neben der Anzahl der Betroffenen sollten Sie noch weitere Informationen wie demograsche Daten und Informationen zur Infrastruktur sammeln, damit Sie sich sagekrftiges Bild machen knnen. ber den knftigen Projektstandort ein aus-

teil. Hier konnten sowohl die Schulen als auch die rtlichen Jobcenter sowie das Jugendzentrum im Stadtteil eine Einschtzung der Lage vor Ort abgeben.

WIRKUNG VERBESSERN

1 2 3

Zum Teil knnen die Daten als direkte Ant-

Die Analyse der Informationen machte

worten auf die Fragestellung genutzt werden, manchmal liefern die vorliegenden Informadie Menge der kostenlos verteilten Schulessen ein Hinweis fr die soziale Situation der Kinder im Stadtteil sein. Hier die richtigen tionen nur Hinweise. So kann beispielsweise

deutlich, dass die Jugendarbeitslosigkeit im Stadtteil berdurchschnittlich hoch ist und gleichzeitig das Ausbildungsplatzangebot aufgrund der strukturellen und konjunktu-

rellen Situation vergleichsweise niedrig ist. Das Jugendzentrum vor Ort konnte weitere Informationen dazu liefern, wie sich diese

und fr die eigene Arbeit relevanten Informationen zu bekommen, kann zum Teil eine HeAustausch mit Organisationen, die bereits vor Ort ttig sind. rausforderung sein. Sehr hilfreich ist hier der

Situation auf die Lage im Stadtteil auswirkt, sigkeit gekennzeichnet ist.

die durch hohe Frustration und Perspektivlo-

Hier nden Sie Daten und Hintergrundinformationen


Sozialberichterstattung der amtlichen Statistik Die Sozialberichterstattung der amtlichen Statistik liefert vergleichbare Daten fr Bund und Lnder aus den Bereichen soziale Mindestsicherung sowie Armut und soziale Ausgrenzung. www.amtliche-sozialberichterstattung.de Sozialatlas Viele der groen Stdte (u. a. Berlin, Mnchen, Hamburg, Stuttgart) verffentlichen im Rahmen eines Sozialatlasses Daten ber die sozialrumlichen Entwicklung in den einzelnen Stadtteilen. Diese lassen sich im Internet nden, wenn man nach dem Schlagwort Sozialatlas und dem Namen der Stadt sucht. Daten des Statistischen Bundesamts (Destatis) Das Statistische Bundesamt stellt auf seiner Webseite eine Vielzahl von Daten bereit, unter anderem die Schulstatistik, die Berufsbildungsstatistik, die Kinder- und Jugendhilfe-Statistik und den Mikrozensus, der Daten zur Bevlkerungsstruktur sowie zur wirtschaftlichen und sozialen Lage der Bevlkerung liefert. www.destatis.de Statistiken der Bundesagentur fr Arbeit Daten zur Entwicklung des Arbeits- und Ausbildungsmarktes nden sich auf der Webseite der Bundesagentur fr Arbeit. http://statistik.arbeitsagentur.de Wegweiser Kommune Der Wegweiser Kommune stellt fr alle Kommunen Deutschlands mit mehr als 5.000 Einwohnern Daten zu den Themen demograscher Wandel, Wirtschaft & Arbeit, Wohnen, Bildung, Finanzen, soziale Lage und Integration sowie eine Bevlkerungsprognose bis 2030 auf Gemeinde- und Kreisebene bereit. www.wegweiser-kommune.de

17

Die Zielgruppe(n) und ihre Bedarfe

bei der direkten Zielgruppe bei und sollten

Strken und Potenziale im Blick haben


Situations- und Bedarfsbeschreibungen fokussieren hug sehr stark auf die Probleme und Dezite, auf die das Projekt mit seiner Arbeit reagiert. Natrlich ist es die Aufgabe von sozialen Projekten, Not zu lindern, Probleme anzupacken und in Situationen ttig zu sein, die oft alles andere als erfreulich sind. Fragen Sie aber auch:

Die Zielgruppe von Projekten sind EinzelOrganisationen) zumeist in geograsch eingegrenzten Bereichen wie Stdten,

daher mitbercksichtigt werden. So knnen die direkte Zielgruppe und deren Eltern die indirekte Zielgruppe sein.

personen oder Gruppen (Familien, Teams,

zum Beispiel in einem Patenprojekt die Kinder

Stadtteilen oder Landkreisen. Im Rahmen

der Bedarfsanalyse sollten Sie versuchen, die Zielgruppe Ihres Projekts so gut wie mglich einzugrenzen und zu beschreiben. Denn so knnen Projekte passgenau geplant und umgesetzt werden und die grtmgliche

Die Denition der Zielgruppe sollte nicht so weit gefasst sein, dass es schwerfllt, ein passgenaues Projekt aufzusetzen, aber Zielgruppe auf kaum jemanden zutrifft (es Projekt). Viele Projekte setzen auf untermehr als nur eine Zielgruppe (z. B. ein

auch nicht so eng, dass die Beschreibung der sei denn, es geht um ein sehr spezialisiertes schiedlichen Ebenen an und haben dadurch Projekt, das sich mit seiner Arbeit an Kinder

Wirkung erreichen. Bei der Beschreibung der Zielgruppe sollten Sie zum Beispiel folgende Fragen stellen: Wer sind die Mitglieder der Zielgruppe? Wie alt sind sie? Aus welchem

Wo liegen in einer

Situation und bei der Zielgruppe die Potenziale und Entwicklungsmglichkeiten?

Einzugsgebiet (Stadtteil, Landkreis) kommen sie? Wie ist ihre soziale Situation? Welchen Bildungsstatus haben sie? Haben sie einen Migrationshintergrund? Wie ist ihre nangen sehen sie sich gegenber? Wie ist ihre und Strken? zielle Situation? Welchen Herausforderunfamilire Situation? Wo liegen ihre Potenziale

richtet und gleichzeitig Lobbyarbeit fr Kinderrechte macht).

Weitere Stakeholder identizieren und einbeziehen

Wo haben die Teil-

nehmenden Strken und Ressourcen, die genutzt werden knnen?

Soziale Probleme sind meist komplex und

Was sind ihre Wnsche und Hoffnungen?


Die positive Sicht auf die Potenziale der Zielgruppe spielt eine wichtige Rolle bei der wirkungsorientierten Projektgestaltung.

werden von verschiedenen Stakeholdern unterschiedlich deniert und eingeschtzt. Die Problemdenition, die Zieldenition und die Projekt knnen daher ein komplexer Prozess sein. Fr eine erfolgreiche Planung und Umsetzung eines Projekts ist es daher wichtig, die relevanten Personen, Gruppen oder InsDurch eine Stakeholderanalyse nden Sie

Sinnvoll ist die Unterscheidung zwischen der direkten und der indirekten Zielgruppe. Bei der direkten Zielgruppe handelt es sich um des Programms direkt hinzielen und bei

Entwicklung einer Handlungsstrategie fr ein

diejenigen Personen, auf die die Aktivitten denen die Wirkung erzielt werden soll. Dabei kann es innerhalb der Zielgruppe Unterzielgruppen geben, die eine weitere Ausdifferenzierung des Angebots innerhalb des Projekts sinnvoll bzw. notwendig machen (z. B.

titutionen von Beginn an mit einzubeziehen. heraus, wer die relevanten Stakeholder fr Ihr Projekt sind und in welchem Verhltnis sie zu Ihrem Projekt stehen. Welche Erwartungen, Was sind die positiven oder negativen EinHoffnungen oder Befrchtungen haben sie? sse, die sie auf das Projekt haben knnen?

Zusatzangebote fr Kinder mit speziellen Frderbedarfen). Die indirekte Zielgruppe sind die Personen im Umfeld der direkten Ziel-

gruppe. Sie tragen oft zum Erfolg des Projekts

18

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Projektbeispiel PAFF Die direkte Zielgruppe bei PAFF sind die Jugendlichen, die das Projekt auf ihrem Weg in

WIRKUNG ANALYSIEREN

die Ausbildung begleitet. PAFF wendet sich dabei gezielt an die Schler der Hauptschule im Stadtteil, bei denen davon auszugehen ist, dass sie ohne individuelle Untersttzung den Schritt in den Beruf nicht schaffen wrden. Die Einschtzung der Bedarfe stammt von den Lehrern und der Selbsteinschtzung der Jugendlichen. Die meisten der Jugendlichen stammen aus bildungsfernen Familien, viele von ihnen haben einen Migrationshintergrund. Bewusst hat sich PAFF dafr entschieden, bereits Schler in der vorletzten Klasse zu betreuen, weil die Erfahrung in anderen Projekten gezeigt hat, dass der Zeitraum des letzten Schuljahrs oft zu kurz ist, um den individuellen Bedarfen gerecht zu werden.

WIRKUNG VERBESSERN

1 2 3

Wichtig fr den Projekterfolg von PAFF ist es, dass die Bedarfsanalyse fr jeden Teilneh-

menden individuell erfolgt. Vor Beginn der Patenschaft werden die individuellen Bedarfe zeitig verfolgen die Projektverantwortlichen aber auch, wie sich die Bedarfe der Schler an Nachhilfe im Fach Deutsch hher als in anderen. PAFF versucht, mit entsprechenden Angeboten darauf zu reagieren.

der Jugendlichen detailliert im Rahmen von Gesprchen und Fragebgen erhoben. Gleichvon Jahrgang zu Jahrgang verndern. So ist in einigen Jahrgngen zum Beispiel der Bedarf

Nach Beginn des Projekts wurde schnell deutlich, dass PAFF seine Wirkung nur entfalten

kann, wenn die Eltern der Jugendlichen deren Teilnahme am Projekt untersttzen. Daher nahmen umgesetzt, um sie mit an Bord zu haben.

wurden die Eltern als indirekte Zielgruppe identiziert, und es werden verschiedene Ma-

Neben den Zielgruppen sind weitere Stakeholder innerhalb des Projekts die Projektleitung und die Projektmitarbeitenden. Stakeholder auerhalb des Projekts sind

Vorlage Stakeholderanalyse:

Die Tabelle auf der folgenden Seite hilft Ihnen dabei, einen berblick ber Ihre Stakeholder zu gewinnen und darber, welchen Einuss fr das Projektbeispiel PAFF beispielhaft ausgefllt.

Geldgeber, politische Entscheidungstrger, Organisationen, Personen, die von dem

Vertreter der ffentlichen Verwaltung, andere Projekt indirekt betroffen sind, Brgerinitiativen, Vertreter von Interessengruppen und Betroffenenvereinigungen.

sie auf Ihr Projekt haben (knnen). Sie wurde

Unter www.phineo.org/publikationen nden Sie im Download zu diesem Kursbuch ein leeres Template zum Ausfllen fr Ihr eigenes Projekt.

19

Stakeholder

Auf welche Weise sind diese Personen/Gruppen mit dem Projekt verbunden? Welche Erwartungen haben sie an das Projekt?

Welchen positiven Einuss knnen sie auf den Projekterfolg haben? Wo liegen ihre Potenziale?

Welchen negativen Einuss knnen sie auf den Projekterfolg haben? Wo liegen ihre Schwchen?

Welche Konsequenzen ergeben sich fr das Projekt? Wie soll dieser Stakeholder eingebunden werden?

Zielgruppen
Jugendliche (direkte Zielgruppe)
1:1 Patenschaft und Teilnahme an Angeboten des Projekts (Nachhilfe, Bewerbungstraining etc.) erwarten Untersttzung beim Schritt in die Ausbildung zum Teil hohe Motivation, den Schritt in die Ausbildung zu schaffen und Projektangebote zu nutzen uern sich gegenber Dritten positiv ber das Projekt zum Teil evtl. niedrige Motivation, geringe Frustrationstoleranz kann sich negativ auf Projekterfolg und auf Motivation der Paten auswirken regelmige Feedbackmglichkeit geben

(indirekte Zielgruppe)

Eltern

mssen der Teilnahme ihrer Kinder am Projekt zustimmen Im positiven Fall erwarten sie, dass das Projekt ihren Kindern hilft. Im negativen Fall haben sie keine Erwartungen an das Projekt.

knnen ihre Kinder darin bestrken, am Projekt teilzunehmen und sich um ihre beruiche Zukunft zu kmmern

knnen die Teilnahme der Kinder am Projekt verhindern Ihre Haltung zum Projekt kann sich negativ auf die Motivation der Kinder auswirken.

mssen einbezogen werden, damit sie ein Verstndnis fr das Projekt entwickeln und die Teilnahme ihrer Kinder frdern oder zumindest nicht behindern

weitere Stakeholder
bernehmen die Patenschaft fr Schler mchten Jugendliche untersttzen mchten ihre Freizeit sinnvoll durch Ehrenamt gestalten schlagen Schler aus ihrer Klasse fr die Teilnahme am Projekt vor tauschen sich mit Paten ber die Jugendlichen aus erwarten vom Projekt, dass Schler individuell gefrdert werden sichern Finanzierungsbedarf des Projekts sind als Paten zentral an der individuellen Entwicklung der Jugendlichen beteiligt knnen weitere Paten anwerben und positiv ber das Projekt berichten knnen Schler motivieren, am Projekt teilzunehmen knnen durch ihr Wissen ber die Schler deren individuelle Frderung untersttzen Wenn den Paten die Kompetenzen und die Vorbereitung fr ihre Ttigkeit fehlen, kann sich das negativ auf die Jugendlichen und den Projekterfolg auswirken. Wenn sie nicht vom Projekt berzeugt sind, stellen sie ihre Untersttzung ein. haben wenig Ressourcen, sich fr das Projekt zu engagieren mssen vor bernahme einer Patenschaft geschult werden mssen whrend der Patenschaft Untersttzung und die Mglichkeit zu Austausch und Feedback haben mssen regelmig einbezogen werden (durch Paten und Projektleitung)

Lehrer

Paten

(potenzielle) Ausbildungsbetriebe

Geldgeber

knnen weitere Finanzierungsmittel zur Verfgung stellen knnen positiv ber das Projekt berichten

Streichung oder Krzung der Untersttzung

mssen regelmig einbezogen und informiert werden

stellen Ausbildungspltze zur Verfgung

geben Jugendlichen aus Projekt Ausbildungspltze ermglichen Praktika

kooperieren nicht

mssen vom Mehrwert des Projekts berzeugt werden, mit Paten zusammenarbeiten und, wo gewnscht, von der Projektleitung untersttzt werden

andere Organisationen im Themenfeld / vor Ort

bieten Angebote im gleichen Themenfeld an

Synergien durch Kooperation

Konkurrenz

Austausch in regelmigen Abstnden bzw. bei Bedarf

STAKEHOLDERANALYSE
stellt Broraum fr die Projektleitung zur Verfgung stellt Ressourcen zur Verfgung berichtet ber das Projekt Streichung oder Krzung der Untersttzung kein inhaltlicher Einuss auf das Projekt Austausch in regelmigen Abstnden bzw. bei Bedarf

Stadtverwaltung
20

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Bisherige Angebote und Frderlcken im Umfeld

Practices) in den Blick genommen werden, und man sollte berlegen, ob das bereits voll an den eigenen Standort bertragen werden kann ( Kap. 10). bewhrte Konzept (oder Teile davon) sinn-

WIRKUNG ANALYSIEREN

Kaum ein Projekt ndet auf der grnen Wiese statt. In sehr vielen Fllen gibt es vor Ort schon Organisationen, die in Ihrem der Bedarfe bei den Zielgruppen sollten

WIRKUNG VERBESSERN

Themenfeld ttig sind. Neben der Erfassung Sie auch diese bereits bestehenden Angebote und deren Lsungsanstze in den Blick nehFrderlcken zu identizieren und diese men. Neue Projekte sollten versuchen, gezielt zu schlieen. Dabei kann es sich sowohl um inhaltliche Lcken als auch um die unzureihandeln. Hier stellt sich die Frage, an chende quantitative Abdeckung des Bedarfs welchen Stellen es sinnvoll ist, Kooperationen aufzubauen. Gleichzeitig herrscht aufgrund der hohen Projektdichte an nicht wenigen

Ursachen und Auswirkungen des

Problems verstehen: der Problembaum


In den meisten Fllen sind soziale Probleme

1 2 3

so vielschichtig, dass sich ein Projekt nur mit der Lsung eines seiner Teilaspekte beschftigen kann. Diese Fokussierung ist sinnvoll, denn so knnen Ressourcen und Kompetenwirkungsorientierte Steuerung des Projekts ist es jedoch wichtig, das Problem in seiner Wann und wie werden die Stakeholder einbezogen?

zen zielgerichtet eingesetzt werden. Fr die

Komplexitt zu erfassen und sich darber im

Stellen auch Konkurrenzdruck zwischen den Organisationen, und es mssen hier individuelle Wege gefunden werden, wie damit sinnvoll umgegangen werden kann.

Klaren zu sein, welchen Einuss die einzelnen Faktoren eines Problems aufeinander haben. So wird beispielsweise der Erfolg eines ProSchule in die Ausbildung untersttzt, ganz

jekts, das Jugendliche auf ihrem Weg von der entscheidend davon abhngen, ob in der Region berhaupt Ausbildungspltze in ausreichender Zahl vorhanden sind. Ein ntzliches Werkzeug zur Analyse eines Problems mit

Auf der Suche nach einem passenden Projektkonzept sollten auch bestehende erfolgreiche Lsungsanstze im Themenfeld (Best

Projektbeispiel PAFF Die Projektverantwortlichen von PAFF haben sich vor Projektbeginn einen berblick verschafft, welche berufsvorbereitenden Projekte es fr die Schler der rtlichen Hauptschule bereits gibt. Die Projektverantwortlichen haben dafr im Internet recherchiert und sich mit anderen Organisationen sowie der Schulleitung der Hauptschule im Stadtteil ausgetauscht. Dabei wurde deutlich, dass es bislang an einer individuelle Frderung fehlte, wie PAFF dies mit seinem Patenschaftsmodell tut. Anregungen fr das Projektkonzept holte sich PAFF bei bereits erfolgreich umgesetzten Patenschaftsprojekten. Die Projektverantwortlichen nutzten hier neben dem persnlichen Austausch Leitfden, die im Internet zur Verfgung stehen, und besuchten einige Konferenzen zum Thema Untersttzung von Jugendlichen beim bergang von der Schule in den Beruf.

Versuchen Sie, Ihre Zielgruppen und die weiteren Stakeholder so frh wie mglich in das Projekt einzubeziehen. Das trgt zum einen dazu bei, dass Sie das Wissen und die Erfahrung der Stakeholder sowie die Bedarfe und Wnsche der Zielgruppe in die Projektkonzeption einbeziehen knnen. Zum anderen identizieren sich die Stakeholder leichter mit einem Projekt, wenn sie von Anfang an mit an Bord sind. Dies steigert auch die Bereitschaft, sich fr das Projekt zu engagieren. Geben Sie den Zielgruppen und den weiteren Stakeholdern also eine aktive Rolle sowohl bei der Planung als auch in regelmigen Abstnden bei der Umsetzung des Projekts. Im Kapitel zur Datenerhebung werden verschiedene Mglichkeiten vorgestellt, wie Sie Ihre Zielgruppe und die Stakeholder systematisch einbeziehen knnen.

21

Problembaum
Auswirkungen
Steigende Soziale Probleme im Stadtteil Vermehrter Drogenmissbrauch

Sozialausgaben

Hoher Prozentsatz an gern im Stadtteil

Sozialleistungsempfn-

Erhhte Gewaltbereitschaft Abwanderung Psychische Probleme

Erhhte

Suchtgefahr

Prekre nanzielle

Lage der Jugendlichen Problem auf gesellschaftlicher Ebene

Jugendliche haben keine Perspektive

Problem / Herausforderungen

Hohe Jugendarbeitslosigkeit im Stadtteil Jugendliche bekommen keinen Ausbildungsplatz


Jugendliche wissen nicht, wie man sich richtig Jugendliche haben keinen oder schlec hten Schulabschluss
Wenig Ausbildungspltze in der Gegend

Problem auf Ebene der Zielgruppe

bewirbt

Jugendlichen fehlen die ntigen Sozialkompetenzen

Es werden keine angeboten

Bewerbungstrainings

Erziehungs Mangelnde rn te El der kompetenz

Schlechte schulische Leistungen

Geringe aft Bereitsch auszubild

en

Betrieben

Schlieung und Abwanderung von

de KapaMangeln , er Schule d zitten dliche um Jugen bungen er auf Bew ten ei er b vorzu

vorzubereiten

um Jugendliche auf Bewerbungen

lischen Angebote,

Keine auerschu-

Gering e Unte rsttzung b ei Belang schulischen en durc h Familie n

Keine erschwinglichen Nachhilfeangebote im Stadtteil

Schlechte Erfahrung mit Azubis

konjunkschlechte d strukturelle un ge in der La lle ture n Regio

Niedriger Bildung sstand bei den Familie n

Familien mit Migrationshintergrund

Keine Untersttzung der Unternehmen bei

der Arbeit mit Azubis

Ursachen

StellenNiedriger ildung B n vo t wer ilie m Fa in der

Lsungsbaum auf Seite 29

22

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN seinen Ursachen und Auswirkungen ist der

so genannte Problembaum. Auf der linken

Seite zeigen wir am Projektbeispiel PAFF, wie

ein solcher Problembaum entwickelt wird. Die fr die Erstellung des Problembaums notwendigen Informationen ergeben sich dabei aus analyse gesammelt wurden. Im darauffolden Daten, die bei der Bedarfs- und Umfeldgenden Kapitel stellen wir dar, wie auf der

Probleme richtig formulieren

Basis des Problembaums der Lsungsbaum erarbeitet wird, der eine gute Grundlage fr der Ziele des Projekts ist. die Entwicklung des Handlungsansatzes und

Das Kernproblem sollte als eine bestehende negative Situation aus Sicht der Zielgruppe formuliert werden: Die Jugendlichen nden nach ihrem Schulabschluss keinen Ausbildungsplatz. Ein huger Fehler bei der Formulierung von Problemen ist, dass das Problem als ein Fehlen einer bestimmten Lsung ausgedrckt wird, z. B. der Mangel an Ausbildungspltzen. Solch eine Problemformulierung sollte deswegen vermieden werden, weil sie bereits eine bestimmte Problemlsung vorgibt (in diesem Fall: mehr Ausbildungspltze zu schaffen), ohne geprft zu haben, ob dies berhaupt der (einzige) Erfolg versprechende Lsungsweg ist oder ob der Mangel an Ausbildungspltzen nur eine von mehreren Ursachen des Kernproblems darstellt. Quelle: vgl. VENRO (2002: 9)

So gehts: Die Erstellung des Problembaums


Schritt 1: Das Kernproblem / die zentrale Herausforderung denieren Im ersten Schritt sollten Sie fragen, was das Kernproblem/die zentrale Herausforderung ist, zu dessen/deren Lsung Ihr Projekt beitragen soll. Hier ist es wichtig, dass Sie mit den beteiso spezisch wie mglich zu beschreiben. Das Problem Hohe Arbeitslosigkeit bei jungen ligten Stakeholdern Einigkeit darber erzielen, was das Kernproblem ist. Versuchen Sie, dieses Menschen kann zu breit sein, um ein spezisches Projekt dagegen aufzusetzen. Besser wre hier: Jugendliche nden nach ihrem Schulabschluss keinen Ausbildungsplatz. Damit ist die Zielgruppe schon etwas eingegrenzt und ein relativ konkreter Zeitraum (zwischen letztem Teilnehmende: Bei der Erarbeitung des Problembaums sollten die relevanten Stakeholder und, falls notwendig, Fachleute einbezogen werden. Zeitbedarf: einige Stunden bis ein Tag

Schuljahr und Beginn der Ausbildung) festgelegt, innerhalb dessen das Projekt ansetzen kann. Schritt 2: Ursachen und Auswirkungen identizieren

Im zweiten Schritt erarbeiten Sie die Ursachen und Auswirkungen des Kernproblems. Dabei

mssen die einzelnen Ursachen und Auswirkungen als negative Aussagen formuliert werden

(z. B. Jugendliche haben keine ausreichenden Sozialkompetenzen, wenig Ausbildungspltze in der Region, Perspektivlosigkeit, hohe Gewaltbereitschaft). Die direkten Ursachen des Kernproblems werden in der Zeile unterhalb des Kernproblems festgehalten. In der Zeile

darunter werden die Ursachen der Ursachen angebracht. Die direkten Auswirkungen werden in der Reihe oberhalb des Kernproblems festgehalten. Die Auswirkungen der Auswirkungen werden in einer zweiten Reihe darber angebracht. Insofern wchst der Problembaum so lange nach oben und unten, bis keine weiteren Ursachen bzw. Auswirkungen identiziert werauf Zetteln (z.B. mit Post-It-Stickern) an die Wand geklebt. Wo es Zusammenhnge zwischen den Ursachen beziehungsweise Auswirkungen gibt, werden diese mittels Querverbindungen lichen Lcken hin berprft und gegebenenfalls berarbeitet werden.

den knnen. Dabei werden das zentrale Problem sowie die Ursachen und Auswirkungen jeweils

dargestellt. Der fertige Problembaum muss nun auf seine logischen Zusammenhnge und mg-

Quelle: http://evaluationtoolbox.net.au

23

Mit folgender Checkliste knnen Sie berprfen, ob Sie die zentralen Fragen der Bedarfs- und Umfeldanalyse beantwortet haben: ja Wurde das Problem klar deniert? Ist vollstndig klar geworden, wo die Ursachen des Problems liegen? Wurde deutlich, welche Auswirkungen das Problem hat? Wurden der Umfang und das Ausma des Problems klar? Wurde deutlich, wer die Zielgruppe ist? Wurde die Situation der Zielgruppe vollstndig verstanden? Wurden die Bedarfe der Zielgruppe vollstndig verstanden? Wurden das Problem und die Bedarfe so gut verstanden, dass auf dieser Grundlage das Projekt entwickelt werden kann? Wurden Erfahrungen aus frheren Programmen genutzt? Wurden die Frderlcken identiziert? nein Bemerkung

24

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

2. DIE WIRKUNG IN DEN BLICK NEHMEN WIRKUNGSZIELE SETZEN

In diesem Kapitel erfahren Sie,

nicht erreichen. Ob Sie in die Antarktis oder zu einer Sdseeinsel segeln wollen, macht Reise und auch deren Umsetzung. Und Sie einen groen Unterschied fr die Planung der knnen die Segel erst dann richtig setzen und die Ausrstung fr die Reise erst dann passend auswhlen, wenn Sie wissen, welches

warum die Zielklrung wichtig fr die warum der Unterschied zwischen


Wirkungszielen es gibt. liert werden. fhrung des Projekts ist.

wirkungsorientierte Planung und Durch-

Aktivitten und Wirkungen wichtig ist

und welche verschiedenen Ebenen von

Ziel Sie ansteuern wollen und welchen Kurs

wie Wirkungsziele erarbeitet und formu wie aus den verschiedenen Mglichausgewhlt werden kann. keiten, die Wirkungsziele zu erreichen, der Handlungsansatz fr das Projekt

Sie whlen mssen, um dort hinzugelangen. Im vorhergehenden Kapitel wurde beschrieben, wie Bedarfe erhoben und analysiert werden. Durch die Bedarfs- und Umfeldgegen das sich das Projekt wendet oder

analyse wurde festgestellt, ob das Problem, wenden mchte, so gro und relevant ist, wie angenommen, und wie es sich genau darstellt. Auf Grundlage dieser Informatio-

Wrden Sie in See stechen, bevor Sie wissen, wohin die Reise gehen soll? Wenn Sie sich ber ihr Ziel erst klarwerden, wenn Sie bereits unter vollen Segeln unterwegs sind, riskieren Sie, dass Sie mit hohem Aufwand den Kurs anpassen und Umwege in Kauf nehmen mssen oder schlimmstenfalls Ihr Ziel berhaupt

nen werden die Ziele des Projekts erarbeitet. einigen, wohin die Reise des Projekts

Hier geht es darum, dass sich die Stakeholder fhren soll: Wo wollen wir hin? Was soll fr

die Zielgruppe(n) erreicht werden? Wann sind


25

Wichtig zu wissen: Die Auseinandersetzung mit Wirkungszielen hilft Ihnen dabei


Orientierung zu gewinnen Wenn im Rahmen des Planungsprozesses formuliert wurde, was das Projekt bewirken soll, fllt es leichter, das Projekt auf Kurs zu halten. Denn wenn Wirkungsziele partizipativ erarbeitet werden, schafft dies bei den Projektbeteiligten ein gemeinsames Verstndnis fr das Projekt und gibt Orientierung fr die Projektarbeit. Wichtig ist das sowohl bei strategischen Entscheidungen als auch in Entscheidungssituationen im Projektalltag. die Grundlagen fr die Wirkungsanalyse zu legen Ohne Wirkungsziele sind ein wirkungsorientiertes Monitoring und Evaluation nicht mglich. Die gesetzten Ziele helfen, im Rahmen der Wirkungsanalyse die richtigen Fragen zu stellen und die richtigen Indikatoren zu nden. Ihre Mitarbeitenden zu motivieren Innerhalb des Projekts geben klare und realistische Wirkungsziele den hauptund ehrenamtlichen Mitarbeitenden und auch den Teilnehmenden Orientierung und Motivation. Denn wenn die Mannschaft das Ziel des Projekts kennt und sich damit identiziert, hilft dies, auch bei Durstrecken die Krfte zu bndeln und dranzubleiben. Und Passagiere, die das Ziel der Reise kennen, knnen sich besser auf die Reise einstellen und aktiv zu deren Gelingen beitragen. die Qualitt Ihrer Arbeit nach auen darzustellen Die Stakeholder (darunter vor allem auch die Geldgeber) haben ein Interesse daran und ein Recht darauf, zu erfahren, was in dem von ihnen untersttzten Projekt passiert und wofr die zur Verfgung gestellten Mittel verwendet werden. Inspirierende Ziele knnen dabei helfen, neue Frderer oder ehrenamtliche Mitarbeitende zu gewinnen. Nutzen Sie daher die Wirkungsziele Ihres Projekts fr die ffentlichkeitsarbeit und die Mittelakquise.

wir mit unserer Arbeit erfolgreich? Und vor bei der Zielgruppe bewirkt? Der Fokus bei

allem: Wann hat unsere Arbeit wirklich etwas

Wichtig zu wissen: Ziele in bestehenden Projekten


Die Auseinandersetzung mit den Wirkungszielen ist keine einmalige Aufgabe in der Planungsphase eines Projekts. Auch fr bestehende Projekte ist es wichtig, ihre Wirkungsziele regelmig zu reektieren. Denn die Bedarfe der Zielgruppen und das Umfeld des Projekts knnen sich ndern und es notwendig machen, dass die Ziele hinterfragt und eventuell angepasst werden mssen.

der Zielndung liegt also auf den sogenannten Wirkungszielen. Im darauf folgenden Schritt wird dann festgelegt, auf welchem Weg die Wirkungsziele zu erreichen sind. Dies geschieht durch die Erarbeitung der ( Kap. 3 ).

sogenannten Wirkungslogik fr das Projekt

2.1 WIRKUNGSZIELE SETZEN: NOTWENDIG UND NTZLICH


Bei einem Projekt verhlt es sich hnlich wie orientiert ausgerichtet und umgesetzt werbei der Seereise: Es kann nur dann wirkungsden, wenn klar ist, wohin die Reise gehen, beziehungsweise was das Projekt bewirken trivial erscheinen. Oft wird stillschweigend davon ausgegangen, dass die Ziele eines Projekts so offensichtlich sind, dass ein soll. Die Erkenntnis mag auf den ersten Blick

Prozess der Zielndung gar nicht notwendig

ist. In der Realitt trifft man jedoch hug auf Projekte, bei denen die Frage nach den Zielen nicht ausreichend geklrt ist.

Die Erarbeitung von Wirkungszielen ist ein sehr wichtiger Schritt im Rahmen der wirkungsorientierten Projektarbeit. Widmen

Sie ihm daher besondere Aufmerksamkeit! Denn der Aufwand, der in eine sorgfltige Erarbeitung der Wirkungsziele iet, wird lauf auszahlen.

sich auf jeden Fall im gesamten Projektver-

26

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

2.2 WIRKUNGSZIELE ERARBEITEN UND FORMULIEREN


Vom Problembaum zum Lsungsbaum
Wirkungsziele lassen sich gut anhand des so

Wirkungszielen aber zwei Unterscheidungen von zentraler Bedeutung: Zum einen fllt es vielen Organisationen oft

WIRKUNG ANALYSIEREN

schwer, ihre Wirkungsziele von ihren (geplanten) Aktivitten abzugrenzen. Zum anderen nen Ebenen der Wirkungsziele, nmlich den und den Wirkungszielen auf gesellschaftliist es wichtig, zwischen den zwei verschiedeWirkungszielen auf Ebene der Zielgruppe(n) cher Ebene, zu unterscheiden. Beide Unter-

WIRKUNG VERBESSERN

genannten Lsungsbaums erarbeiten. Der Lsungsbaum entsteht, indem die negativen Aussagen aus dem Problembaum ( Kap. 1) in positive Aussagen der angestrebten

1 2 3

Situation umgewandelt werden. So wird zum chenden Sozialkompetenzen Jugendliche haben ausreichende Sozialkompetenzen. Wenn der Lsungsbaum fertiggestellt ist, sollte er auf Lcken und Unklarheiten berprft werden und gegebenenfalls berarbeitet werden, wobei hier auch ein nochmaliger Blick auf den Problembaum hilfreich sein kann.

Beispiel aus Jugendliche haben keine ausrei-

scheidungen werden im Folgenden erlutert: Von den Aktivitten zu den Wirkungen In der Projektarbeit lag der Fokus lange auf des Projekts, also dem, was im Projekt tut. Nicht zuletzt deshalb fllt vielen

Stakeholder einbeziehen!
Nur wenn die Stakeholder ein gemeinsames Verstndnis der Wirkungsziele haben und diese von allen mitgetragen werden, kann ein Projekt dauerhaft wirkungsorientiert umgesetzt werden. Bei der Erarbeitung der Wirkungsziele zu Beginn des Projekts sowie deren regelmiger Reexion whrend des Projekts sollten die Stakeholder des Projekts unbedingt einbezogen werden! Zum einen bringen sie Wissen und unterschiedliche Perspektiven ein und knnen so zu einer reektierten und realistischen Zielsetzung beitragen. Zum anderen ist es fr die Motivation der Stakeholder und ihre Identikation mit dem Projekt und seinen Zielen sehr wichtig, dass Ziele nicht von oben gesetzt, sondern partizipativ erarbeitet werden. Besonders gilt dies fr die haupt- und ehrenamtlichen Mitarbeitenden. Gleichzeitig sollten die Zielgruppen des Projekts so stark wie mglich eingebunden werden: Die Ziele sollten nicht fr sie, sondern mit ihnen erarbeitet werden!

dem Bereich der Aktivitten und Leistungen passiert beziehungsweise was das Projekt Projekten die Unterscheidung zwischen den

Wirkungsziele erarbeiten
Auf Grundlage des Lsungsbaums lassen sich nun die Wirkungsziele fr Ihr Projekt ableiten und formulieren. Wenn ber Ziele gesprochen wird, werden Beispiel: Oberziele, Unterziele, Leitziele,

Aktivitten (Leistungen) und den Wirkungen, also dem, was das Projekt durch seine Aktivitten (Leistungen) bewirkt, oft schwer. Gegenber den Stakeholdern (und hier vor

allem den Geldgebern) wird daher in vielen Fllen berichtet, welche und wie viele Leiswerden beschrieben und in einigen Fllen tungen das Projekt anbietet, die Aktivitten die Teilnehmenden gezhlt. Es ist richtig und wichtig, diese Informationen aufzubereiten und zu kommunizieren. Aus der Sicht der

oft verschiedene Begriffe genutzt wie zum Mittlerziele, Detailziele, Projektziele, gesellschaftliche Ziele etc. Gerade beim Ausfllen von Projektantrgen knnen diese Unterscheidungen sehr relevant sein, und leider

wirkungsorientierten Projektarbeit fehlt hier jedoch die Antwort auf die entscheidende unserer Arbeit? Das ist die Frage nach der Frage: Welchen Unterschied machen wir mit Wirkung des Projekts. Nachweise fr die Wirkung eines Projekts sind nicht immer leicht zu nden und zu erheben. Aus diesem Grund tendieren Organisationen dazu, sich auf die Beschreibung von Aktivitten zu konzen-

kann Ihnen niemand die Aufgabe abnehmen, fen und fr den Einzelfall herauszunden,

sich durch den Begriffsdschungel zu kmpwie die Begriffe im jeweiligen Zusammen-

hang genutzt werden. Unabhngig von der

verwirrenden Nutzung der Begrifichkeiten

sind fr die Erarbeitung und Darstellung von

27

trieren. Doch Organisationen, die mit ihrer Arbeit wirklich einen Unterschied machen wollen, mssen sich mit ihren Wirkungszielen auseinandersetzen. Gut formulierte und klar von den Aktivitten abgegrenzte Wirkungsentierte Projektumsetzung und -steuerung. Gleichzeitig werden auch im Rahmen von ziele sind die Grundlage fr die wirkungsori-

erreicht wurde, so kann dieser Erfolg (zumindes Projekts zurckgefhrt werden.

dest zu einem groen Teil) auf die Leistungen

Wichtig zu issen:

Aktivitt Wirkung

Wirkungsziele auf gesellschaftlicher Ebene

beschreiben die langfristigen Wirkungen, die weise beeinusst werden. Wirkungen auf dieser Ebene knnen in den allermeisten

durch das Projekt (mit) ausgelst beziehungs

Projektantrgen und Projektberichten zustzlich zu den Beschreibungen der Aktivitten und Leistungen immer mehr Informationen erreicht wurden, verlangt.

Fllen nicht ausschlielich auf die Leistungen des Projekts zurckgefhrt werden, sondern unterliegen verschiedenen Einussfaktoren. In Bezug auf das einzelne Projekt knnen Wirkungsziele auf gesellschaftlicher Ebene Projekt trgt dazu bei, dass. Die Wirkungsziele auf gesellschaftlicher Ebene

ber die Wirkungsziele und darber, ob diese

Verschiedene Arten von Wirkungszielen


Wenn Sie sich mit den Wirkungszielen Ihres de Fragen stellen:

demnach wie folgt formuliert werden:Das

Projekts beschftigen, sollten Sie sich folgen-

stehen in engem Zusammenhang mit der des Projekts.

Vision der Organisation beziehungsweise

Welche Zielgruppe(n) wollen wir erreichen? Was soll das Projekt bei der Zielgruppe
verndern?

Wirkungsziele formulieren
Nachdem Sie die Wirkungsziele identiziert in Ihrer wirkungsorientierten Projektarbeit nutzen knnen. Das bedeutet, dass die Wirkungsziele in eine Form gebracht entwickelt werden knnen ( Kap. 5), analyse ( Kap. 6) bilden.

Zu welchen Zielen auf gesellschaftlicher


Ebene soll das Projekt beitragen? Anhand dieser Fragen wird deutlich, dass sich Wirkungsziele auf unterschiedliche Ebenen beziehen knnen. Es lassen sich

haben, formulieren Sie diese so, dass Sie sie

Wirkungsziele auf Ebene der Zielgruppe und unterscheiden.

werden mssen, auf deren Basis Indikatoren welche die Grundlage fr die Wirkungs-

Wirkungszielen auf gesellschaftlicher Ebene

Wirkungsziele auf Ebene der Zielgruppe be-

schreiben die erwnschten Wirkungen bei der Zielgruppe des Projekts. Sie beschreiben den Nutzen des Projekts fr die Zielgruppe und

Bei der Formulierung der Wirkungsziele Sie Folgendes beachten:

fr die Zielgruppe(n) Ihres Projekts sollten

die Vernderungen, die durch das Projekt bei der Zielgruppe erreicht werden sollen. Wenn ein Wirkungsziel auf Ebene der Zielgruppe

Konzentrieren Sie sich an dieser Stelle

zunchst auf das zentrale Wirkungsziel Ihres Projekts. Damit ist das Ziel gemeint, auf das

28

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Lsungsbaum
Sinkende Wenig soziale Weniger Drogenmissbrauch

Sozialausgaben

Probleme im Stadtteil

Niedriger Prozentsatz im Stadtteil

an Sozialhilfeempfngern Jugendliche bleiben in der Region

Niedrigere Gewaltbereitschaft Weniger psychische Probleme

Niedrigere Suchtgefahr

Stabilere nanzielle

Lage der Jugendlichen

haben Perspektiven Wirkungsziel auf gesellschaftlicher Ebene Wirkungsziel auf gesellschaftlicher Ebene

Jugendliche

Niedrigere Jugendarbeitslosigkeit im Stadtteil


Wirkungsziel auf Ebene der Zielgruppe

Jugendliche bekommen einen Ausbildungsplatz

Boxen mit grner Kontur: Projektanstze unseres Beispielprojektes PAFF

Jugendliche wissen , wie man sich richtig bew irbt

Sozialkompetenzen

die notwendigen

Jugendliche haben

besseren Schulabsc hluss

Jugendliche haben einen bzw. einen

Mehr Ausbildungspltze in der Gegend

Es werden Bewerbungstrainings angeboten

gse Erziehun Verbessert der Eltern kompetenz

Verbesserte schulis che Leistungen

Hhere aft, Bereitsch en auszubild

Betriebe bleiben in der Region

Hherer Bildungsstand bei den Familie n

Familien mit Migrationshintergrund

Untersttzung der Unternehmen bei der Arbeit mit Aziubis

Problembaum auf Seite 22

ellenHherer St ildung B n wert vo ilie in der Fam

Mittel fr die Zielerreichung


29

de KapaAusreichen , er Schule zitten d e h lic d um Jugen bungen auf Bewer ten vorzuberei

vorzubereiten

Jugendliche auf Bewerbungen

Angebote, um

Ausserschulische

Strke re Unte rsttzung b ei Belang schulischen en durc h Familie n

Erschwingliche Nachhilfeangebote im Stadtteil

Gute Erfahrung mit Azubis

njunkBessere ko tuelle und le Lage strukturel ion eg R er in d

Lsung / Ziel

bergeordnete Ziele

M A R T

spezisch

Wirkungsziele mssen klar und eindeutig sein. Versuchen Sie daher, die Wirkungsziele so przise und verstndlich wie mglich zu formulieren, sodass sie auch von Dritten verstanden werden knnen. Wirkungsziele mssen messbar sein. Damit ist gemeint, dass festgestellt werden kann, ob die Wirkung eingetreten ist oder nicht.

messbar

akzeptiert

Die Wirkungsziele mssen von den Stakeholdern akzeptiert werden. Das bedeutet, dass ein gemeinsames Verstndnis ber die Wirkungsziele besteht und dass diese von allen Beteiligten mitgetragen werden. Es muss mglich sein, die Wirkungsziele zu realisieren. Das bedeutet nicht, dass Sie sich sicher sein mssen, dass Sie dieses Ziel auf jeden Fall erreichen werden, aber es sollte zumindest im Bereich des Mglichen liegen, dass Sie das Wirkungsziel im Rahmen des Projekts erreichen. Bei der Zielformulierung ist es in vielen Fllen schwierig, einen festen Zeitpunkt zu denieren, an dem das Ziel erreicht sein muss. Dem Wirkungsziel sollte aber zumindest ein Zeitrahmen zugeordnet werden, bis wann es erreicht sein sollte. Denn ob die Wirkung whrend des Projekts oder erst viel spter eintreten soll/kann, macht zum Beispiel fr die Wahl des Zeitpunkts der Wirkungsanalyse einen wichtigen Unterschied. Ein Zeitrahmen bietet hier Orientierung.

realistisch

terminierbar

Abb. oben: Die SMARTKriterien sind hilfreich fr die gute Formulierung von Wirkungszielen.

Sie hinarbeiten, das heit die Vernderung der Lebenslage der Zielgruppen Ihres Projekts, die sie letztendlich erreichen

Obwohl es sich bei dem Ziel eigentlich


tiver Ist-Zustand formuliert werden, eingetreten ist.

um einen Soll-Zustand handelt, der erst

wollen (grner Kasten im Lsungsbaum). Im nchsten Schritt ( Kap. 3) werden Sie Ziele fr die verschiedenen Stufen

erreicht werden muss, sollte das Ziel als posiin dem die erwnschte Wirkung bereits

der Wirkungslogik formulieren, die notziel zu gelangen.

wendig sind, um zu eben diesem Wirkungs-

Die Wirkungsziele sollten positiv formuliert werden, das heit, sie sollen beschreiben, welcher erwnschte Zustand erreicht rung Verneinungen, da dadurch die Aufwerden soll. Vermeiden Sie bei der Formuliemerksamkeit eher auf die negative Situation gelenkt wird, statt sie auf einen positiven Zielzustand zu fokussieren und positive Energien fr die Projektarbeit freizusetzen. Statt: Die teilnehmenden Schler sind nach ihrem Schulabschluss nicht arbeitslos wre die bessere Formulierung: Die teilnehmenden Schler nden nach ihrem Schulabschluss einen Ausbildungsplatz.

Als Wirkungsziel auf Ebene der Lebenslage der Zielgruppe hat PAFF formuliert: Die teilnehmenden Jugendlichen haben sptestens ein halbes Jahr nach ihrem Schulabschluss einen Ausbildungsplatz gefunden.

Nennen Sie die Zielgruppe, bei der die


Beginn des Satzes.

Wirkung eintreten soll, am besten gleich zu

Nutzen Sie bei der Formulierung Verben,


der Zielgruppe verndert hat, wenn die er-

um zu beschreiben, wie sich die Lebenslage wnschte Wirkung eingetreten ist. Folgende Fragen knnen Ihnen bei der Formulierung helfen: Welche neuen Mglichkeiten haben teilnehmen? Wie hat sich die soziale und/ lage der Teilnehmenden verndert?

die Personen der Zielgruppe, die am Projekt oder die nanzielle Situation oder die Lebens-

30

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Bei der Formulierung der Wirkungsziele auf gesellschaftlicher Ebene sollten Sie Folgendes beachten: Die Wirkungsziele auf gesellschaftlicher

gestaltet sein soll, und zum anderen die

WIRKUNG ANALYSIEREN

bestehenden ueren Rahmenbedingungen fes sowie die Erfahrung Ihrer Mannschaft. Ihrer Projektplanung nun darauf an, den

fr die Reise und die Ausrstung Ihres SchifAnalog zum Seefahrerbeispiel kommt es bei Weg zu den Wirkungszielen festzulegen.

Ebene, zu denen das Projekt einen Beitrag

leistet, sind meist abstrakter formuliert als Wirkungsziele auf der Ebene der Zielgruppe. Statt den Fokus auf die Zielgruppe zu legen, beziehen sie sich auf die Gesamtgesellschaft beziehungsweise auf einen Ausschnitt der Gesellschaft, zum Beispiel die angestrebten Vernderungen hngen meist von vielen verschiedenen Faktoren ab und

WIRKUNG VERBESSERN

Die Zusammenhnge innerhalb des Lsungsschiedene mgliche Handlungsoptionen auf. Handlungsansatz fr das Projekt auswhlen. Wie auch bei den Wirkungszielen haben hier

baums bieten einen berblick und zeigen verAuf dieser Grundlage lsst sich der passende

1 2 3

Bevlkerung in einer bestimmten Region. Die

sind oft von langfristiger Natur. Daher ist es aus Sicht des Projekts meist nicht sinnvoll, dessen diese Ziele erreicht werden sollen. einen Zeitrahmen zu formulieren, innerhalb Wirkungsziele auf gesellschaftlicher Ebene

die Vision und die Mission des Projekts beziehungsweise der Organisation einen entscheidenden Einuss auf die Auswahl. Weitere Kriterien, die bercksichtigt werden mssen, sind bereits vorhandene Kompetenzen und Erfahrungen im Team, die erwarteten Kosten im Verhltnis zu den zur Verfgung stehenden Ressourcen und die Wahrscheinlichkeit, Wirkung erzielen wird.

lassen sich erarbeiten, indem das identizierte gesellschaftliche Problem in eine positive Aussage umgewandelt wird: Wenn das

identizierte gesellschaftliche Problem nicht mehr existieren wrde, wie wrde sich die Situation darstellen?

mit dem der Handlungsansatz die erwnschte

2.3. DEN RICHTIGEN HANDLUNGSANSATZ FR DAS PROJEKT WHLEN


Nachdem Sie sich bei der Planung Ihrer Seereise auf ein Reiseziel geeinigt haben, Wahrscheinlich gibt es mehrere mgliche

Wichtig zu wissen:
Wie auch die Auseinandersetzung mit den Wirkungszielen ist die Auseinandersetzung mit dem Handlungsansatz des Projekts keine einmalige Aufgabe in der Planungsphase eines Projekts. Auch fr bestehende Projekte ist es wichtig, ihren Handlungsansatz regelmig zu hinterfragen und, wo notwendig, anzupassen.

Als Wirkungsziel auf Ebene der Gesellschaft hat PAFF formuliert: PAFF trgt mit seiner Arbeit zur Verringerung der Jugendarbeitslosigkeit im Stadtteil X von Frankfurt bei.

stellt sich die Frage, wie Sie dorthin kommen. Reiserouten, und es gilt nun, diejenige zu nden, deren Verlauf Ihren gemeinsamen Ideen fr die Reise am besten entspricht und die mit grtmglicher Sicherheit ans Ziel fhrt. einen Ihre Vorstellung davon, wie die Reise

Kriterien fr die Auswahl der Route sind zum

31

Checkliste fr die Formulierung von Wirkungszielen


ja Statt Aktivitten/Leistungen zu beschreiben, wird benannt, welche Wirkungen durch die Aktivitten/Leistungen bei der Zielgruppe ausgelst werden sollen. In der Formulierung des Wirkungsziels wird deutlich, bei wem die erwnschte Wirkung eintreten soll. Das Wirkungsziel beschreibt einen erwnschten Zustand in der Zukunft. Das Wirkungsziel ist so formuliert, dass man sich die Vernderung konkret vorstellen kann. Das Wirkungsziel ist positiv formuliert. Ein Zeitrahmen, in dem das Ziel erreicht werden soll, ist angegeben oder zumindest eingegrenzt. Es lsst sich berprfen, ob das Ziel erreicht wurde. Das Wirkungsziel zu erreichen stellt fr uns eine positive Herausforderung dar. Das heit, dass wir uns aktiv dafr einsetzen mssen, es gleichzeitig aber realistisch ist, dass wir das Ziel erreichen knnen. Bei der Erarbeitung der Wirkungsziele wurden die Stakeholder einbezogen, und die Wirkungsziele werden von allen Beteiligten akzeptiert und mitgetragen. Die Wirkungsziele und der Handlungsansatz unseres Projekts stehen im Einklang mit unserer Vision und Mission. Unsere Wirkungsziele motivieren uns bei unserer Arbeit. nein Bemerkung

PAFF Projektbeispiel Im Lsungsbaum auf Seite 29 ist der Handlungsansatz von PAFF farblich hervorgehoben. PAFF setzt direkt bei den Jugendlichen an und versucht, durch die Verbesserung der schulischen Leistungen, der Sozialkompetenzen und der Bewerbungskompetenzen den Jugendlichen den Schritt in die Ausbildung zu erleichtern. Alternative Handlungsanstze wren zum Beispiel die Arbeit mit den Eltern, damit diese ihre Kinder besser untersttzen knnen, oder eine Kampagne bei Unternehmern fr mehr Lehrstellen in der Region. Bei PAFF hat man sich bewusst fr diesen Handlungsansatz entschieden, weil zum einen den Projektgrndern die direkte Arbeit mit den betroffenen Jugendlichen wichtig ist und man sich zum anderen hiervon die beste und direkteste Wirkung verspricht. Gleichzeitig kennen die Organisatoren viele Personen, die sich gerne als Paten fr das Projekt engagieren mchten. Die fachlichen Kompetenzen sind unter anderem deshalb vorhanden, weil ehemalige Lehrer im Projekt mitarbeiten.

Nachdem Sie nun die Wirkungsziele auf gesellschaftlicher Ebene und in Hinblick auf die Lebenslage der Zielgruppe fr Ihr

fr das Projekt identiziert haben, gilt es

im nchsten Schritt, beide im Rahmen der

Projekt bestimmt und den Handlungsansatz

Wirkungslogik detaillierter auszuarbeiten.

32

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

3. AUF DEM WEG ZUR WIRKUNG DIE WIRKUNGSLOGIK

WIRKUNG PLANEN

In diesem Kapitel erfahren Sie,

was Wirkungslogiken sind und

3.1 WAS SIND WIRKUNGSLOGIKEN UND WOFR WERDEN SIE GENUTZT?


Wirkungslogiken werden seit den 1970er Jahren in den Bereichen der Projektplaim Rahmen der Projektplanung ist es, nung und Evaluation genutzt. Ihre Aufgabe die geplanten Wirkungsziele und die zur

warum sie fr die wirkungsorien-

wie eine einfache Wirkungslogik wie man eine Wirkungslogik


erarbeitet. nen Bestandteile kennen.

tierte Projektarbeit ntzlich sind. aufgebaut ist und lernen ihre einzel-

Erreichung dieser Ziele notwendigen Res-

Mit Ihren Passagieren und Ihrer Mannschaft haben Sie sich darauf geeinigt, wohin die Reise gehen soll. Mit dem Ziel im Blick geht

sourcen und die Leistungen, die das Projekt erbringt, in eine systematische Beziehung zueinander zu setzen und dadurch das Prohin zu berprfen. Eine Wirkungslogik

es nun darum, den besten Weg zu nden, auf dem Sie Ihr Ziel erreichen knnen. Whrend Sie bei Ihrer Seereise dafr Seekarten und Ihre Erfahrung als Seefahrer nutzen, helfen Ihres Projekts sogenannte Wirkungslogiken, den erfolgversprechendsten und zu nden.

jekt auf seine Plausibilitt und Machbarkeit stellt also dar, wie ein Projekt funktioniert

beziehungsweise funktionieren soll. Sie ist bietet so eine Grundlage fr die berprfung, ob das Projekt (noch) auf dem richtigen Weg ist. Damit bildet die WirkungsProjektarbeit und -steuerung.

Ihnen bei der wirkungsorientierten Planung

eine Reiseroute fr die Projektarbeit und

gleichzeitig machbarsten Weg zur Wirkung

logik die Basis fr die wirkungsorientierte


33

Wichtig zu wissen: Wirkungslogiken untersttzen Sie


bei der berprfung der Wirkungsannahmen fr Ihr Projekt In den allermeisten Fllen haben wir eine Vorstellung davon, wie ein Projekt funktioniert. Das heit, wir haben Annahmen darber, wie ein Projekt mit seiner Arbeit Wirkung erzielt. Oft haben sich diese Annahmen bereits in der Praxis besttigt. Dennoch lohnt es sich auf jeden Fall, hier einen Schritt zurckzutreten und die Wirkungsannahmen hinter dem Projekt nochmals zu berdenken. Unerlsslich ist dies im Rahmen der Projektplanung, aber auch im laufenden Projekt sollten Sie die Wirkungslogik vor dem Hintergrund der Erfahrungen immer wieder einem Praxischeck unterziehen und gegebenenfalls nderungen vornehmen. bei der detaillierten Ausarbeitung von Wirkungszielen: Entlang der Wirkungslogik lassen sich die Wirkungsziele fr die einzelnen Stufen der Wirkungslogik systematisch erarbeiten. beim Projektmanagement: Die Wirkungslogik beschreibt die Zusammenhnge der verschiedenen Stufen auf dem Weg zur Wirkung (Inputs, Outputs, Outcomes, Impacts) in ihrer logischen Abfolge. Auf dieser Grundlage kann ein detailliertes Projektmanagement erfolgen. bei der Wirkungsanalyse: Die Wirkungslogik hilft, festzulegen, was Gegenstand bei der Wirkungsanalyse sein soll, die richtigen Fragen zu stellen und die richtigen Indikatoren fr die Beantwortung dieser Fragen zu nden. beim internen Lernen: Eine gemeinsam mit den relevanten Stakeholdern erarbeitete Wirkungslogik schafft unter den Projektmitarbeitern ein gemeinsames Verstndnis des Projekts und schafft somit eine Grundlage fr gemeinsames Lernen. bei der Kommunikation nach auen und beim Fundraising: Eine gut ausgearbeitete Wirkungslogik hilft Ihnen dabei, Ihr Projekt gegenber Geldgebern und anderen Stakeholdern berzeugend darzustellen. Sie verdeutlicht, dass die Projektverantwortlichen einen durchdachten Plan fr ihr Projekt und fr die dazu bentigten Ressourcen haben.

Vorsicht vor Begriffsverwirrung!


Wie bei den Wirkungszielen trifft man auch bei den Wirkungslogiken auf eine groe Vielfalt der Begriffe, die ebenfalls nicht einheitlich verwendet werden. Im Kursbuch Wirkung werden die englischen Begriffe Inputs, Outputs, Outcomes und Impacts genutzt, weil diese in der Literatur und in den Diskussionen ber Wirkungsorientierung sehr hug verwendet werden. Gleichzeitig werden jeweils die Begriffe angegeben, die im Social Reporting Standard (SRS) genutzt werden ( Kap. 9).

3.2 DIE WIRKUNGSLOGIK UND IHRE BESTANDTEILE


Wirkungslogiken gibt es in verschiedenen Bekannt sind hier vor allem die Begriffe Varianten und unter verschiedenen Namen. Programmlogik, Theory of Change, Gemeinsam ist ihnen ihre Aufgabe, die

Wirkungsketten oder Logische Modelle. Funktionsweise eines Projekts schematisch und in vereinfachter Form abzubilden. Im Folgenden wird die Wirkungslogik in Form

Als bersetzungshilfe ist folgende bersicht hilfreich: (englische) Fachbegriffe Inputs Outputs Outcomes Impacts Im SRS verwendete Begriffe Ressourcen Leistungen Wirkungen

des sogenannten Logischen Modells (im handelt es sich um eine der am weitesten

Englischen: logic model) beschrieben. Dabei verbreiteten Versionen der Wirkungslogik,

34

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Ab dieser Stufe spricht man von Wirkung

1 Inputs
Ressourcen Das, was wir in das Projekt investieren

Outputs
Leistungen Das, was wir in unserem Projekt tun bzw. anbieten und wen wir damit erreichen

Outcomes
Wirkungen auf Ebene der Zielgruppe Das, was wir bei unserer Zielgruppe durch unser Projekt bewirken wollen

Impact
Wirkungen auf gesellschaftlicher Ebene Das, wozu wir auf gesellschaftlicher Ebene mit unserem Projekt beitragen wollen

Mitarbeitende Zeit

Ehrenamtliche Geld

Erbrachte Leistungen: Workshops

Angebote / Produkte z.B. Dienstleis tungen Training

Erreichte Personen verfgen ber neues Wissen oder neue Fertigkeiten, haben iihre Fhigkeiten gefestigt/ver-

Es gibt erwnschte soziale, konomische ...Vernderungen fr die Gesamtgesellschaft bzw. die Bevlkerung einer bestimmten Region oder eines bestimmten Stadtteils.

Materialien / Rumlichkeiten Projektpartner Ausstattung

Produkte (z.B. Printmaterialien, Ratgeber) Beratung

ndert, sich eine Meinung gebildet etc.

2 3

5
Es gibt erwnschte Vernderungen im Handeln der erreichten Personen.

Nutzung der Leistungen durch die Zielgruppe(n)

Zufriedenheit der Teilnehmenden mit dem Angebot

Die Lebenslage der erreichten Personen wurde in wnschenswerter soziale Sicherheit etc.). Weise verndert (nanzielle Situation,

Was wir tun


die fr die meisten Projekte nutzbar ist. Fr das Verstndnis der Wirkungslogik ist es wichtig, die einzelnen Bestandteile zu kennen und zu wissen, wie diese zusammenhngen.

Was wir bewirken wollen


hauptamtlichen und ehrenamtlichen Mitarellen Mittel, die Rumlichkeiten und die
Vgl. mit Abbildung Wirkungstreppe im Kapitel Zur Einfhrung auf S.5 dieses Kursbuches

beitenden und deren Arbeitszeit, die nanzifr die Projektumsetzung bentigte Ausstattung. Fr eine realistische Projektplanung mssen hier alle notwendigen Ressourcen aufgelistet werden. In unserem Projektbeispiel sind die Ressourcen die Projektleitung

Inputs (Ressourcen)

Die Inputs (Ressourcen) umfassen alle Mittel, zu knnen. Dazu gehren in erster Linie die

die notwendig sind, um das Projekt umsetzen

(20 Stunden pro Woche), die 50 ehrenamtli-

35

chen Paten und 4 Patengruppenbetreuer (pro Person ca. 5 Stunden pro Woche), die nanziellen Mittel, der Raum im Gemeindezentrum, die Materialien fr die Nachhilfe und das Bewerbungstraining sowie der Computer,

die Anzahl der Jugendlichen, die an den verschiedenen Angeboten (Patenschaft, Nachhilfe und Bewerbungstraining) teilnehmen.

der von der Projektleitung genutzt wird. Da

Die Outputs auf den Stufen 1 und 2 lassen sich mit den eingesetzten Inputs (Ressourcen) in direkten Zusammenhang bringen, wodurch Projekts mglich werden. So kann bei PAFF

fr PAFF die Kooperation mit den Schulen fr auch die beiden Schulen, mit denen PAFF Ressourcen.

den Projekterfolg besonders wichtig ist, sind zusammenarbeitet, Teil der notwendigen

Aussagen ber die efziente Umsetzung des beispielsweise festgestellt werden, wie viel kostet.

das Projekt pro teilnehmendem Jugendlichen

Outputs

Outputs (Leistungen)

Die Outputs (Leistungen) umfassen die Angebote und Produkte eines Projekts, also das, was ein Projekt tut beziehungsweise anbie-

STUFE 3

Die Outputs auf Stufe 3 beinhalten die

tet, sowie die Nutzung der Leistungen durch von Outputs unterscheiden (Stufen 1 3 in der Wirkungslogik).

Zufriedenheit der Teilnehmenden mit den

die Zielgruppe. Dabei lassen sich drei Stufen

Angeboten und den Produkten. In unserem Zufriedenheit der Jugendlichen mit der Be-

Projektbeispiel sind die Outputs auf Stufe 3 die treuung durch die Paten beziehungsweise mit dem Nachhilfeangebot und bernehmen eine Scharnierfunktion zwischen der Teilnahme am Projekt und der Wirkung, die bei der

STUFE 1

Die Outputs auf Stufe 1 sind die (zhlbaren) Angebote und Produkte eines Projekts, die der Zielgruppe zur Verfgung gestellt

Zielgruppe durch die Teilnahme erzielt wird. Denn erst wenn die Teilnehmenden mit dem Angebot zufrieden sind, das heit, wenn sie und wenn sie den Eindruck haben, dass das

werden. In unserem Projektbeispiel sind die Outputs auf Stufe 1 die geleisteten Patenund Nachhilfestunden, die durchgefhrten geber mit Tipps fr Berufsanfnger.

sich gut betreut und ernstgenommen fhlen Angebot fr sie ntzlich ist, werden sie sich lungen bei ihnen anstoen kann. Durch die Zufriedenheit der Teilnehmenden mit dem die erbrachten Leistungen des Projekts zu

Bewerbungstrainings und die erstellten Rat-

fr das Projekt so ffnen, dass es Entwick-

STUFE 2

Nur weil eine Organisation ihre Angebote

(Outputs auf Stufe 1) zur Verfgung stellt,

Angebot ist die Basis dafr geschaffen, dass einer Wirkung bei den Teilnehmenden fhren. Gleichzeitig bedeutet Zufriedenheit jedoch Teilnehmenden die angestrebte Wirkung nicht zwangslug, dass das Projekt bei den erzielen wird. Denn es ist gut mglich, dass sich die Teilnehmenden beim Bewerbungs-

bedeutet das noch nicht, dass diese autoDaher wird die Nutzung der Angebote und

matisch von der Zielgruppe genutzt werden. Produkte durch die Zielgruppe auf der Ebene der Outputs auf Stufe 2 erfasst. In unserem Projektbeispiel sind die Outputs auf Stufe 2

36

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

training von PAFF zwar wohlfhlen und damit zufrieden sind, weil sie zum Beispiel nette Gesprche mit anderen Teilnehmenden fhren knnen, das Essen gut ist und sie in der Zeit nicht in die Schule gehen mssen, aber die sie bei ihren knftigen Bewerbungen

der Ebene der Zielgruppe (Outcomes) und

WIRKUNG ANALYSIEREN

Wirkungen auf gesellschaftlicher Ebene (Impacts) unterscheiden. Im Folgenden werden beide im Detail dargestellt: WIRKUNG VERBESSERN

vom Training selbst keine Inhalte mitnehmen, untersttzen wrden. Die Zufriedenheit der Teilnehmenden ist somit eine notwendige, aber nicht die hinreichende Bedingung fr das Erzielen von Wirkungen.

Wirkungen auf Ebene der Zielgruppe (Outcomes)

Outcomes sind die Wirkungen des Projekts auf Ebene der Zielgruppe(n). Sie verdeutlibei den am Projekt Teilnehmenden das chen, auf welche positiven Vernderungen

1 2 3

Outcomes und Impacts (Wirkungen)

sich dabei in drei Stufen (Stufen 4 6 in der Wirkungslogik):

Der Schritt von den Outputs (Leistungen) zu den Outcomes und Impacts (Wirkungen) ist fr den Projekterfolg entscheidend. Daher ist die Unterscheidung zwischen diesen Ebenen fr die wirkungsorientierte Projektarbeit sehr wichtig. Der Unterschied zwischen den erbrachten Leistungen und Wirkungen lsst sich anhand des Praxisbeispiels PAFF gut verdeutlichen: Die Projektverantwortlichen von PAFF setzen ihr Projekt mit viel Engagement um. Sie initiieren und begleiten die Patenschaften, erstellen Infomaterialien und fh-

STUFE 4

Die Wirkungen auf Stufe 4 der Wirkungslogik beinhalten die Vernderung auf Ebene des Wissens, der Fertigkeiten und der Einstellungen. So wissen die Jugendlichen in unserem Projektbeispiel nach dem Bewerbungstraining unter anderem, wie wichtig eine gute Bewerbungsmappe fr eine erfolgreiche enthalten muss.

Bewerbung ist und welche Inhalte die Mappe

ren Nachhilfeangebote und BewerbungstraiHauptschulen nutzen diese Angebote. Doch bei den Teilnehmenden erzielt? Die Outputs (Leistungen) sind die Voraussetzung dafr, dass ein Projekt mit seiner Arbeit Wirkung

nings durch. Die Jugendlichen aus den beiden wurde dadurch bereits eine positive Wirkung

STUFE 5

Die Wirkungen auf Stufe 5 der Wirkungslogik bauen auf der vorherigen Outcome-Stufe auf und beschreiben die Vernderungen auf Ebene des Verhaltens und des Handelns der Teilnehmenden. So wissen die Jugendlichen keit von guten Bewerbungsunterlagen und deren Bestandteilen, sondern sie erstellen diese auch selbststndig.

erzielt. Wirkungen selbst treten jedoch erst

im Projektbeispiel nicht nur um die Wichtig-

auf, wenn sich bei den Jugendlichen positive lich den Schritt in die Ausbildung ermgli-

Vernderungen einstellen, die ihnen schliechen. Wie schon im Kapitel zu den Wirkungszielen dargestellt, lassen sich Wirkungen auf

Outcomes
37

Von den Outputs (Leistungen) zu den

Projekt abzielt. Die Outcomes untergliedern

Warum ist die Unterteilung in die verschiedenen Outcomestufen und die Darstellung der erreichten Fortschritte besonders wichtig?

Damit Sie feststellen knnen, ob Sie mit Ihrem Projekt auf dem richtigen Weg sind, und um die Wirkung(en) Ihres Projekts differenziert darstellen zu knnen, ist es wichtig, dass Sie Wirkungsziele fr die verschiedenen Outcome-Stufen der Wirkungslogik formulieren. Denn dadurch schaffen Sie die Grundlage, um die Fortschritte der Teilnehmenden nachvollziehen zu knnen. Wenn sich beispielsweise die Projektverantwortlichen von PAFF als einziges Erfolgskriterium fr ihr Projekt anschauen wrden, ob und wie viele Ju-

gendliche nach Ende der Betreuungsphase einen Ausbildungsplatz gefunden haben, drften sie ihr Projekt als gescheitert ansehen, wenn ihnen dies nicht oder nicht bei allen Teilnehmenden gelingt. Vielleicht hat die Teilnahme bei PAFF aber bei vielen der Jugendlichen erreicht, dass diese ihre schulischen Dezite aufgeholt haben, sich strker mit ihren Bewerbungsunterlagen beschftigen oder sicherer in Vorstellungsgesprche gehen, weil sie sich gut vorbereitet fhlen und mehr Selbstvertrauen gewonnen haben. All dies sind

STUFE 6

Die Wirkungen auf Stufe 6 der Wirkungslogik bauen ihrerseits auf den Outcomes auf Stufe 5 auf. Das vernderte Verhalten bildet die Grundlage fr die erwnschten Vernderunmenden aus der Zielgruppe. Dies beinhaltet

sind, sondern eine Ausbildung absolvieren und ihr Leben selbst in die Hand nehmen knnen. Auf Basis des Lsungsbaums wurden fr diese Stufe der Wirkungen bereits ein identiziert und formuliert ( Kap. 2). Wirkungsziel oder mehrere Wirkungsziele

gen in Hinblick auf die Lebenslage der Teilnehzum Beispiel die Verbesserung ihrer nanziel-

len und/oder sozialen Situation. So hat sich die Situation der Jugendlichen im Projektbeispiel insofern verbessert, als dass sie nicht mehr arbeitslos und auf externe Hilfe angewiesen

Wirkungen auf Ebene

der Gesellschaft (Impact)

38

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

wichtige Voraussetzungen fr den erfolgreichen Schritt in eine Ausbildung. Und auch wenn ein Teilnehmer diesen letzten Schritt zunchst einmal nicht geschafft hat, so haben sich die Grundvoraussetzungen dafr, dass er den Sprung in den Beruf schafft, deutlich verbessert. Vernderungen passieren nicht vom einem Tag auf den anderen, sondern es handelt sich dabei um einen Prozess. Genauso wie ein Bergsteiger nicht mit einem Sprung den Gipfel erreichen wird, sind Jugendliche nicht von einem Tag auf den anderen ausbildungsreif und bekommen eine Lehrstelle. Damit dies geschehen kann, mssen davor eine Reihe an Vernderungen schrittweise durchlaufen werden. Diese Abfolge von erzielten Fortschritten wird im Englischen als distance travelled bezeichnet, was sehr schn bildhaft ausdrckt, dass es sich bei den erzielten Fortschritten um Meilensteine auf dem Weg zum (eigentlichen) Ziel handelt. Dabei wird davon ausgegangen, dass Verhaltensnderungen einem bestimmten Muster folgen: Zunchst muss das Wissen vorhanden sein (Stufe 4), dann muss dieses Wissen genutzt werden (Stufe 5), und dann schlielich tritt die Vernderung in der Lebenssituation ein (Stufe 6). Oft sind es jedoch die messbaren, harten Fakten auf Ebene der Wirkungen (im Englischen: hard outcomes), die zhlen: Hat der Bergsteiger den Gipfel erreicht? Hat der Jugendliche nach dem Projekt einen Job? Hat ein Obdachloser wieder eine Wohnung? Das sind die harten

Fakten, die oft von Geldgebern gefordert und in Berichten abgefragt werden. Das ist an sich nicht falsch, allerdings sollte der Fokus nicht ausschlielich auf dieser Art der Wirkungen liegen, denn die Schritte, die zur Erreichung dieser Ziele zurckgelegt werden mssen, sind mindestens genauso wichtig. Denn die Vernderungen im Wissen, in den Einstellungen und den Handlungen der teilnehmenden Personen (im Englischen: soft outcomes) sind die eigentlich ausschlaggebenden Faktoren, dass das Ziel die Verbesserung der Lebenssituation (zum Beispiel durch einen Ausbildungsplatz) berhaupt aus eigener Kraft erreicht werden kann. Wenn man dagegen einen Bergsteiger einfach mit der Seilbahn oder einem Hubschrauber auf dem Gipfel absetzt, wird er beim nchsten Mal, wenn er diesen oder einen anderen Berg alleine bezwingen muss, nicht dazu in der Lage sein, weil ihm das Wissen fehlt, wie man zum Beispiel den Klettergurt anlegt oder wie man die Routenbeschreibung liest. Wahrscheinlich fehlt ihm auch die krperliche Ausdauer, um den Aufstieg zu bewltigen. Sollte also ein Jugendlicher einen Ausbildungsplatz auf dem Silbertablett serviert bekommen, wre das Projektziel demnach zwar ofziell erreicht, aber es bestnde die Gefahr, dass der Jugendliche, wenn er sich wieder um einen Job bemhen muss, an den Herausforderungen der Bewerbung scheitern wird. Denn er hat nicht die notwendigen Entwicklungsschritte durchlaufen, die es ihm ermglichen, auch langfristig den Anforderungen, die im Berufsleben an ihn gestellt werden, gerecht zu werden. Deshalb macht es Sinn, ein groes Augenmerk auf die Fortschritte zu legen, die auf den verschiedenen Outcome-Stufen beschrieben werden. Dies beeinusst brigens auch die Art, wie das Projekt gesteuert wird und wie die Teilnehmenden eingebunden werden. Die Teilnehmenden werden hier nicht nur als Leistungsempfnger verstanden, sondern der Vernderungsprozess wird gemeinsam mit den Teilnehmenden geplant, umgesetzt, berprft und daraufhin berlegt, was noch / als Nchstes zu tun ist, um das Ziel zu erreichen. Die Darstellung der einzelnen Fortschritte hat neben der wirkungsorientierten Projektsteuerung aber noch eine andere wichtige Funktion: Sie motiviert Projektmitarbeitende, Teilnehmenden und auch Geldgeber, dranzubleiben und den Prozess weiter zu untersttzen. Denn es ist fr alle am Projekt Beteiligten motivierend, Fortschritte zu sehen und diese gemeinsam zu feiern!

Whrend sich bei den Outcomes die Wirkunhen, beschreiben die Impacts die erwnschten Vernderungen auf gesellschaftlicher

rung in einem Stadtteil oder einer Region. Auf Basis des Lsungsbaums wurden fr diese Stufe der Wirkungen bereits ein identiziert und formuliert ( Kap. 2). Im Projektbeispiel soll die Arbeit von PAFF auf Impact-Ebene zur Ver-

gen auf die Zielgruppe(n) des Projekts bezie-

Wirkungsziel oder mehrere Wirkungsziele

Ebene. Dies sind zum Beispiel Vernderungen Gesellschaft. Da der Bezug auf die Ge-

der sozialen oder konomischen Situation der samtgesellschaft hier in den meisten Fllen weder sinnvoll noch mglich ist, beziehen sich die Impacts meist auf einen Teil

ringerung der Jugendarbeitslosigkeit im Stadtteil beitragen. Bei Wirkungen auf Ebene der Impacts mssen die Menschen, die von den Wirkungen protieren, nicht notwendigerweise in

der Gesellschaft zum Beispiel die Bevlke-

Impacts
39

STUFE 7

direkten Kontakt mit den Aktivitten der Or-

ganisation gekommen sein. Sie knnen auch

3.3 DIE ERSTELLUNG EINER WIRKUNGSLOGIK


Die Erstellung einer Wirkungslogik kann in zwei Richtungen, von den Impacts

Stakeholder mit einbeziehen!


Wie bei der Erarbeitung der Projektziele sollten Sie auch bei der Erstellung der Wirkungslogik die relevanten Stakeholder und, falls notwendig, Experten mit einbeziehen.

nur mittelbar an sozialen und konomischen Vernderungen teilhaben, wie zum Beispiel an den positiven Folgen einer niedrigeren Wohnqualitt im Stadtteil. Das bedeutet Arbeitslosenquote oder einer verbesserten gleichzeitig, dass der Einuss des Projekts

(Wirkungen) zu den Inputs (Ressourcen) und von den Inputs (Ressourcen) zu den Impacts (Wirkungen) erfolgen. Dabei macht es Sinn, beide Vorgehensweisen zu nutzen, denn die Planungsrichtung von den Wirkungen

auf das Eintreten der Wirkungen auf ImpactEbene geringer ist als auf die Wirkungen auf Outcome-Ebene. Denn neben dem Projekt beeinussen noch viele andere Faktoren die Daher spricht man auch davon, dass das

(Impacts) zu den Ressourcen (Inputs) eignet sich gut fr Ihre wirkungsorientierte Projektplanung. Der Vorteil dieses Vorgehens liegt darin, dass bei der Planung der Fokus auf

Entwicklungen auf gesellschaftlicher Ebene. Projekt zu den Wirkungen auf Impact-Ebene beitragen will, whrend man auf Outcomedas Projekt erreicht werden sollen. Auch Ebene von den Wirkungen spricht, die durch treten Impacts meist erst nach einiger Zeit

den Wirkungen liegt, die das Projekt erzielen mchte. Dagegen laufen Projekte, die bei Gefahr, den Blick auf die zur Verfgung der Planung von den Ressourcen ausgehen, stehenden Ressourcen und bereits beste-

ein, sodass sich der kausale Zusammenhang nur mit relativ aufwndigen Datenerhebung).

zwischen dem Projekt und dem Impact meist Methoden nachweisen lsst ( Kap. 6:

hende Aktivitten zu verengen und sich eher des Status Quo zu versichern als ber den Ideen oder Projektkonzepte zu ffnen. Tellerrand hinauszuschauen und sich fr neue

Die Verbindungen zwischen den einzelnen Bestandteilen der Wirkungslogik

Die Planungsrichtung von den Inputs zu

den Impacts hilft Ihnen dann im zweiten ttscheck zu unterziehen.

Schritt, Ihre Wirkungslogik einem Plausibili-

Die Pfeile zwischen den einzelnen Elementen der Wirkungslogik reprsentieren die (kausalen) Zusammenhnge und die dahinter liegenden Annahmen darber, wie ein Projekt funktioniert. Was sich

Schritt 1: Wirkungsorientiert planen Inputs (Ressourcen)

Von den Impacts (Wirkungen) zu den

zunchst recht abstrakt anhrt, wird bei der Erarbeitung einer Wirkungslogik deutlich.

Beim Planungsprozess von den Impacts

(Wirkungen) zu den Ressourcen (Inputs) wird die Wirkungslogik von rechts nach links wird gefragt, was getan werden muss, erstellt. In den einzelnen Planungsschritten beziehungsweise was passieren muss, um die jeweilige Wirkung bzw. Leistung zu erzielen.

40

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Inputs
Ressourcen Das, was wir in das Projekt investieren

Outputs
Leistungen Das, was wir in unserem Projekt tun bzw. anbieten und wen wir damit erreichen

Outcomes
Wirkungen auf Ebene der Zielgruppe Das, was wir bei unserer Zielgruppe durch unser Projekt bewirken wollen

Impact
Wirkungen auf gesellschaftlicher Ebene Das, wozu wir auf gesellschaftlicher Ebene mit unserem Projekt beitragen wollen

1
Mitarbeitende Zeit Ehrenamtliche Geld Erbrachte Leistungen: Workshops Angebote / Produkte z.B. Dienstleis tungen Training Materialien / Rumlichkeiten Projektpartner Ausstattung Produkte (z.B. Printmaterialien, Ratgeber) Beratung

4
Erreichte Personen verfgen ber neues Wissen oder neue Fertigkeiten, haben ihre Fhigkeiten gefestigt/verndert, sich eine Meinung gebildet etc.

7
Es gibt erwnschte soziale, konomigesellschaft bzw. die Bevlkerung bestimmten Stadtteils. sche...Vernderungen fr die Gesamteiner bestimmten Region oder eines

2 3

5
Es gibt erwnschte Vernderungen im Handeln der erreichten Personen.

Nutzung der Leistungen durch die Zielgruppe(n)

Zumen Sie das Pferd von hinten auf!Beginnen Sie bei Punkt 7 dieser Tabelle und gehen rckwrts bis Punkt 1 vor, um Ihre eigene Wirkungslogik zu erfassen.

Der beste Weg, Ihre eigene Wirkungslogik aufzustellen:

Zufriedenheit der Teilnehmenden mit dem Angebot

Die Lebenslage der erreichten Personen wurde in wnschenswerter soziale Sicherheit etc.). Weise verndert (nanzielle Situation,

Was wir tun

Was wir bewirken wollen

Den Ausgangspunkt fr diese Planung bilden die Wirkungsziele auf gesellschaftlicher Ebene (Stufe 7) und die Wirkungsziele auf

Projektbeispiel: Was muss passieren, damit die Jugendarbeitslosigkeit im Stadtteil vereinen Ausbildungsplatz bekommen. ringert wird? Die Jugendlichen mssen (u.a.)

Ebene der Lebenslage der Zielgruppe (Stufe

6), die Sie auf Grundlage des Lsungsbaums nen heit das:

identiziert haben. Fr die Schritte im Einzel-

2. Was muss passieren, damit sich an der


Lebenslage der einzelnen Personen der Zielgruppe etwas verndert? Es muss sich Personen der Zielgruppe ndern!

1. Was muss passieren, um die Situation auf


gesellschaftlicher Ebene zu verbessern? Es muss sich etwas an der Lebenslage der ein-

etwas am Verhalten/Handeln der einzelnen

zelnen Personen der Zielgruppe verndern!


41

Abbildung rechte Seite: Wirkungsziele entlang der Wirkungslogik fr das Projektbeispiel PAFF

Projektbeispiel: Was muss passieren, damit die Jugendlichen einen Ausbildungsplatz bekommen? Die Jugendlichen mssen (u.a.) qualitativ hochwertige Bewerbungsunterlagen erstellen.

Angebot genutzt werden kann? Das Angebot muss zur Verfgung stehen!

6. Was ist die Voraussetzung dafr, dass das

Projektbeispiel: Was ist die Voraussetzung training teilnehmen knnen? Das Training muss angeboten werden.

halten /Handeln der einzelnen Pers-

3. Was muss passieren, damit sich am Ver-

dafr, dass die Jugendlichen am Bewerbungs-

onen der Zielgruppe etwas verndert? Es muss sich etwas am Wissen/an den Zielgruppe ndern! Einstellungen der einzelnen Personen der

das Angebot zur Verfgung steht?

7. Was sind die Voraussetzungen dafr, dass

Es mssen ausreichend Ressourcen anbieten zu knnen!

Projektbeispiel: Was muss passieren, damit die Jugendlichen qualitativ hochwertige wissen, wie man diese erstellt. Bewerbungsunterlagen erstellen? Sie mssen

vorhanden sein, um die Leistungen

Projektbeispiel: Was sind die Vorausset-

zungen dafr, dass das Training angeboten werden kann? Es mssen die notwendigen nanziellen und personellen Ressourcen dafr zur Verfgung stehen.

Wissen/an den Einstellungen der teilnehmenden Personen aus der Zielgruppe ndert? Die teilnehmenden Personen mssen mit dem Angebot, das sie nutzen, zufrieden sein!

4. Was muss passieren, damit sich etwas am

Schritt 2: Der Plausibilittscheck Impacts (Wirkungen)

Von den Inputs (Ressourcen) zu den

Projektbeispiel: Was muss passieren, damit die Jugendliche gelernt haben, wie man Bewerbungsunterlagen erstellt? Sie mssen mit dem Bewerbungstraining, an dem Sie teilgenommen haben, zufrieden sein.

Beim Plausibilittscheck von den Inputs links nach rechts auf die Plausibilitt

zu den Impacts wird die Wirkungslogik von der zwischen den einzelnen Schritten

5. Was ist die Voraussetzung dafr, dass


die Personen aus der Zielgruppe mit dem Angebot zufrieden sind? Sie mssen das Angebot nutzen!

liegenden wenndann Zusammenhnge berprft. Im Einzelnen kann dies wie folgt bersetzt werden:

1. Wenn die notwendigen Ressourcen/

Projektbeispiel: Was ist die Voraussetzung

Inputs zur Verfgung stehen und investiert werden, dann knnen die geplanten Aktivitten umgesetzt und die Angebote und Produkte erstellt werden (Stufe 1).

dafr, dass die Jugendlichen mit dem Bewerdem Bewerbungstraining teilnehmen.

bungstraining zufrieden sind? Sie mssen an

42

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Inputs
Ressourcen Das, was wir in das Projekt investieren

Outputs
Leistungen Das, was wir in unserem Projekt tun bzw. anbieten und wen wir damit erreichen

Outcomes
Wirkungen auf Ebene der Zielgruppe Das, was wir bei unserer Zielgruppe durch unser Projekt bewirken wollen

Impact
Wirkungen auf gesellschaftlicher Ebene Das, wozu wir auf gesellschaftlicher Ebene mit unserem Projekt beitragen wollen

hauptamtliche Projektleitung (20h/ Woche)

Erbrachte Leistungen: Patenschulungen Patensupervision Schulworkshops

Jugendliche haben im Rahmen ihrer

Projektteilnahme soziale Kompetenchen Berufseinstieg notwendig sind verbessert

50 ehrenamt5h/Woche)

zen erworben, die fr einen erfolgrei Jugendliche haben ihr Lernverhalten Jugendliche haben ihre Kenntnisse

liche Paten (je

Treffen mit Paten und Schlern Nachhilfe fr Schler Bewerbungstraining fr Schler Weiterbildung fr Paten Projektyer Projektleitfaden

4 Patengruppenbetreuer (je 5h/ Woche)

45.000 / Jahr Raum im Ge Laptop meindezentrum

Jugendliche wissen, was sie werden wollen/haben eine beruiche Perspektive

in den Kernschulfchern verbessert

Beratungen fr Schler

Ratgeber mit Tipps fr Berufsanfnger

Jugendliche wissen, wie man sich bewirbt

PAFF trgt mit seiner Arbeit zur

2 Schulen als

Projektpartner

2
Nutzung der Leistungen Hauptschulen durch 50 Schler der beiden rtlichen

5
die teilnehmenden Jugendlichen haben bis Ende des Schuljahres werbungsunterlagen erarbeitet stellungsgesprch erfolgreich bewltigen selbststndig qualitativ gute Be Jugendliche knnen ein Vor-

Verringerung der JugendarbeitsMain bei.

losigkeit im Stadtteil x von Frankfurt/

3
Zufriedenheit der teilnehmenden Jugendlichen mit dem Angebot

die teilnehmenden Jugendlichen haben whrend ihrer Teilnahme tungen verbessert am Projekt ihre schulischen Leis-

io o i
die teilnehmenden Jugendlichen haten Abschluss verlassen ben die Schule mit einem qualizier die teilnehmenden Jugendlichen haben sptestens ein halbes Jahr nach ihren Schulabschluss einen Ausbildungsplatz gefunden. Jugendliche haben ihren soziokonomischen Status verbessert

Was PAFF tut

Was PAFF bewirken will

43

Checkliste: Die Wirkungslogik im Qualittscheck


ja Stehen der Organisation die notwendigen Ressourcen zur Verfgung (beziehungsweise ist absehbar, dass die notwendigen Ressourcen im Laufe des Projekts zur Verfgung stehen werden), um die Aktivitten umzusetzen, die die erwnschte Wirkung erzielen sollen? Sind alle Outputs (Leistungen), die fr den Erfolg des Projekts notwendig sind, einbezogen? Sind die Outputs (Leistungen) und Wirkungen (Outcomes und Impacts) klar voneinander unterschieden? Sind auf Ebene der Outcomes die einzelnen Stufen der Vernderungen (Outcomes 1-3) ausdifferenziert? Sind die verschiedenen Bestandteile der Wirkungslogik durch logische Zusammenhnge verbunden? Sind die Wirkungsziele auf Outcome- und Impact-Ebene im Sinne einer Vernderung formuliert? Wurden bei der Erstellung der Wirkungslogik die relevanten Stakeholder eingebunden beziehungsweise um Feedback gebeten? nein Bemerkung

Verfgung stehen, dann knnen sie von der Zielgruppe genutzt werden (Stufe 2).

2. Wenn die Angebote und Produkte zur

dann ermglicht dies, dass sich die Situation/ Lebenslage der teilnehmenden Personen ndert (Stufe 6).

6. Wenn dieses Handeln umgesetzt wird,

Wann ist genug geplant?


In der Planungsphase eines Projekts wird die Basis fr eine wirkungsvolle Projektarbeit gelegt. Daher sollten Sie sich fr die Planung ausreichend Zeit nehmen. Dabei sollten Sie jedoch im Hinterkopf behalten, dass Planen kein einmaliger Vorgang ist, sondern sich in der wirkungsorientierten Projektsteuerung immer wiederholt. Daher sollte man an einem Punkt mit der Umsetzung anfangen und dann im Prozess auf der Grundlage der gesammelten Erfahrungen erneut planen beziehungsweise

3. Wenn die Angebote und Produkte ge-

nutzt werden, dann ist damit die Voraussetzung geschaffen, dass die Nutzer/Teilnehmenden damit zufrieden sind (Stufe 3).

Projekt Teilnehmenden ndert, dann trgt

7. Wenn sich die Lebenslage der am

dies dazu bei, dass sich Vernderungen auf gesellschaftlicher Ebene ergeben (Stufe 7).

Angebot zufrieden sind, dann ist die Voraussetzung geschaffen, dass sich dadurch die erwnschten Vernderungen im Wissen und bei den Einstellungen der Zielgruppe (Stufe 4) ergeben.

4. Wenn die die Teilnehmenden mit dem

3.4 WIRKUNGSZIELE IM RAHMEN DER WIRKUNGSLOGIK DETAILLIERT AUSARBEITEN


Im Rahmen der Erstellung der Wirkungslogik denen Stufen der Wirkungslogik erarbeitet. haben Sie nun Wirkungsziele fr die verschieFormulieren Sie diese nun anhand der Krite( Kap. 2). Im nchsten Schritt werden fr

5. Wenn sich die erwnschten Vernderungen im Wissen und bei den Einstellungen der Zielgruppe einstellen, dann ergibt sich dadurch (die Mglichkeit fr) neues/anderes Handeln bei der Zielgruppe (Stufe 5).

rien fr die Formulierung von Wirkungszielen

S.45

44

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Gesellschaftl. Probleme
soziale, kologische (...)

Beitrag zur Lsung

Wirkungen

Impact

Bedrfnisse
Bedarf, Zielgruppen

Vision & Ziele


Strategie, Konzept, Ansatz

NPO
Leistungen

Umfeld
Zielgruppen
Adressaten

Ressourcen

Input

Output

Outcome
Wirkungen

die einzelnen Wirkungsziele Indikatoren entwickelt, die es erlauben, festzustellen, ziele erreicht werden ( Kapitel 5). ob beziehungsweise inwieweit, die Wirkungs-

ergeben sich die Outputs (die erbrach-

ten Leistungen des Projekts). Werden die

angebotenen Leistungen von der Zielgruppe genutzt, ist die Grundlage fr das Erreichen von Wirkungen auf Ebene der Zielgruppe

Fortsetzung von S.44: die ursprngliche Planung anpassen. Denn genauso, wie man zu wenig planen kann, kann man auch vor lauter Planen den richtigen Zeitpunkt verpassen, um mit der Umsetzung des Projekts zu beginnen. Hier gilt es, die richtige Balance zwischen Planen, Tun, Reektieren und Anpassen zu nden. Die lernorientierte Wirkungsanalyse untersttzt Sie dabei, die relevanten Informationen zu bekommen, die Sie fr die wirkungsorientierte Steuerung Ihres Projekts bentigen. Wie Sie eine lernorientierte Wirkungsanalyse umsetzen und in die Arbeit Ihrer Organisation/Ihres Projekts integrieren, erfahren Sie nun in Teil 2 dieses Kursbuchs.

3.5 WIRKUNGSORIENTIERTE PLANUNG IM BERBLICK: DER WIRKUNGSKREISLAUF


Wie die einzelnen Teile zusammenhngen, lsst sich gut am sogenannten Wirkungs-

(Outcomes) gelegt. Wirkungen auf der Ebene der Zielgruppe knnen im nchsten Schritt (Impact) beitragen. Aus der sich dadurch vernderten gesellschaftlichen Situation zu Wirkungen auf gesellschaftlicher Ebene

kreislauf verdeutlichen (Abbildung oben). Aus den gesellschaftlichen Herausforderungen und den sich daraus ergebenden Hintergrund der Vision der Organisation Bedarfen der Zielgruppen werden vor dem Wirkungsziele und ein Handlungsansatz denen, mssen bestimmte Inputs (Ressourcen)

ergeben sich nun neue Bedarfe, die wiederum die Anpassung der Ziele und der bentigten Ressourcen und der angebotenen Leistungen Anpassung ist somit ein kontinuierlicher Prozess whrend des gesamten Projektverlaufs.

des Projekts notwendig machen. Planung und

niert. Um die Wirkungsziele erreichen zu knzur Verfgung stehen. Aus diesen Ressourcen

45

TEIL 2: WIRKUNG ANALYSIEREN

Nicht alles, was zhlt, kann gezhlt werden, und nicht alles, was gezhlt werden kann, zhlt.
Albert Einstein (* 1879 1955)

Das sind die Inhalte von Teil 2 des Kursbuchs:

In Kapitel 4 erfahren Sie, wie Sie die logistischen Grundlagen fr die Wirkungsanalyse legen und wie Sie die Fragen fr Ihre Wirkungsanalyse entwickeln.

In Kapitel 5 erfahren Sie, wie Sie Indikatoren entwickeln, die Sie als Grundlage fr die Datenerhebung bentigen.

In Kapitel 6 lernen Sie verschiedene Methoden der Datenerhebung kennen und erfahren, wie Sie die passende Erhebungsmethode fr Ihre Wirkungsanalyse nden.

In Kapitel 7 erfahren Sie, wie Sie die erhobenen Daten auswerten und analysieren knnen, sodass Sie Informationen erhalten, die Sie nutzen knnen, um daraus Schlussfolgerungen und Handlungsempfehlungen abzuleiten.

46

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

R VE

BE
RN

TE
Herausforderungen TE und Bedarfe IL verstehen 1

IL

L3 W

E ber Wirkung ESS RB E berichten V G N

WIRKUNG PLANEN

TEI

TEI

Lernen und anpassen Lernen und


anpassen

L3 W

ber Wirkung berichten

9
8 7 6

Herausforderungen und Bedarfe verstehen

2 3 5 4

Wirkungsziele setzen Wirkungsziele


NG
setzen

WIRKUNG ANALYSIEREN

Daten auswerten und 7 analysieren auswerten und analysieren


TE

Daten

3Wirkungslogik erarbeiten Wirkungslogik


erarbeiten

6 Daten erheben

2 Daten erheben W IR KU

5
Indikatoren entwickeln

4 Wirkungsanalyse
vorbereiten

WIRKUNG VERBESSERN

NG

Wirkungsanalyse vorbereiten

A N A LY S I E R E N

1 2 3

IR

IR
KU

IR

IR

NG

KU

PLA

PLA

NEN

NEN

IL

Nachdem Sie entschieden haben, wohin Ihre Seereise gehen soll, und Sie Ihre Reiseroute festgelegt haben, machen Sie sich auf den Weg. Allerdings laufen die meisten Reisen

nicht einfach so nach Plan, und deshalb

mssen Sie unterwegs regelmig berpr-

fen, ob Sie auf dem richtigen Weg sind, ob Sie Ihre Ziele erreichen und ob es Ihren Passagieren gut geht. Auf Basis dieser Informationen knnen Sie reektieren, ob Sie die eingeSie den Kurs anpassen mssen.

schlagene Route beibehalten knnen oder ob

Wie bei der Seereise werden Sie auch in Ihrer was tatschlich passiert: Was war geplant und was haben wir getan? Was haben wir

Projektarbeit Ihren Plan mit dem abgleichen,

damit erreicht? Funktioniert das Projekt wie angenommen? Warum oder warum nicht?

TE
IL

IR

KU

Indikatoren entwickeln

NG

A N A LY S I E R E N

In Teil 2 des Kursbuchs wird gezeigt, wie Sie mittels der Wirkungsanalyse die notwendigen Informationen erheben knnen, die Sie bentigen, um (unter anderem) diese Fragen zu beantworten.

Im Idealfall wird die Wirkungsanalyse mitentwickelt. Aber auch wenn es Ihr

schon im Planungsprozess des Projekts Projekt bereits einige Zeit gibt, ist es jederzeit mglich und sinnvoll, Monitoring und Evaluation einzufhren und umzusetzen.

47

4. DIE WIRKUNGSANALYSE VORBEREITEN


Wichtig zu wissen: Die zentrale Rolle von Monitoring in der wirkungsorientierten Projektsteuerung
In der Diskussion um das Thema Wirkungsanalyse liegt oft ein starker Schwerpunkt auf dem Thema Evaluation. Doch obwohl die Evaluation im Rahmen der Wirkungsanalyse natrlich eine wichtige Funktion hat, sollten Sie darber das Monitoring nicht aus den Augen verlieren. Denn: Monitoring ist das Frhwarnsystem, das feststellt, wenn es im Projekt zu unerwarteten Entwicklungen kommt. Ein gutes Monitoring ist unabdingbar, wenn Sie frh auf Probleme reagieren mchten, bevor das ganze Projekt in Gefahr gert. Gleichzeitig trgt Monitoring auch dazu bei, festzustellen, wenn sich Erfolge einstellen. Das bedeutet, dass auch Projekte, die sich keine aufwndigen Evaluationen leisten knnen, im Rahmen eines systematischen Monitorings Aussagen ber Resultate ihres Projekts treffen knnen. Wirkungsorientiertes Monitoring leistet einen zentralen Beitrag zum Lernen, dient der Steuerung des Projekts und legt gleichzeitig die Grundlage fr Evaluationen. Denn Evaluatoren sind hug mit dem Problem konfrontiert, dass es keine oder keine qualitativ ausreichenden Monitoringdaten gibt, die sie als Grundlage fr die Evaluation nutzen knnen. Dies beeintrchtigt damit die Qualitt und Aussagekraft der Evaluation negativ, und der Aufwand fr die Evaluation steigt.

In diesem Kapitel erfahren Sie,

legen, bevor Sie mit der Erhebung der Daten fr die Wirkungsanalyse beginnen knnen. Bevor auf die logistischen Fragen der Wir-

was die Begriffe Wirkungsanalyse, wer Monitoring und Evaluation


einbinden sollten. durchfhren sollten.

wann Sie Monitoring und Evaluation


holder Sie in die Wirkungsanalyse

Monitoring und Evaluation bedeuten.

kungsanalyse eingegangen wird, sollen die Begriffe Wirkungsanalyse, Monitoring und Evaluation geklrt werden.

durchfhren sollte und welche Stake-

wie viel Monitoring und Evaluation


analyse entwickeln.

4.1 WIRKUNGSANALYSE, MONITORING UND EVALUATION


Was verstehen wir unter Wirkungsanalyse?

wie Sie die Fragen fr die Wirkungs-

kostet und woher dafr das Geld kommt.

Um beurteilen zu knnen, ob Sie auf Ihrer ReiInformationen erheben, die Sie bentigen,

Der Begriff Wirkungsanalyse kann in einem engeren und in einem weiten Sinn verwendet werden. Wirkungsanalyse im engen Sinn bedeutet, dass die Erhebung der Daten auf die

se auf dem richtigen Kurs sind, mssen Sie die um dies festzustellen. Dafr mssen Sie zuschaffen. Wer von der Mannschaft sitzt im

nchst die Voraussetzungen fr die Erhebung Ausguck und beobachtet kontinuierlich die

Outcomes und Impacts eines Projekts abzielt. Im Rahmen der wirkungsorientierten Pro-

Reiseroute? Hat diese Person gengend Wissen und Erfahrung fr diese Aufgabe? Wann und wie oft fhrt man am besten eine Befraob ihnen die Reise gefllt und inwiefern sie von der Reise protiert haben? Mssen Sie

jektsteuerung ist ein weites Verstndnis von Wirkungsanalyse sinnvoll. Denn hier ist es wichtig, nicht nur zu fragen, ob ein Projekt

gung der Passagiere durch, um festzustellen,

wirkt, sondern auch festzustellen, welches

die ausschlaggebenden Faktoren sind, die zu den Wirkungen fhren. Wirkungsanalyse im hier verwendeten, weiten Sinn umfasst daher neben der Analyse der Wirkungen (Outcomes und Impacts) selbst auch die erbrachten Leistungen des Projekts (Outputs) und deren

dafr vielleicht einen externen Fachmann an Sammeln der Informationen fr Sie, und woher kommen die notwendigen Ressourcen? Und vor allem mssen Sie festlegen, welche

Bord holen? Welchen Aufwand bedeutet das

Qualitt. Die Wirkungsanalyse im weiten Sinn hinterfragt auch die Wirkungsannahmen, auf denen das Projekt aufbaut.

Informationen Sie eigentlich erheben wollen. Denn aus dem Meer an Daten mssen Sie die Informationen herausschen, die fr Sie relevant sind.

Im Rahmen der Diskussion um Wirkung

Wie bei der Seereise mssen Sie im Rahmen der wirkungsorientierten Projektsteuerung die Grundlagen fr die Wirkungsanalyse

wird auch der Begriff der Wirkungsmessung genutzt. Der Begriff Messung suggeriert, messen lsst. Wirkungen in dass sich Wirkung quantizieren und exakt

48

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Monitoring
Was wollen Sie wissen? Warum?
Was passiert?

Evaluation

WIRKUNG PLANEN

Wie gut und warum passiert etwas und welche nderungen kommen dadurch zustande? Fortschritte und Resultate beschreiben und bewerten, Schlussfolgerungen und Empfehlungen ableiten zu einem bestimmten Zeitpunkt whrend des Projekts, zum Ende des Projekts oder einige Zeit nach Abschluss des Projekts intern oder extern Schwerpunkt auf Wirkungen (Outcomes und Impact)

Fortschritte berprfen, Informationen fr Entscheidungsndungen und Anpassungen zur Verfgung stellen, Grundlage fr weitere Analysen (z.B. Evaluation) schaffen durchgehend whrend des Projekts

Wann?

Wer? Wo in der Wirkungslogik genutzt?

intern, Projektmitarbeitende Schwerpunkt auf Inputs, Aktivitten, Outputs und leicht zu messenden Wirkungen (Outcomes)

der sozialen Arbeit sind in der Realitt

allerdings komplexer und lassen sich oft nicht messen. Der Begriff Wirkungsder passendere. analyse scheint in diesem Kontext daher

Bei der Schiffsreise sind Beispiele fr Monitoring das kontinuierliche Beobachten der Reiseroute aus dem Ausguck des Schiffes oder die Erfassung der zurckgelegten

Abb. Monitoring und Evaluation im Vergleich; Quelle: vgl. International Federation of Red

Cross and Red Crescent Societies (2011: 20).


1

Seemeilen. Das Monitoring eignet sich vor

hnlich, aber doch verschieden:

allem dafr, Inputs (Ressourcen) und Outputs (Leistungen) eines Programms sowie leicht erhebbare Wirkungen zu erfassen.

Stockmann (2007: 18).

Monitoring und Evaluation Monitoring und Evaluation sind unterschiedliche Arten der Erfassung und Auswertung Beide werden als M&E oft in einem Atemzug genannt und in der Tat gibt es von Daten im Rahmen der Wirkungsanalyse.

Anspruchsvoller zu erfassende Wirkungen

werden dagegen meist im Rahmen von Evanicht nur wie das Monitoring Daten fr die

luationen erhoben. Evaluation liefert dabei Frage, ob man sich noch auf dem richtigen

zwischen beiden einen engen Zusammen-

hang. Beide erfllen wichtige Aufgaben im Rahmen der wirkungsorientierten Projektund Unterschiede? steuerung. Wo liegen die Gemeinsamkeiten

Weg bendet, sondern auch, ob es sich denn berhaupt um den richtigen Weg handelt.1 Wenn die im Rahmen des Monitorings erhobenen Daten Anzeichen dafr geben, dass das Projekt nicht wie geplant luft, kann

Monitoring ist die regelmige Erhebung von Informationen mit dem Ziel, die Fortschritte des Projekts gegenber der Planung sowie das Einhalten von (Qualitts-)Standards zu berprfen.

eine Evaluation dazu beitragen, herauszun-

den, warum dies so ist. Bei der Schiffsreise ist der Passagiere nach der Reise, um festzuprotiert haben.

ein Beispiel fr eine Evaluation die Befragung stellen, ob und inwieweit sie von der Reise

49

4.2 LOGISTISCHE FRAGEN ZUR WIRKUNGSANALYSE


Abschlussevaluation oder Zwischenevaluation?

aufwndiger als bei den Outputs. Daten auf ben und analysiert. Allerdings gibt es

Outcome-Ebene werden daher seltener erhoauch auf dieser Ebene Informationen, die sich relativ leicht und regelmig erheben den Schulnoten. lassen, wie zum Beispiel die Vernderung bei

Wann sollte M&E durchgefhrt werden?


Damit die Informationen bestmglich genutzt werden knnen, mssen sie zum richtigen Zeitpunkt erhoben werden. Der richtige

Gerade bei befristeten Projekten nden Evaluationen oft am Ende des Projekts statt. Natrlich ist es sinnvoll, nach Projektabschluss Bilanz zu ziehen, und die erhobenen Informationen werden oft fr die Abschlussberichte an die Geldgeber bentigt. Doch abgesehen von der Erfllung der Berichtspichten hat eine Evaluation am Ende des Projekts oft wenig Nutzen. Denn wenn die Ergebnisse vorliegen, sind die Projektmitarbeitenden bereits mit anderen Projekten beschftigt, und selbst wenn die Evaluation noch zu Kenntnis genommen wird, ist es in Retrospektive nicht mehr mglich, auf die Erkenntnisse zu reagieren. Wenn Sie die Mglichkeit haben, sollten Sie daher versuchen, die Evaluation Ihres Projekts zu einem Zeitpunkt zu machen, an dem Sie die Ergebnisse noch fr die wirkungsorientierte Projektsteuerung nutzen knnen (Zwischenevaluation). Sprechen Sie daher mit Ihren Geldgebern und berlegen Sie gemeinsam, wann fr das Projekt sinnvolle Zeitpunkte fr eine Evaluation sind.

Zeitpunkt fr die Datenerhebung wird zum berhaupt erheben lassen, zum anderen

einen dadurch bestimmt, wann sich die Daten muss der Zeitpunkt der Datenerhebung je festgelegt werden.

Datenerhebungen sollten nicht nur am Ende eines Projekts stattnden, denn es geht vor allem darum, aus den Erkenntnissen zu

nach Fragestellung und Erkenntnisinteresse

lernen, um whrend des Projekts steuern zu

knnen. Die Wirkungsanalyse sollte daher ein kontinuierlicher Prozess whrend der gesamten Projektlaufzeit sein.

Auf der Ebene der Prozesse und Outputs (Leistungen) stellt sich die Frage, ob die Angebote entsprechend dem zeitlichen und

Die Evaluation zu Beginn des Projekts

nanziellen Plan durchgefhrt werden. Diese Informationen sind vor allem fr die Projektverantwortlichen interessant. Die Erhebung der Daten sollte hier regelmig (je nach Bedarf wchentlich, monatlich, vierteljhrdamit bei Bedarf zeitnah eingegriffen und gegengesteuert werden kann.

ermglicht Ihnen, im Rahmen einer Bedarfsten und die Bedarfe der Zielgruppe mit den weise des Projekts abzugleichen.

und Umfeldanalyse einen Schritt zurckzutreProjekt-Zielen und der geplanten Vorgehens-

lich) im Rahmen des Monitorings stattnden,

Durch kontinuierliches Monitoring und

Zwischenevaluationen lsst sich feststellen, ist. Auf der Grundlage dieser Erkenntnisse sungen vorzunehmen.

ob das Projekt (noch) auf dem richtigen Weg besteht dann die Chance, wo ntig, Anpas-

Auf der Ebene der Wirkungen (Outcomes und Impacts) werden eher mittel- und langfristig eintretende Resultate erhoben.

Die Erhebung der Daten ist in vielen Fllen

50

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Projektbeispiel PAFF: Im Rahmen des Monitorings werden bei PAFF fortlaufend Daten Patenstunden, Nachhilfestunden und auf Ebene der Wirkungen die Vernderungen bei den Schulnoten festgehalten. Um festzustellen, wie sich die Projetteilnahme auf das Sozialverhalten der Jugendlichen auswirkt, wurde nach 2,5 Jahren Projektlaufzeit eine Evaluation durchgefhrt. Nchstes Jahr feiert PAFF sein 5-jhriges Bestehen. Die Projektverantwortlichen haben dies als sinnvollen Zeitpunkt fr eine Evaluation identiziert, bei der systematisch festgestellt werden soll, wie sich der beruiche Werdegang der ehemaligen Patenkinder entwickelt hat. gesammelt. Hierbei werden vor allem die erbrachten Leistungen, wie die Anzahl der

WIRKUNG PLANEN

WIRKUNG ANALYSIEREN

Welche Manahmen der Datenerhebung PAFF im Einzelnen durchfhrt, erfahren Sie in Kap. 6.

WIRKUNG VERBESSERN

1 2 3

Am Abschluss eines Projekts

steht die (Ab-)Schlussevalu-

Jugendlichen, die vor einiger Zeit das Projekt abgeschlossen haben, geworden ist.

ation. Hier wird (zumeist) das

ganze Projekt bewertet. Natrlich gibt es

Projekte, die kein (geplantes) Ende haben. es sollten Zeitpunkte identiziert werden, an denen eine umfassende Auswertung

Unabhngig vom Zeitpunkt sollten Sie ber eine Evaluation nachdenken, wenn die Monitoringdaten auf signikante Abweichungen gegenber Ihrer Planung hinweisen.

Hier gibt es keine Abschlussevaluation, aber

Wo ndet man gute externe Evaluatoren?

An Hochschulen in den jeweiligen Fachbereichen (z.B. Pdagogik) Bei Firmen oder Freiberuern, die auf Evaluation spezialisiert sind

stattndet. Mglich Zeitpunkte hierfr sind zum Beispiel, wenn ein neues Projektmodul andere Orte bertragen werden soll. entwickelt werden oder wenn das Projekt an

Wer soll die Wirkungsanalyse durchfhren?

Whrend das Monitoring im Rahmen des internen Projektmanagements verankert durchgefhrt werden. ist, knnen Evaluationen intern oder extern Wenn Evaluation eher als unliebsamer

Durch Empfehlungen von anderen Organisationen im Themenfeld

Eine Ex-Post-Evaluation ndet einige Zeit nach Abschluss des Projekts statt und hat zum Ziel, herauszunden, welche Wirkunentfaltet. Ein Beispiel fr eine Ex-Post-

Auf Fachtagungen

gen ein Projekt auch ber sein Ende hinaus Evaluation wre eine Verbleibstudie, in der herausgefunden werden soll, was aus den

Zeitruber angesehen wird, ist man schnell Dabei sollte jedoch bedacht werden: Zum einen verursachen externe Evaluationen

Auf Empfehlung von Geldgebern (z.B. Frderstiftungen, die ihre Projekte regelmig evaluieren lassen) Achtung: Empfehlungen ersetzen nicht das persnliche Kennenlernen!

versucht, diese Aufgabe abgeben zu wollen.

Projektverstndnis Zugang zu den Informationen kaum Einarbeitungszeit kostensparend Expertenwissen Methodenwissen Neutralitt Akzeptanz durch Stakeholder

Vorteile

Interne Evaluartion

fehlende Distanz und Neutralitt Rollenkonikte mangelnde Kompetenzen inhaltliche Distanz Kosten evtl. aufwndige Absprachen
erforderlich

Nachteile

Externe Evaluartion

Vor- und Nachteile interner und externer Evaluation

51

Projektbeispiel PAFF: Im Rahmen des Monitorings ist es bei PAFF die Aufgabe der Patengruppenbetreuer, die Daten von den Paten, Patenkindern und Lehrern zusammenzutragen. Die Daten werden dann von der hauptamtlichen Projektleitung aufbereitet und ausgewertet. Fr die Evaluation wurde ein Wissenschaftler vom Pdagogik-Lehrstuhl der Universitt gewonnen, dessen Studenten die Evaluation als einen Teil ihrer Abschlussarbeit umgesetzt haben.

meist hhere Kosten als Evaluationen, die

von Projektmitarbeitenden durchgefhrt werden, zum anderen braucht nicht jedes Projekt unbedingt eine externe Evaluation. Gleichzeitig erfordert Evaluation an vielen

Wichtig zu wissen: Ein Evaluator sollte folgende Qualikationen mitbringen Erfahrung und Wissen im Themengebiet und Erfahrung mit Evaluationen im Themengebiet gutes Methodenwissen und ein hohes Qualittsbewusstsein Objektivitt (wobei auch der Evaluator nie vollstndig objektiv sein kann, denn auch er hat eine Meinung und Wertehaltung und arbeitet vor dem Hintergrund frherer Erfahrungen. Daher muss in der Evaluation deutlich gemacht werden, an welchen Stellen der Evaluator seine persnliche Meinung einbringt.) eine gute Kommunikationsfhigkeit (mndlich und schriftlich) eine vertrauenswrdige und angenehme Persnlichkeit sowie Sensibilitt im Umgang mit der Zielgruppe (z.B. bei Genderfragen)

Stellen natrlich fachliche und methodische oft nicht zur Verfgung stehen. Manchmal macht es Sinn, diese aufzubauen, aber

Kompetenzen, die innerhalb der Organisation

manchmal ist es sinnvoller, die Expertise von auen hinzuzuziehen. Hier muss von Fall zu Fall abgewogen werden.

Die Unabhngigkeit eines externen Evalua-

tors kann dann zum Nachteil werden, wenn die Erhebung relevanten Informationen zu

er deswegen Schwierigkeiten hat, an die fr kommen. Fr den Erfolg der Evaluation ist es extrem wichtig, dass eine gute ZusammenDie Rolle der Stakeholder bei der Wirkungsanalyse klren arbeit zwischen dem externen Evaluator und den Stakeholdern stattndet. Dafr muss er aber gleichzeitig seine Neutralitt waren. das Vertrauen der Stakeholder besitzen, muss Bei der Wirkungsanalyse sollte es nicht um

Welche Rolle spielen die Stakeholder bei der Durchfhrung der Wirkungsanalyse? Welche Informationen aus der Wirkungsanalyse sind fr die Stakeholder relevant? Knnen sie untersttzen, beeinussen, bremsen, verhindern? Haben sie besondere Hoffnungen, Interessen oder Befrchtungen hinsichtlich der Datenerhebung oder bestimmter Fragestellungen darin? Falls ja, ergeben sich daraus Konsequenzen fr die geplante Erhebung? Mssen zum Beispiel andere Fragestellungen oder andere Beteiligungsformen gewhlt werden?

das Abarbeiten von Berichtspichten gehen,

sondern darum, die Erkenntnisse aus der Wirkungsanalyse als Grundlage fr ein kritisches Nachdenken und Lernen ber das Projekt zu verstehen und zu nutzen. Und das kann

Rahmen der Wirkungsanalyse zusammenlaufen, und die Person sollte Ansprechpartner sein, wenn es bei M&E Probleme gibt. Fr diese koordinierenden Aufgaben mssen

nur bis zu einem gewissen Grad nach auen abgegeben werden. Bei der Mischform aus der internen und externen Evaluation fhren mit einem externen Berater, der Expertise

natrlich ausreichende Ressourcen zur Verfgung gestellt werden. Wo notwendig, muss teamintern Wissen aufgebaut werden.

Projektmitarbeiter die Evaluation gemeinsam und den Blick von auen mitbringt, durch. zen zusammen.

Wer muss in den Prozess der Wirkungsanalyse einbezogen werden?

Hier kommen die Vorteile aus beiden AnstUnabhngig davon, ob Evaluationen intern oder extern durchgefhrt werden, sollte innerhalb des Projekts klar sein, wer fr die Wirkungsanalyse die Hauptverantwortung hat. Hier sollten die Fden aller Prozesse im

Grundstzlich gilt: Wirkungsorientierte

Projektsteuerung, die nicht von der Organi-

sations- bzw. Projektleitung mitgetragen und aktiv gefrdert wird, ist zum Scheitern verurteilt! Wirkungsorientierte Projektsteuerung ist eine Aufgabe im Rahmen der Organisati-

onsentwicklung, die aktiv gefrdert werden

52

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

muss, fr die die notwendigen Ressourcen zur Verfgung stehen mssen und fr die werden mssen. Prozesse und Verantwortlichkeiten festgelegt Die Festlegung von Verantwortlichkeiten fr die Wirkungsanalyse sollte aber nicht dazu den das Gefhl entsteht, dass jemand fr fhren, dass bei den anderen Mitarbeitendie Wirkungsanalyse zustndig ist und man sich selbst nicht mehr darum zu kmmern braucht. Alle Mitarbeitenden sollten in M&E der Wirkungsanalyse ist es, gemeinsam aus den Ergebnissen zu lernen!

bewegen sollte. Die Kosten beinhalten dabei vor allem die Personalkosten, die entweder intern oder fr einen externen Evaluator

WIRKUNG ANALYSIEREN

anfallen. Dazu kommen Druckkosten fr den Evaluationsbericht, Kosten fr die Kommunikation der Ergebnisse, Brokosten und eventuell Reisekosten. WIRKUNG VERBESSERN

Whrend Monitoringaufgaben in den Projektmanagementkosten enthalten sein sollten, sind (externe) Evaluationen meist eigene

1 2 3

einbezogen werden, denn der primre Zweck

Posten im Budget. In einigen Fllen ist ein Teil der Frdersumme explizit fr M&E und die sind dafr jedoch berhaupt keine Mittel Berichterstattung ausgewiesen. Nicht selten eingeplant. Welche Mglichkeiten haben Sie, Manahmen umzusetzen?

Wer sollte auer den Mitarbeitenden se mit einbezogen werden?

noch in den Prozess der Wirkungsanaly-

auch mit wenigen Ressourcen ntzliche M&E-

Im Rahmen der Projektplanung haben Sie

bereits die Stakeholder Ihres Projekts identiist nicht nur bei der Planung und Umsetzung analyse wichtig. Die Wirkungsanalyse muss

Angesichts eines kleinen Budgets ist es oft

ziert ( Kap. 1 ). Der Einuss der Stakeholder des Projekts, sondern auch bei der Wirkungsvon den Stakeholdern mitgetragen werden.

sinnvoll, lieber einen kleinen, aber relevan-

ten Teil des Projekts gut zu evaluieren, statt und dabei starke Abstriche bei der Qualitt der Evaluation in Kauf nehmen zu mssen. Einige Methoden der Datenerhebung sind

Daten fr das komplette Projekt zu erheben

Folgende Fragen knnen Ihnen helfen, die Kosten berschaubar zu halten

Es empehlt sich, die wichtigen Stakeholder

regelmig in den Prozess der Wirkungsanader Ergebnisse und des Prozesses sicherzustellen und Widerstnden vorzubeugen.

aufwndiger und damit auch kostspieliger als andere. Hier gilt es, die Methode zu whlen, send ist und gleichzeitig den Kostenrahmen dene Erhebungsmethoden nden Sie in Kap. 6 des Kursbuchs. die fr das jeweilige Erkenntnisinteresse pasnicht sprengt. Einen berblick ber verschie-

Sind die Informationen, die gesammelt werden sollen, wirklich notwendig? Liegen die Daten vielleicht schon an anderem Ort vor? Ist die Anzahl der Befragten (Stichprobengre) angemessen oder zu gro? Gibt es kostengnstigere Erhebungsinstrumente, die genutzt werden knnen?

lyse mit einzubeziehen und damit die Qualitt

Und was kostet das Ganze?


Wenn Sie Ihre Wirkungsanalyse planen,

stellt sich natrlich auch die Frage nach den kommt das Geld dafr?

brigens: Oft sind im Budget keine ausreichenden Mittel fr die Auswertung der erhobenen Daten und deren Nutzung fr die Weiterentwicklung des Projekts und fr die Kommunikation vorhanden. Planen Sie auch fr diese

Aufwnden: Wie viel kostet M&E und woher

Welche Aufgaben mssen vom externen Evaluator durchgefhrt werden und welche knnen auch von den Projektmitarbeitenden bernommen werden?

Generell kann man sagen, dass sich das

Budget fr die Wirkungsanalyse zwischen drei und zehn Prozent des Projektbudgets

wichtigen Schritte gengend Ressourcen ein!

53

Realistisches Erwartungsmanagement bei der Wirkungsanalyse


Mit der Wirkungsanalyse sind hug hohe Erwartungen verbunden. Zum einen wollen die Projektverantwortlichen selbst wissen, ob ihr Projekt die erwnschten Wirkungen zeigt. Zum anderen steigen seitens der Geldgeber die Anforderungen an die Wirkungsnachweise der Projekte. Zum Teil sind diese Erwartungen aus methodischen Grnden schwer zu erfllen, oft sind aber auch die fr die Wirkungsanalyse zur Verfgung stehenden Ressourcen der begrenzende Faktor. Was knnen Sie tun, wenn Sie feststellen, dass die Beantwortung einer bestimmten Fragestellung einen berproportionalen Aufwand bedeuten wrde? Tauschen Sie sich mit Ihrem Geldgeber aus. Zeigen Sie auf, welche Kosten die Erhebung der Informationen mit sich bringt, und berlegen Sie gemeinsam, ob dies im Verhltnis zu den erwarteten Erkenntnissen steht und ob es mglicherweise Alternativen gibt. Wenn Geldgeber Wert auf Informationen legen, die nur mit hohem zustzlichem Aufwand erhoben werden knnen, sollte Sie gemeinsam berlegen, woher die hierfr notwendigen Ressourcen kommen knnen. wissen mchte. Auf dieser Grundlage lassen sich die Fragen erarbeiten, welche durch die Wirkungsanalyse beantwortet werden sollen, und fr diese Fragen knnen dann die geeigausgewhlt werden. neten Indikatoren und Erhebungsinstrumente

Welche Erkenntnisinteressen werden im Rahmen der Wirkungsanalyse verfolgt?


Die Wirkungsanalyse soll

Projektbeispiel PAFF: Ein groer Teil des Monitorings bei PAFF wird im Rahmen der ehrenamtlichen Ttigkeit durch die Paten und die Patengruppenbetreuer durchgefhrt. Die hauptamtliche Projektleitung trgt die Informationen zusammen und bereitet sie auf. Die Evaluation wurde zum Teil durch Studierende des Pdagogik-Lehrstuhls im Rahmen ihrer Abschlussarbeit durchgefhrt, die Kosten waren daher berschaubar. Die geplante Verbleibstudie soll von einem externen Evaluator durchgefhrt werden, die Finanzierung hat die Frderstiftung, die Hauptgeldgeber fr PAFF ist, zugesagt.

feststellen, auf welche Herausforderungen


und Bedarfe das Projekt reagiert ( Kap. 1)

feststellen, welche Leistungen (Outputs)


die Projektumsetzung treffen. Die (quantitative) Erhebung der Leistungen/Outputs

das Projekt erbracht hat, und Aussagen ber

beantwortet die Frage: Was haben wir getan? Diese Frage lsst sich in den meisten Fllen relativ leicht beantworten. Im Rahmen der

Wirkungsanalyse mchten Sie aber auch wissen, wie gut Sie etwas getan haben und ob und innerhalb des geplanten Zeitrahmens und Budgets umgesetzt haben. Sie Ihre Aktivitten in der geplanten Qualitt

4.3 WELCHE FRAGEN SOLLEN DURCH DIE WIRKUNGSANALYSE BEANTWORTET WERDEN?


Nachdem die logistischen Fragen geklrt wurden, geht es nun in Richtung Datener-

feststellen, ob und in welchem Ma das

Projekt seine Wirkungsziele auf den verschiedenen Stufen der Wirkungslogik erreicht hat.

feststellen, ob die Wirkungslogik funktioniert. Hier werden die (logischen) Grundannahmen, die hinter dem Projektkonzept abgeglichen und hinterfragt. stehen, mit den Erfahrungen aus der Praxis

hebung. Die Wirkungsanalyse kann wie eine riesige und komplexe Aufgabe einschchternd wirken. Sie kann aber auch eine bewltigbare Aufgabe sein, wenn man sich vorab genau berlegt, fr wen und fr welchen

Zweck man die Analyse macht und was man

Im Rahmen der Wirkungsanalyse sollten Sie dabei alle Aspekte im Blick haben. Je nach

54

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Tipps fr die Entwicklung der Fragestellungen

WIRKUNG PLANEN

Denken Sie bei der Entwicklung der Fragestellungen daran, dass Sie Informationen fr verschiedene Zwecke brauchen: Welche Informationen brauchen Sie fr Ihre Berichterstattung? Welche Informationen brauchen Sie, um daraus zu lernen und gegebenenfalls Verbesserungen in der Projektarbeit umzusetzen? Die Entwicklung der Fragestellungen fr die Wirkungsanalyse ist kein einmaliger Prozess. Fragen, die zu Beginn des Projekts erstellt werden, knnen im Laufe des Projekts noch angepasst werden, einige knnen wegfallen und andere knnen dazukommen.

WIRKUNG ANALYSIEREN

WIRKUNG VERBESSERN

Interessenschwerpunkt wird sich aber der Fokus der Wirkungsanalyse verschieben. Angesichts der Menge an mglichen Fragen

Sie die Fragen ihrer Evaluation vor dem HinIhnen das helfen, Ihre Wirkungsanalyse zu strukturieren und zu priorisieren.

tergrund der Wirkungslogik erarbeiten, wird

1 2 3

Abb. berblick Fragestellungen der Wirkungslogik

muss eine Auswahl getroffen werden. Wenn

fr die Wirkungsanalyse entlang

Inputs
Ressourcen Was investieren wir in unser Projekt?

Outputs
Leistungen Welche Leistungen bieten wir in unserem Projekt an und wen erreichen wir damit?

Outcomes
Wirkungen auf Ebene der Zielgruppe Was bewirkt unser Projekt bei unserer Zielgruppe? Auf welcher Stufe und in welchem Ma?

Impact
Wirkungen auf gesellschaftlicher Ebene Zu welchen gesellschaftlichen Entwicklungen trgt das Projekt bei?

1
Wie viele Ressourcen sind in das Projekt eingeossen? Reichen die vorhandenen Ressourcen aus, um das Projekt erfolgreich durchzufhren? Anzahl der Leistungen (Produkte, Seminare etc.)? Wie passen die einzelnen Projektbausteine zusammen?

4
Verndert sich das Wissen? In welchem Ma? Wie ndern sich die Meinungen? Inwiefern?

7
Hat sich der Lebensstandard der Gesellschaft vor Ort verbessert? Hat sich der Gesundheitszustand der Gesellschaft vor Ort verbessert? Hat der Wohlstand der Gesellschaft vor Ort zugenommen? Wer hat ber die Zielgruppe hinaus vom Projekt protiert? Welche Ziele auf Ebene der Impacts konnten erreicht werden und welche nicht?

Werden die Zielgruppen erreicht? Anzahl der Teilnehmenden?

Verndert sich das Verhalten? Inwiefern?

Sind die Teilnehmenden mit dem Projekt zufrieden? Fragen zur Efzienz: In welchem Verhltnis stehen Inputs (Ressourcen) und Outputs (Leistungen)? Haben die Dinge so viel gekostet wie geplant? Frage nach der Qualitt: Wurden die Leistungen in der Qualitt erbracht wie geplant?

ndert sich die individuelle Lebenssituation? Inwiefern?

Fragen bezglich der Wirkungslogik: Funktioniert die Wirkungslogik in der Praxis? Fhren die eingesetzten Ressourcen und erbrachten Leistungen zu den erwnschten Wirkungen? Welche Teile des Projekts erweisen sich als ntzlich, um die Bedarfe der Zielgruppe zu untersttzen (z.B. Ausstattung, Personal, Rumlichkeiten, ffnungszeiten)? Was funktioniert? Was funktioniert nicht? Warum?

55

Prozesse und Wirkungen zusammen denken!


Whrend sich frher die Evaluation und die Berichterstattung eher auf die Aktivitten des Projekts konzentrierten, geht die Entwicklung heute immer strker dahin, dass gemeinntzige Organisationen die Wirkung ihrer Arbeit nachweisen mssen, whrend der Prozess nicht mehr so stark im Zentrum des Interesses steht. Im Sinne einer wirkungsorientierten Umsetzung und Steuerung eines Projekts ist es wichtig, sowohl die Prozess- als auch die Wirkungsebene zu beachten und im Rahmen der Wirkungsanalyse zu erfassen. Denn Sie mchten wissen, welche Wirkung Sie erzielen, aber Sie mchten auch wissen, welche Teile des Projekts dazu beitragen oder wo es Hindernisse gibt, die es verhindern, (noch) bessere Resultate zu erzielen.

Negative und unerwartete Wirkungen im Blick behalten!


Im Rahmen der Wirkungsanalyse versuchen Sie festzustellen, was Sie in Ihrem Projekt geschafft haben und welche positiven Vernderungen fr die Zielgruppe erreicht wurden. Vergessen Sie darber aber nicht, dass im Rahmen eines Projekts auch Effekte eintreten knnen, die nicht geplant waren. Diese knnen positiv und negativ sein. Fragen Sie daher auch: Wer protiert nicht von unserem Projekt? Welche (Unter-)Zielgruppen haben wir nicht erreicht? Welche Ziele wurden nicht erreicht? Welche unerwarteten positiven Wirkungen sind aufgetreten?

Gab es negative Wirkungen?

Nachdem Sie die Fragen fr die Wirkungsanalyse erarbeitet haben, entwickeln Sie im nchsten Schritt Indikatoren, mit deren Hilfe Sie die Fragen, die Sie im Rahmen der Wirkungsanalyse die Erhebung der Daten ( Kap. 6). stellen, beantwortbar machen ( Kap. 5), und identizieren die passenden Instrumente fr

56

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Fragen fr Monitoring und Evaluation entlang der Wirkungslogik fr das Projektbeispiel PAFF

WIRKUNG ANALYSIEREN

1 2

Inputs
Ressourcen Das, was wir in das Projekt investieren

Outputs
Leistungen Das, was wir in unserem Projekt tun bzw. anbieten und wen wir damit erreichen

Outcomes
Wirkungen auf Ebene der Zielgruppe Das, was wir bei unserer Zielgruppe durch unser Projekt bewirken wollen

Impact
Wirkungen auf gesellschaftlicher Ebene Das, wozu wir auf gesellschaftlicher Ebene mit unserem Projekt beitragen wollen

1
Haben die Ressourcen ausgereicht, um die gesetzten Ziele zu erreichen? Konnten die Ressourcen wie geplant eingesetzt werden? Wie ist das Verhltnis von eingesetzten Ressourcen zu Leistungen und Wirkungen? Wurden die Leistungen wie geplant umgesetzt und angeboten? Wurden die Nachhilfestunden / Bewerbungstrainings wie geplant durchgefhrt? Wie viele Bewerbungstrainings wurden durchgefhrt? Sind die Inhalte der Trainings fr die Kompetenzentwicklung geeignet? Sind die Paten qualiziert fr die Aufgaben? Ist die Betreuung der Jugendlichen durch die Paten zielfhrend? Funktioniert die Patenvermittlung?

4
Wissen Jugendliche durch das Angebot, wie man sich richtig bewirbt? Haben die Jugendlichen durch die Trainings berufsrelevante soziale Kompetenzen erworben? Haben die Jugendlichen ihr Wissen in den Schulfchern, in denen sie Probleme haben, verbessert?

7
Hat sich die bergangsquote von der Schule in die Ausbildung bei den Schlern im Stadtteil erhht? Inwiefern hat das Projekt dazu beigetragen? Leistet das Projekt einen Beitrag zur Reduktion von Armut im Stadtteil?

5
Sind die Jugendlichen in der Lage, passgenaue Bewerbungsunterlagen zu erstellen? Verhalten sie sich selbstsicher und sozial kompetent bei Vorstellungsgesprchen? Haben sich die Noten der Jugendlichen verbessert?

2
Werden Jugendliche durch das Angebot erreicht? Wie viele Jugendliche nehmen an den einzelnen Angeboten teil? Welcher Teil des Angebots wird stark/ weniger stark genutzt?

6
Hilft das Projekt den Teilnehmenden beim Finden eines Ausbildungsplatzes? Wie viele der Teilnehmer konnten in Ausbildung vermittelt werden? Trgt das Projekt dazu bei, den soziokonomischen Status der Jugendlichen zu verbessern? Hilft das Projekt den Jugendlichen, einen qualizierten Schulabschluss zu erlangen?

io o i
3
Sind die Jugendlichen mit dem jeweiligen Angebot zufrieden? Sind die Jugendlichen mit ihrem Paten zufrieden? Warum sind die Jugendlichen ggf. unzufrieden und womit? Wo besteht Verbesserungspotenzial?

57

5. WIRKUNG BERPRFBAR MACHEN INDIKATOREN ENTWICKELN

In diesem Kapitel erfahren Sie,

was Indikatoren sind und wozu man welche Arten von Indikatoren es gibt. was gute Indikatoren ausmacht und was Baseline und Soll-Werte sind und
wofr sie genutzt werden knnen.
Woran machen Sie fest, ob Sie bei Ihrer Seereise auf dem richtigen Weg sind? Vielleicht an den Ksten und LeuchttrAnzeige des GPS-Systems und der Zahl

Auch in Ihrer Projektarbeit mssen Sie kontinuierlich feststellen, ob Sie mit dem, was Sie brauchen Sie, wie bei der Seereise, Anhaltstun, auf dem richtigen Weg sind. Und hierfr punkte, anhand derer Sie feststellen knnen, ob Sie sich den Zielen Ihres Projekts nhern. sich mit den Wirkungszielen, der Wirkungslogik und relevanten Fragestellungen fr die Wirkungsanalyse auseinandergesetzt. Nun geht es darum, zu berlegen, wie Sie feststellen knnen, ob Sie die Wirkungsziele erreichen und wie Sie die Evaluationsfragen beantworten knnen. Fr beides bentigen ckeln mssen, um dann im nchsten Schritt lyse Daten erheben zu knnen ( Kap. 6). In den vorangegangenen Kapiteln haben Sie

sie braucht.

wie man sie entwickelt.

men, an denen Sie vorbeikommen? An der der zurckgelegten Seemeilen? Oder auch an den sich verndernden Temperaturen herauszufinden, ob Sie mit Ihrem Schiff messbare und fhlbare Hinweise. oder dem Auftauchen von Eisbergen? Um auf Kurs sind, nutzen Sie also sichtbare,

Sie sogenannte Indikatoren, die Sie entwiauf dieser Basis im Rahmen der Wirkungsana-

58

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

5.1 WAS SIND INDIKATOREN UND WOFR BRAUCHT MAN SIE?


Was sind Indikatoren?
Auch wenn Wirkungsziele so konkret wie

getroffen werden knnen. Genauso geht es rechtzeitig die Informationen zu haben, rung ermglichen.

WIRKUNG ANALYSIEREN

whrend des gesamten Projektzyklus darum, die eine wirkungsorientierte ProjektsteueWIRKUNG VERBESSERN

mglich formuliert sind, lsst sich daraus in

In der Planungsphase werden Indikatoren zur Beschreibung der Situation und der Beder Wirkungsziele. Fr die wirkungsoriendarfe genutzt und dienen der Konkretisierung tierte Projektsteuerung ist es wichtig, dass whrend der Planungsphase festgelegt

den meisten Fllen nicht ohne weiteres ableinotwendig, mit Indikatoren zu arbeiten. Der Begriff Indikator kann bersetzt werden

1 2 3

ten, ob das Ziel erreicht wurde. Deshalb ist es

mit Hinweis. Anhand von Indikatoren lsst sich feststellen, ob ein bestimmter Sachverhalt oder ein bestimmtes Ereignis eingetreten ist. So sind gelbe Bltter an den Bumen ein ten hat, und herumwirbelndes Laub ist ein Indikator dafr, dass der Herbst Einzug gehalIndikator fr Wind. Ein Indikator dafr, dass knnte zum Beispiel der Leuchtturm an der

die Indikatoren (so weit wie mglich) bereits werden, damit whrend der Projektumset-

zung klar ist, welche Aspekte whrend des

gesamten Projektzyklus relevant sind: Welche Wirkungsziele wollen und knnen wir regelmig beobachten? Woran stellen wir den unseres Projekts fest?

Sie auf Ihrer Seereise Ihr Ziel erreicht haben, Einfahrt zum Hafen sein, den Sie angesteuert ren, die Frage, ob das Schiff auf dem richtigen Kurs ist, in konkrete und berprfbare Dimensionen wie die Kstenformationen, die Temperatur, Strmung und Geschwin-

Projektfortschritt und schlielich die Wirkung

haben. Aber auch unterwegs helfen Indikato-

Bei der Projektumsetzung sind Indikatoren trolle, des Lernens und der Steuerung. Mit Hilfe der Indikatoren lsst sich feststellen,

ein wichtiges Instrument der Fortschrittskon-

ob das Projekt noch auf Kurs ist und seine Ziele entlang der Stufen der Wirkungslogik erreicht. Die regelmige Beobachtung der die wirkungsorientierte Steuerung.

digkeit oder den Stand der zurckgelegten

Seemeilen herunterzubrechen. Die Bildung

von Indikatoren fr Ihr Projekt ist sicherlich zip her gleich.

Indikatoren ist daher die Voraussetzung fr

komplexer, funktioniert aber vom Grundprin-

Im Rahmen einer abschlieenden Betrachlage fr die Analyse und Bewertung des

Wofr braucht man Indikatoren?


Um zu wissen, ob man auf dem richtigen

tung des Projekts sind die Indikatoren GrundErreichten. Die Resultate lassen sich mit der und Sie knnen feststellen, ob Sie die Ziele, die Sie sich fr Ihr Projekt gesteckt haben, erreicht haben ( Kap 5.4.).

Weg ist, und um zu entscheiden, ob auf der Seereise der Kurs angepasst werden muss, mssen die notwendigen Informationen vor-

Situation zu Beginn des Projekts vergleichen

liegen, auf deren Grundlage Entscheidungen

59

5.2 ARTEN VON INDIKATOREN


Direkte und indirekte Indikatoren
Direkte Indikatoren beziehen sich direkt auf das, was sie beschreiben wollen. Sie lassen sich besonders fr zhlbare Sachverhalte und Vernderungen wie Outputs, aber auch leicht messbare Wirkungen formulieren und lassen Sie sich, wie im Projektbeispiel, vor, dass eidurch die Teilnahme an Ihrem Projekt einen

die Erhebung der Bevlkerungszahl in einem

groen und schwer zugnglichen, von Nomaden besiedelten Gebiet. Statt einer praktisch entschied man sich dafr, nachts ber das kaum durchzufhrenden Zhlung pro Kopf Land zu iegen und, als indirekten Indikator, die erleuchteten Feuerstellen zu zhlen. Aus Erfahrung wusste man, wie viele Mitglieder

einer Familie durchschnittlich um eine Feuerstelle ihr Lager errichtet hatten, und konnte bestimmen. Ein anderes Beispiel: Wenn Sie so die Bevlkerungszahl ausreichend genau wissen mchten, wie hoch die Zahl der von ist, wre ein mglicher indirekter Indikator die Anzahl der Kinder des Stadtteils, die nutzen.

sich oft direkt aus den Zielen ableiten. Stellen nes Ihrer Wirkungsziele ist, dass Jugendliche Ausbildungsplatz bekommen. Wenn Sie nun erreicht woran wrden Sie das erkennen? An den Jugendlichen, die nach Teilnahme an Ihrem Projekt einen Ausbildungsplatz

Armut betroffenen Kinder in einem Stadtteil

wissen wollen, ob das Projekt diese Wirkung

das Angebot eines kostenlosen Mittagessens

bekommen haben. Der Indikator ist also die

Anzahl der Jugendlichen, die nach Teilnahbekommen haben.

Indirekte Indikatoren werden vor allem auch beschrieben werden sollen, zum Beispiel Lebensumstnde oder Vernderungen in

me an Ihrem Projekt einen Ausbildungsplatz

dann genutzt, wenn qualitative Sachverhalte

Was bei den direkten Indikatoren zum Teil so offensichtlich. Denn nicht immer sind Indikatoren so klar und direkt ableitbar.

Hinblick auf Einstellungen, Motivation oder klar ist, wie sie sich ausdrcken. Vielleicht

recht simpel erscheint, ist jedoch oft nicht

Verhalten also Dinge, bei denen nicht direkt wollen Sie mit Ihrer Erhebung herausnden, selbstbewusster werden. Hier gilt es zu

Das fhrt dazu, dass viele Sachverhalte und Vernderungen auf den ersten Blick nicht berprfbar erscheinen. In diesen Fllen werden sogenannte indirekte Indikato-

ob die Jugendlichen im Rahmen Ihres Projekts berlegen, woran ein gestrktes Selbstbe-

wusstsein festzustellen ist. Dies kann sich unliche vielleicht nun fter seine Meinung in der Gruppe? Hat er mehr soziale Kontakte mit den anderen Teilnehmern? Hat sich vielleicht seine Krperhaltung verbessert und geht er jetzt aufrechter? Sie sehen also, hier lsst

ren genutzt. Indirekte Indikatoren (in der weisen nur mittelbar auf den zu beobachwenn es nicht oder nur mit unvertretbar

terschiedlich ausdrcken: Vertritt der Jugend-

Fachsprache auch Proxy-Indikatoren genannt) tenden Sachverhalt hin. Sie werden genutzt, hohem Aufwand mglich ist, den Sachverhalt die Nutzung eines indirekten Indikators ist

selbst zu erheben. Ein klassisches Beispiel fr

sich nicht so klar und direkt ein Indikator zu-

ordnen. Es werden sogar mehrere Indikatoren ntig sein, um die Vernderungen abzubilden

60

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

und Aussagen ber die Zielerreichung treffen zu knnen. Dabei ist auch zu beachten, dass indirekte Indikatoren sehr kontextabhngig

Output-Indikatoren

WIRKUNG ANALYSIEREN

Outputs sind zwar noch keine Wirkungen, sie sind aber die Grundlage und die Bedingung dafr, dass Wirkungen berhaupt entstehen knnen. Besonders zu Beginn eines Projekts sind, die sich erheben lassen, da Wirkungen oftmals erst nach einiger Zeit zu ermitteln sind. Wenn Sie die Wirkungen Ihres Projekts kaum berprfen knnen, sollten Sie daher zumindest Aussagen ber Ihre Outputs treffen knnen und hierfr entsprechend kann es sein, dass Outputs die einzigen Dinge WIRKUNG VERBESSERN

sind und vor dem Hintergrund des jeweiligen

Projekts und dem sozialen und gesellschaftlichen Hintergrund erarbeitet werden mssen.

Indikatoren fr die verschiedenen Stufen der Wirkungslogik

1 2 3

Wie bei der Seereise Indikatoren notwendig sind, um festzustellen, ob die einzelnen (Etappen-)Ziele der Reise erreicht wurden, mssen auch fr die verschiedenen Stufen der Wirkungslogik Indikatoren gebildet werden, um feststellen zu knnen, ob das

Indikatoren bilden. Andersherum kann der Ziele auf Output-Ebene einfach zu nden

Umstand, dass Indikatoren fr leicht zhlbare sind, auch dazu verleiten, vor allem OutputIndikatoren zu formulieren. Wenn Sie aber mssen Sie auch auf der Wirkungsebene Indikatoren entwickeln. Input-Indikatoren wissen wollen, ob Ihr Projekt Wirkung erzielt,

Projekt auf dem richtigen Weg ist. Die Indikatoren entlang der Wirkungslogik sind damit quasi Meilensteine fr die Steuerung Ihres Projekts. Indikatoren knnen, entsprechend der Wirkungslogik, in Impact-, Outcome-,

Output- und Input-Indikatoren unterschieden werden. Fr die wirkungsorientierte Projektarbeit sind auerdem Indikatoren fr die Qualitt der Projektarbeit wichtig. Wirkungsindikatoren

Auch Input-Indikatoren sind relevant, da

sie zum einen Auskunft ber die Ressourcen

geben, die in das Projekt einieen, und zum

anderen, weil sich auf dieser Grundlage Rckschlsse ber die Efzienz und die Effektivitt eines Projektes ziehen lassen. Wenn man die Inputs in Relation zu den Outputs und

Um feststellen zu knnen, ob und inwieweit Ihr Projekt Wirkung entfaltet, mssen Sie Indikatoren) bilden. Um den Fortschritt Ihrer Projektteilnehmer nachvollziehen Wirkungsindikatoren (Outcome- und Impact-

Wirkungen setzt, knnen nach der Daten-

erhebung Fragen beantwortet werden wie: erbracht (Efzienz) beziehungsweise mit erzielt (Effektivitt)?

und darstellen zu knnen, ist es dabei auch

Mit wie viel Inputs wurden wie viele Outputs wie vielen Inputs wurden welche Wirkungen

wichtig, nicht nur Indikatoren fr langfristige Wirkungen, sondern auch fr die Outcomes logik zu formulieren. auf den verschiedenen Stufen der Wirkungs-

Qualittsindikatoren

Eine weitere Art von Indikatoren, die sich aber fr die wirkungsorientierten Pro-

nicht direkt auf die Wirkungslogik bezieht,

61

Inputs
Ressourcen Das, was wir in das Projekt investieren

Outputs
Leistungen Das, was wir in unserem Projekt tun bzw. anbieten und wen wir damit erreichen

Outcomes
Wirkungen auf Ebene der Zielgruppe Das, was wir bei unserer Zielgruppe durch unser Projekt bewirken wollen

Impact
Wirkungen auf gesellschaftlicher Ebene Das, wozu wir auf gesellschaftlicher Ebene mit unserem Projekt beitragen wollen

Menge der eingesetzten Ressourcen: Anzahl der hauptamtlichen Mitarbeiter Anzahl der Paten Anzahl der Patengruppenbetreuer Eingesetzte Zeit je Mitarbeiter Hhe der nanziellen Ressourcen zur Verfgung stehende Rumlichkeiten zur Verfgung stehende Materialien (Computer etc.)

Anzahl der Nachhilfestunden Bewerbungstrainings Beratungen fr Jugendliche Treffen mit Paten und Jugendlichen Patenvermittlung Patenschulungen Patensupervision Patenweiterbildung Projektyer Projektleitfaden Ratgeber mit Tipps

Anzahl der Jugendlichen, die wissen, wie man sich richtig bewirbt soziale Kompetenzen erworben haben, die fr einen erfolgreichen Berufseinstieg notwendig sind ihre Kenntnisse in den Kernschulfchern verbessert haben

5
Anzahl der Jugendlichen, die selbststndig qualitativ gute Bewerbungsunterlagen erstellen sich bei Vorstellungsgesprchen sozial kompetent verhalten angeben, selbstsicherer in Vorstellungsgesprche zu gehen Verbesserung der Schulnoten innerhalb eines bestimmten Zeitraums bergangs- und Ausbildungsquote im Stadtteil Vernderung der Jugendarbeitslosenquote im Stadtteil

2
Anzahl der Jugendlichen, die am Projekt teilnehmen Anzahl der Jugendlichen, die an den einzelnen Angeboten des Projekts teilnehmen.

io o i
3 6
Anzahl der Jugendlichen, die mit dem Projekt und den Angeboten zufrieden sind Anzahl der Jugendlichen, die einen qualizierten Schulabschluss erreicht haben Anzahl der Jugendlichen, die innerhalb von x Monaten nach Teilnahme am Projekt einen Ausbildungsplatz bekommen haben. Vernderung des soziokonomischen Status der Jugendlichen (Einkommen etc.)

jektsteuerung wichtige Hinweise auf die

Qualitt der angebotenen Leistungen gibt, sind Qualittsindikatoren. Im Rahmen der


Abb. Indikatoren fr

sorin begleitet werden. Die Qualittskriterien werden spter im Rahmen des Monitorings mit der Realitt abgeglichen. Wie bei den Output-Indikatoren gilt auch hier: Gerade

Projektplanung sollten Sie Qualittsstandards formulieren, die Sie an Ihr Projekt

das Projektbeispiel PAFF

anlegen, und hierfr Indikatoren entwickeln. dass Nachhilfestunden nur von Lehrern oder Lehramtsstudenten der jeweiligen Fachrichtung durchgefhrt werden oder dass Paten

wenn Sie ein Projekt umsetzen, bei dem sich

Solche Standards knnen beispielsweise sein,

Wirkungen schwer nachweisen lassen, sollten Sie versuchen, die Qualitt Ihres Projekts mit Hilfe aussagekrftiger Qualittsindikatoren zu belegen.

regelmig von einer ausgebildeten Supervi-

62

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

5.3 SCHRITTE ZUR INDIKATORENENTWICKLUNG


Idealerweise sollten Indikatoren so frh wie mglich am besten whrend der Planungsphase des Projekts erarbeitet werden. Das bedeutet allerdings nicht, dass im Projektvernicht noch Indikatoren dazukommen knnen. Indikatoren werden auf der Grundlage von Fragestellungen entwickelt, und es ist gut erst im Projektverlauf auftauchen. mglich, dass spezische Fragestellungen

Schritt 1: Ideen sammeln


Grundlage und Ausgangspunkt fr die

WIRKUNG ANALYSIEREN

Entwicklung von Indikatoren sind die Ziele

des Projekts, die fr die verschiedenen Stufen der Wirkungslogik festgehalten wurden, und die fr die Wirkungsanalyse entwickelten Fragestellungen ( Kap. 2). Schreiben Sie

WIRKUNG VERBESSERN

lauf oder bei einer abschlieenden Evaluation

diese fr alle sichtbar, zum Beispiel an einem Flipchart, auf. Gehen Sie die Punkte einzeln Sie erkennen wrden, dass ein bestimmtes durch und berlegen Sie gemeinsam, woran Ziel erreicht wurde, oder wie Sie die Fragen fr die Wirkungsanalyse beantworten wrIdeen zu sammeln, und noch nicht darum, den. Es geht in diesem ersten Schritt darum, diese zu bewerten. Sammeln Sie daher alles, ohne sich von vornherein zu beschrnken. Notieren Sie die Vorschlge der Gruppenmitglieder oder lassen Sie diese ihre Ideen auf und Fragestellungen zuordnen. Krtchen schreiben, die Sie dann den Zielen

1 2 3

In die Entwicklung der Indikatoren sollten die Personen, die an der Planung, Durchfhrung und Wirkungsanalyse des Projekts beteiligt tern im Projekt sollten auch Vertreter Ihrer

sind, eingebunden sein. Neben den MitarbeiFrderer einbezogen werden. Diese knnen Erwartungen hilfreich bei der Entwicklung und Priorisierung der Indikatoren sein.

mit ihren spezischen Sichtweisen, aber auch

Grundstzlich sollten Sie fr alle Stufen

Schritt 2: Strukturierung und Verfeinerung der Ideen

Ihrer Wirkungslogik Indikatoren entwickeln, da fr eine wirkungsorientierte Steuerung die Erhebung von Daten zu allen Bereichen alle Bereiche Daten erheben weil sich Ihr Erkenntnissinteresse auf eine bestimmte

Im zweiten Schritt werden die Ideen struk-

wichtig ist. Dies gilt auch, wenn Sie nicht fr

turiert und verfeinert. Schauen Sie sich die

zusammengetragenen Ideen an, fassen Sie diese sinnvoll zusammen, ergnzen Sie wo notwendig und streichen Sie Doppelungen.

Fragestellung richtet oder Ihre Ressourcen

eine umfassende Betrachtung nicht zulassen. Wie gehen Sie nun konkret vor, um die Indikaden nden Sie vier Schritte, an denen Sie sich orientieren knnen.

Zum Teil knnen die Wirkungsziele mit einem Indikator erfasst werden, vor allem, wenn es sich um quantitative Merkmale handelt, wie zum Beispiel die Anzahl der Jugendlichen, die nach Teilnahme am Projekt einen AusbilWirkungsziele sind zumeist mehrere Indi-

toren fr Ihr Projekt zu erarbeiten? Im Folgen-

dungsplatz gefunden haben. Fr komplexere katoren notwendig, um mit einer Mischung

aus qualitativen und quantitativen Aussagen

63

Ziel

Jugendliche haben nach Teilnahme am Projekt einen Ausbildungsplatz (direkt berprfbar)

Dimension
zhlbar

Indikatoren

Anzahl der Jugendlichen, die innerhalb von 6 Monaten nach Teilnahme am Projekt einen Job haben Anzahl der Teilnehmenden an Trainings Anzahl der nach der Bewerbung erhaltenen Jobzusagen Jugendliche wissen, wie eine gute Bewerbung aufgebaut ist

zhlbar Jugendliche verfgen ber hhere Bewerbungskompetenzen (nicht direkt berprfbar) beschreibbar

Jugendliche haben eine klare beruiche Perspektive Qualitt der erstellten Bewerbungsunterlagen (Aussehen, Formulierung, Vollstndigkeit) Jugendliche erstellen selbststndig eine Bewerbung

die Zielerreichung oder eine Entwicklung zu

beschreiben. berlegen Sie, ob die Indikatoren die verschiedenen Dimensionen, die Ihre Indikatorensets als Anregung nutzen! Ziele und Evaluationsfragen haben knnen, die Erreichung eines Ziels wie Jugendliche haben hhere Bewerbungskompetenzen ausdrcken? Gibt es eine zhlbare Dimengibt es?

lichkeiten sind hier unter anderem: Anzahl, Summen, Durchschnitte, der Prozentsatz Vernderung etc. einer (Gesamt-)Menge, der Prozentsatz einer

Bei der Entwicklung Ihrer Indikatoren knnen Sie sich auch an anderen Organisationen in Ihrem Themenfeld orientieren oder bereits vorhandene Indikatorensets (die Sie in der Fachliteratur, aber auch im Internet nden) fr einen bestimmten Themenbereich zur Anregung nutzen. Einfach bernehmen sollten Sie diese aber nicht schlielich ist kein Projekt genau wie Ihres, und die Entwicklung der Indikatoren ist ein wichtiger Schritt in der Projektentwicklung.

abdecken. Wodurch kann sich beispielsweise

Die Herausforderung, Indikatoren SMART

zu formulieren, kann unter Umstnden dazu verleiten, vor allem Indikatoren auf OutputEbene und Indikatoren fr Wirkungen, die gezhlt werden knnen, zu formulieren.

sion? Welche beschreibbaren Dimensionen

Schritt 3: Indikatoren formulieren


Damit ein Indikator aussagekrftig und

Hier gilt es jedoch, eine gute Mischung aus

Indikatoren zu nden, die sowohl quantitative als auch qualitative Aspekte beleuchten. Im Kapitel zur Wirkungslogik wurde dargestellt, wie wichtig es in der wirkungsorientierten Projektarbeit ist, die sogenannten schritte zu bercksichtigen ( Kap. 3). Indikatoren erarbeitet werden. Soft Outcomes und die erreichten FortUm diese zu erheben, mssen auch hierfr

messbar wird, sollte er wie die Ziele SMART, das heit Spezisch, Messbar, Akzeptiert, Realistisch und Terminierbar formuliert sein

( Kap. 2). Formulieren Sie den Indikator so, Zeitraum erreicht werden soll. Je nach-

dass er verdeutlicht, bei wem was in welchem


Projektbeispiel PAFF Anstatt also zu formulieren: Ein Groteil der Jugendlichen hat einen Ausbildungsplatz, ist die bessere Formulierung fr diesen Indikator: Die Anzahl der arbeitslosen Jugendlichen im Stadtteil xy, die innerhalb von 6 Monaten nach der Teilnahme am Bewerbungstraining einen Ausbildungsplatz haben.

dem, von welchem Erkenntnisinteresse Sie

ausgehen, kann die Frage noch um Wo (zum Beispiel in einem bestimmten Stadtteil) und Wie gut (Qualitt) ergnzt werden. Bei den auch bei der Zielformulierung) nicht immer sinnvoll oder mglich ist, einem Indikator eine zeitliche Komponente hinzuzufgen.

Schritt 4: Auswahl der zu erhebenden Indikatoren

SMART-Kriterien ist zu beachten, dass es (wie

Sind die Indikatoren formuliert, kann es sein, dass Sie recht viele davon haben, sodass Sie diese noch einmal priorisieren mssen. Denn es geht nicht darum, mglichst viele Indikatoren zu haben, sondern ein kleines,

berlegen Sie bei der Formulierung auch, in welcher Form beziehungsweise Maeinheit Sie den Indikator sinnvoll darstellen. Mg-

aber dafr aussagekrftiges Indikatorenset. Denken Sie daran, dass Sie pro Ziel und Fra-

64

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Denken Sie daran, dass das zentrale Ziel der Wirkungsanalyse ist, aus den Ergebnissen zu lernen und, wo notwendig, daraufhin Vernderungen am Projekt vorzunehmen. Fragen Sie sich daher bei der Auswahl der Indikatoren: Welche Informationen brauchen wir, um festzustellen, dass es bei unseren Projektteilnehmern zu den erwnschten Entwicklungen kommt? Welche Informationen brauchen wir, um festzustellen, ob und wie wir unser Projekt anpassen mssen beziehungsweise (noch) weiter verbessern knnen? Woran wrden wir merken, dass in unserem Projekt etwas schieuft? Neben Lernen und Verbessern spielen bei der Auswahl der Indikatoren natrlich auch die Berichtsanforderungen eine wichtige Rolle. Beziehen Sie Ihre Stakeholder und dabei vor allem Ihre Geldgeber so frh wie mglich in das Projekt ein und tauschen Sie sich ber Ihre gegenseitigen Erwartungen sowohl bezglich der Ziele des Projekts aus auch im Hinblick auf die Wirkungsnachweise aus. berlegen Sie gemeinsam, zu welchen Indikatoren sinnvollerweise Daten erhoben werden sollen.

Erheben Sie sowohl Indikatoren, die quantitative, als auch solche, die qualitative Aspekte Ihres Projekts beleuchten. Denn, nicht alles, was zhlt, kann gezhlt werden und nicht alles, was gezhlt werden kann, zhlt. (Albert Einstein).

Tipps fr die Auswahl von Indikatoren

WIRKUNG PLANEN

WIRKUNG ANALYSIEREN

1 2

Projektbeispiel PAFF In der untenstehenden Tabelle haben wir in unserem Projektbeispiel mgliche Indikatoren fr Soft Outcomes fr Sie zusammengefasst. Bei Indikatoren fr Soft Outcomes handelt es sich zumeist um indirekte Indikatoren. Diese sind sehr kontextabhngig und mssen fr jedes Projekt individuell entwickelt werden. Dennoch knnen Beispiele aus anderen Projekten hier hilfreiche Anregungen geben.

gestellung mindestens einen Indikator braunotwendig sein knnen, um sinnvolle und

chen, zum Teil aber auch mehrere Indikatoren substanzielle Aussagen mglich zu machen. Um sicherzugehen, dass ein Indikator auch tatschlich berprfbar ist, muss zunchst berlegt werden, ob sich die Daten fr den

stellt werden, ob eine Datenquelle vorhanden und ob diese auch zugnglich ist. Ist dies der Fall, muss im nchsten Schritt berlegt werder Daten ist. Hier ist es unter Umstnden den, wie hoch der Aufwand fr die Erhebung notwendig abzuwgen: Steht der Aufwand fr die Erhebung angesichts des zu erwartenden Nutzens durch die erhobenen Informationen

Indikator erheben lassen. Dazu muss festge-

in einem angemessenen Verhltnis? ( Kap. 6)

Kategorien
Verhaltensweisen, Einstellungen, persnliche Fhigkeiten und Kompetenzen (u.a. Motivation, Selbstbewusstsein, Selbstvertrauen, Verantwortungsbewusstsein, Zuverlssigkeit)

Beispiele fr Indikatoren

Anzahl / Prozentsatz der Jugendlichen, die regelmig an den Projektangeboten teilnehmen sich selbststndig um die Terminabsprachen mit ihren Paten kmmern pnktlich zu Terminen erscheinen mit einem positiven Gefhl in Vorstellungsgesprche gehen ber sich selbst sagen, dass sie sich mehr zutrauen eine selbstbewusstere (aufrechtere) Krperhaltung haben in Gesprchen den Blickkontakt halten in Gesprchen ihre eigene Meinung vertreten ihre Verantwortung fr ihre eigenen Leistungen (z.B. Schulnoten) erkennen offen ber ihre Probleme, Wnsche etc. sprechen auf ein gepegtes ueres achten sich auf eine Aufgabe konzentrieren knnen Anzahl / Prozentsatz der Jugendlichen, die qualitativ gute Bewerbungen schreiben knnen verantwortungsvoll mit Geld umgehen knnen ihre Rechte und Pichten kennen und diese wahrnehmen knnen Anzahl der (angefangenen, beendeten) Jobs Abwesenheitsquote bei der Arbeit Anzahl / Prozentsatz der Jugendlichen, die mit ihren Kollegen im Team zusammenarbeiten Aufgaben und Probleme selbststndig lsen bzw. gezielt nach Hilfe fragen verstndlich und hich mit ihren Kollegen/Vorgesetzten/ Kunden kommunizieren die fr ihren beruichen Kontext relevanten IT-Anwendungen kompetent nutzen

Praktische Fhigkeiten und Kompetenzen

Beruiche Fhigkeiten und Kompetenzen

65

Was tun, wenn keine Baseline erhoben wurde?


Um einen Eindruck ber die Situation der Teilnehmenden vor Beginn des Projekts zu bekommen, kann zum Beispiel gefragt werden, wie eine Person ihre Situation jetzt (nach beziehungsweise whrend des laufenden Projekts) einschtzt. Die Antwort wird auf einer Skala festgehalten. Daraufhin fragt man, wie die Person ihre Situation vor Teilnahme am Projekt rckwirkend einschtzt, und lsst die Antwort auf der gleichen Skala einordnen. Diese rckwirkende Baseline kann gerade bei individuellen und Soft Outcomes recht aussagekrftig sein, denn oft haben die Teilnehmenden im Rahmen der Intervention gelernt, ihre Situation besser einzuschtzen, und knnen daher auch realistischer beurteilen, wie ihre Situation vor Beginn des Projekts war. Auch knnen beteiligte Dritte, zum Beispiel die Eltern, befragt werden, wie sie die Situation ihrer Kinder vor und nach dem Projekt einschtzen. Wenn erst whrend des laufenden Projekts klar wird, welche Indikatoren wichtig sind, mssen vor dem Hintergrund dieser Indikatoren rckwirkend Informationen generiert werden. Hierfr knnen zum Beispiel alte Aufzeichnungen ntzlich sein oder das Sammeln von Anekdoten und Situationsbeschreibungen von Personen, die seit Beginn des Projekts dabei waren. Wenn Ihr Projekt bereits luft und es nicht mglich ist, im Nachhinein Daten zu erheben, knnen Sie auch den Zeitpunkt, an dem Sie beginnen, Daten zu erheben, als Punkt fr die Erhebung der Baseline nehmen und die hier gewonnen Informationen als Bezugspunkt fr die knftigen Erhebungen nutzen.

Die Entscheidung, welche Indikatoren wichtig fr Ihre wirkungsorientierte Projektsteuerung sind und eine hhere Prioritt haben als andere, die auch interessant und relevant

sind, mssen Sie selbst treffen. Im Ergebnis sollten Sie ein SMARTes, bersichtliches und aussagekrftiges Indikatorenset haben, nen knnen.

dem Sie im nchsten Schritt Soll-Werte zuord-

5.4 WIE VIEL SOLLS DENN SEIN? BASELINES UND SOLL-WERTE


Baselines Baseline-Daten sind Informationen ber

die Ausgangssituation vor Beginn des Profestgestellt werden, ob beziehungsweise

jekts. Ohne diese Informationen kann nicht welche Entwicklungen seit Projektbeginn gen durch das Projekt erzielt wurden. Ein Beispiel hierfr ist die bergangsquote

stattgefunden haben und welche Wirkun-

von der Schule in eine Ausbildung an einer Hauptschule vor und nach der Einfhrung eines Projekts zur Untersttzung von Jugendlichen bei ihrem Weg in den Beruf. Wenn hier vor Beginn des Projekts nicht festgestellt wird, wie hoch die bergangsquote ohne die untersttzende IntervenProjekts kaum mglich, festzustellen, ob sich die Quote verndert hat. Im Idealfall werden Baseline-Daten im Rahmen tion ist, ist es whrend oder am Ende des

eine Baseline zu bekommen. Auch kann es vorkommen, dass zu Beginn des Projekts die sich im Laufe des Projekts als wichtig noch nicht alle Indikatoren bekannt waren, herausstellen. Welche Mglichkeiten gibt es, um im Nachhinein Vergleichsmglichkeiten zu schaffen?

der Bedarfs- und Umfeldanalyse und bis erhoben. Je lnger das Projekt bereits

sptestens einem Jahr nach Projektbeginn luft, umso schwieriger wird es, Daten fr

66

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Die Daten der Baseline werden den Ergebnissen aus Monitoring und Evaluation, die im Projektverlauf und am Ende des Projekts erhoben werden, gegenbergestellt. Dadurch knnen Aussagen

teilnahme natrlich alle Jugendlichen einen Ausbildungsplatz haben. Zum anderen ist realistischen Erwartungsmanagement zu sich aus der eigenen Erfahrung, aus der 7 Benchmarks) oder einem Abgleich es aber notwendig, den Idealfall mit einem verbinden. Realistische Soll-Werte ergeben Erfahrung aus anderen Projekten ( Kap. zwischen der Baseline und Zwischenresultaten, die whrend des Projektverlaufs erhoben wurden. Wenn es bei Projektbeginn gibt, sollte der Soll-Wert zunchst nach bestem Wissen und Gewissen und vor dem Hintergrund der fr das Projekt vor-

WIRKUNG ANALYSIEREN

ber Entwicklungen getroffen werden

WIRKUNG VERBESSERN

( Kap. 7). Neben der Baseline sind die

sogenannten Soll-Werte ein wichtiger tierte Projektsteuerung. Soll-Werte

Orientierungspunkt fr die wirkungsorien-

1 2 3

weder eine Baseline noch Erfahrungswerte

Hat PAFF sein Ziel erreicht, wenn die Hlfte der Patenkinder einen Ausbildungsplatz bekommen hat? Oder bereits, wenn nur hat? Oder sind die Projektverantwortlieines den Sprung in den Beruf geschafft chen erst zufrieden, wenn so gut wie alle

handenen Ressourcen selbst gesetzt und entsprechend angepasst werden, sobald die notwendigen Informationen vorliegen. Soll-Werte setzen: Risiko oder Ansporn? Projektverantwortliche zgern oft, wenn es darum geht, Soll-Werte zu setzen. Denn es kann sein, dass diese nicht erreicht kungen ist es oft schwer, vorher zu sagen, Sinnvoll gesetzte Soll-Werte helfen, die
Nicht vergessen:
Soll-Werte knnen (und sollen) als positive Herausforderungen motivieren! Setzen Sie die Sollwerte fr Ihr Projekt also nicht zu hoch, aber auch nicht zu niedrig!

Teilnehmenden eine Lehrstelle haben? Um Aussagen ber die Zielerreichung treffen festgelegt sein. Zum anderen muss aber zu knnen, mssen zum einen Indikatoren auch klar sein, welche Soll-Werte (auch

Ziel-Werte genannt) angestrebt werden, sprechen wrde. Was sich zunchst recht ist im Grunde genommen nur die Konkretisierung der gesetzten Ziele. Auf dieser Grundlage kann das Projekt konkret ge-

bei denen man von der Erreichung des Ziels technisch und zahlengetrieben anhrt,

werden, und gerade auf der Ebene der Wirwas realistisch erreicht werden kann. Aber: Erwartungen an das Projekt realistisch zu sich die Soll-Werte whrend des Projekt-

halten und Ressourcen zu planen. Knnen verlaufs verndern? Ja, auf jeden Fall! Vor

plant werden. Denn es macht, alleine was die bentigten Ressourcen angeht, einen Unterschied, ob PAFF mit seinem Patenerreichen mchte.

dem Hintergrund der whrend des Projekts gesammelten Daten knnen die Soll-Werte korrigiert werden, oder aber das Projekt beziehungsweise die eingesetzten Ressourcen knnen so angepasst werden,

schaftsprojekt 10 oder 100 junge Menschen

Soll-Werte ergeben sich zum einen aus den Bedarfen. Im Idealfall sollen nach Projekt-

dass die Soll-Werte erreichbar werden.

67

68
Bisher wurden noch keine Bewerbungstrainings durchgefhrt. Im nchsten Schuljahr werden 2 Bewerbungstrainings angeboten. Es wurde der Bedarf fr 5 Bewerbungstrainings festgestellt. Vor dem Hintergrund der vorhandenen Ressourcen wurde der Soll-Wert aber (zunchst) auf 2 Trainings festgelegt. 10 vermittelte Paten in den ersten 6 Monaten des Projekts 25 vermittelte Paten bis Ende des Jahres Aus der bisherigen Erfahrung bei der Patenvermittlung wird der Soll-Wert festgelegt, den die Projektverantwortlichen in einem bestimmten Zeitraum erreichen wollen. Im Durchschnitt wurden die sozialen Kompetenzen der Jugendlichen vor Projektteilnahme auf einer Skala von 1-10 bei 5,2 eingeschtzt. Wenn die Jugendlichen das Projekt abschlieen, sollen die sozialen Kompetenzen auf der gleichen Skala im Durchschnitt bei 7,0 eingeschtzt werden. Der Soll-Wert lehnt sich an die Erfahrungen aus einem vergleichbaren Projekt an, die diesen Wert im Rahmen einer Evaluation ermittelt haben. Befragt wurden hier die Lehrer zu ihrer Einschtzung der Jugendlichen. Das Projekt hat es sich selbst zum Ziel gesetzt, dass zu Projektabschluss so gut wie alle Jugendlichen in der Lage sind, ordentliche Bewerbungsunterlagen zu erstellen. Die Kriterien fr gute Bewerbungsunterlagen sind in einer Checkliste festgehalten. Wenn die Jugendlichen das Projekt abschlieen, knnen 85% von ihnen Bewerbungsunterlagen in guter Qualitt erstellen (Ergebnis wurde anhand der Bewerbungen fr Ausbildungspltze gegen Ende des Projekts festgestellt). Nach zwei Jahren Projektlaufzeit bekommen 70% der Projektteilnehmenden direkt nach Schulabschluss einen Ausbildungsplatz. Das Projekt hat die bergangsquote gemeinsam mit den am Projekt beteiligten Unternehmen gesetzt. Sie soll als gemeinsamer Ansporn dienen, auch wenn es wahrscheinlich schwer sein wird, sie zu erreichen. Zu Projektbeginn knnen 30% der Jugendlichen Bewerbungsunterlagen in guter Qualitt erstellen (Ergebnis wurde beim Eingangstest festgestellt). 47% aller Schulabgnger aus den kooperierenden Hauptschulen bekommen direkt nach Schulabschluss einen Ausbildungsplatz. Bei der Gruppe der Jugendlichen, fr die eine Teilnahme bei PAFF sinnvoll erscheint, sind es nur 35%. Die Jugendarbeitslosigkeitsquote im Stadtteil xy von Frankfurt betrgt 30% *. ___
*

Ebene

Ziel

Indikator

Baseline-Daten

Soll-Wert

Grundlage fr den Soll-Wert

Bewerbungstrainings werden durchgefhrt.

Anzahl Bewerbungstrainings

Output
Fr dieses Ziel auf gesellschaftlicher Ebene einen Soll-Wert festzulegen erschien den Projektverantwortlichen von PAFF als wenig hilfreich und sinnvoll, da die Hhe der Jugendarbeitslosigkeit vielen verschiedenen Einussfaktoren unterliegt und der Einuss von PAFF darauf schwer zu bestimmen ist. ktiver Wert fr dieses Projektbeispiel Bislang werden die Hlfte aller Nachhilfestunden, von Lehrkrften oder Lehramtsstudenten des entsprechenden Fachs durchgefhrt (die andere Hlfte der Nachhilfestunden wird von Personen durchgefhrt, die keine ausgebildeten Lehrkrfte sind). Alle Nachhilfestunden, werden von Lehrkrften oder Lehramtsstudenten des entsprechenden Fachs durchgefhrt. Qualittsstandard ist im Projektkonzept festgelegt.

Die teilnehmenden Jugendlichen haben einen Paten vermittelt bekommen.

Anzahl der vermittelten Paten

Output

Outcome

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Die teilnehmenden Jugendlichen haben soziale Kompetenzen erworben, die fr einen erfolgreiche Berufseinstieg notwendig sind.

Indikatoren zu sozialen Kompetenzen (u.a.: zu Zuverlssigkeit, Pnktlichkeit, Koniktlsungsfhigkeit, Teamfhigkeit)

Die teilnehmenden Jugendlichen erarbeiten selbststndig qualitativ gute Bewerbungsunterlagen.

Prozentsatz der Jugendlichen, die Bewerbungsunterlagen in guter Qualitt erstellen

Outcome

Die teilnehmenden Jugendlichen haben einen Ausbildungsplatz.

Prozentsatz der teilnehmenden Jugendlichen, die einen Ausbildungsplatz haben

Outcome

Die Jugendarbeitslosigkeit im Stadtteil sinkt.

Jugendarbeitslosigkeitsquote fr den Stadtteil xy von Frankfurt

Impact

Qualizierte Nachhilfe wird durchgefhrt.

Qualitt

Prozentsatz der gesamten Nachhilfestunden, die von Lehrkrften oder Lehramtsstudenten des entsprechenden Fachs durchgefhrt werden

WIRKUNG PLANEN

WIRKUNG ANALYSIEREN
Projektbeispiel PAFF: Anhand des nebenstehenden Projektbeispiels werden einige Beispiele fr Indikatoren und die dazugehrigen Baseline-Daten und Soll-Werte gezeigt, und es wird beschrieben, auf welchen Grundlagen die SollWerte gesetzt wurden. Sie nden diese Tabelle auch als Template fr Ihr eigenes Projekt im Download zu diesem Kursbuch: www.phineo.org/publikationen

WIRKUNG VERBESSERN

1 2 3

Individuelle Soll-Werte gemeinsam mit den Teilnehmenden setzen


Soll-Werte lassen sich nicht nur auf Ebene des Projekts setzen, sondern auch fr die individuellen Ziele der Teilnehmenden. Wo immer mglich, sollten diese individuellen Soll-Werte gemeinsam mit den einzelnen Teilnehmenden gesetzt werden. So knnen Pate und Patenkind im Projekt PAFF zum Beispiel gemeinsam planen, welche Notenverbesserung sie bis Ende des Schuljahres erreichen wollen. Gemeinsam gesteckte Ziele motivieren und ermglichen eine teilnehmerbezogene und individuelle Projektsteuerung.

Checkliste fr die Indikatorenentwicklung Jedem Ziel beziehungsweise jeder Evaluationsfrage ist mindestens ein Indikator zugeordnet. Die Indikatoren erfllen die SMART-Kriterien. Die unterschiedlichen Aspekte eines Ziels werden durch Indikatoren abgedeckt. Es gibt nicht mehrere Indikatoren, die dasselbe messen. Den Indikatoren sind (soweit mglich und sinnvoll) Soll-Werte zugeordnet. Bei der Erarbeitung der Indikatoren wurden die Stakeholder eingebunden.

ja

nein

Bemerkung

69

6. DATEN FR DIE WIRKUNGSANALYSE ERHEBEN

In diesem Kapitel erfahren Sie,

Sie ber Funk empfangen, lesen die Seekar-

wie Sie die passenden Datenquellen welche Datenerhebungsmethoden es welche Mglichkeiten Sie haben,
ermitteln. fr Ihre Erhebung identizieren. gibt und wie Sie die passende Metho-

ten und befragen Ihre Passagiere. Es gibt also verschiedene Mglichkeiten, Informationen zu den Indikatoren zu erheben. Auch in Ihrem Projekt haben Sie festgelegt, welche Informationen Sie fr die wirkungsorientierte Projektsteuerung bentigen. Sie haben Fragen fr die Wirkungsanalyse

de fr Ihren Bedarf auswhlen knnen. schwer zu erhebende Wirkungen zu

erarbeitet und Indikatoren entwickelt. Nun nen erheben.

auf welche Qualittskriterien Sie bei


der Datenerhebung achten sollten.
Unter vollen Segeln und mit den Passagieren an Bord, sind Sie auf dem Weg zum Ziel Ihrer Reise. Mit Hilfe der Indikatoren wissen Sie

mssen Sie berlegen, wie Sie die Informatio-

6.1 DATENERHEBUNG DIE PRAKTISCHEN SCHRITTE


Im Folgenden wird in drei Schritten das Vorgehen bei der Datenerhebung erlutert.

auch, auf was Sie achten mssen, um festzustellen, ob Sie auf dem richtigen Kurs sind. stehen im Ausguck und schauen durch das Aber wie beobachten Sie die Indikatoren? Sie Fernglas, Sie messen Ihre Position mit Hilfe

Im ersten Schritt sollten Sie einen DatenerheDatenerhebung zu strukturieren, die weiteren Schritte zu planen und den berblick zu behalten. Im zweiten Schritt mssen Sie die

bungsplan erstellen, der Ihnen dabei hilft, die

des Sextanten, hren die Informationen, die

70

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Datenquellen identizieren, das bedeutet,

Sie mssen feststellen, woher Sie die Daten, Im dritten Schritt geht es dann darum, die Daten zu erheben. Fr die Datenerhebung stehen verschiedene Methoden bereit, und

Zielgruppe und andere Stakeholder sowie

WIRKUNG ANALYSIEREN

die Sie erheben mchten, bekommen knnen.

interne und externe Dokumente. Fr jeden

Indikator muss mindestens eine Datenquelle identiziert werden. Dabei sollten folgende Fragen bercksichtigt werden:

WIRKUNG VERBESSERN

es gilt hier, die fr die jeweilige Fragestellung und den jeweiligen Kontext passende Methode zu nden. Es geht im Folgenden nicht darum, Sie zu

Ist die Datenquelle leicht und regel Sind die Kosten hierfr in einem
vertretbaren Rahmen? mig zugnglich?

1 2 3

Experten fr Datenerhebung zu machen, sondern es soll ein berblick ber die verschiedenen Mglichkeiten der Datenerhebung

Kann die Datenquelle qualitativ hochwertige Daten zur Verfgung stellen? Haben Sie die Datenquelle identiziert, mssen Sie im nchsten Schritt herausnden, mittels welcher Methode die Informationen erhoben werden knnen.

gegeben werden. Die verschiedenen Methokomplex. Einige davon knnen auch mit

den der Datenerhebung sind unterschiedlich relativ wenig Vorkenntnissen und Ressourcen angewendet werden. Bei vielen Methoden ist es jedoch hilfreich, Fachleute hinzuzuziehen ( Kapitel 4.2 Wer soll die Wirkungsanalyse durchfhren?).

Schritt 3: Daten erheben


Grundstzlich gibt es zwei Mglichkeiten, Daten zu sammeln. Zum einen kann auf bereits vorhandene Daten zurckgegriffen werden, zum anderen knnen Daten neu erhoben werden.

Schritt 1: Einen Datenerhebungsplan erstellen

Der Datenerhebungsplan auf S. 72 hilft Ihnen, die Datenerhebung zu strukturiebehalten. ren und zu planen sowie den berblick zu

Blockieren Sie Ihr Projekt nicht mit exzessivem Datensammeln!


Grundstzlich gilt fr die Sammlung der Daten: So viel wie ntig und so wenig wie mglich! Sammeln Sie nicht zu viele Informationen, die dann als ungenutzte Datenberge enden, da niemand die Kapazitten hat, diese auszuwerten. berlegen Sie daher vor Beginn der Datenerhebung, welche Informationen gebraucht und genutzt werden.

Vorhandene Daten nutzen

Viele Informationen liegen bereits vor. Neben den Daten aus externen Quellen, wie zum Beispiel ofzielle Statistiken und Erhebungen, gibt es oft auch innerhalb der Organisation bereits Informationen, auf die zurckgegriffen tionen und Projektunterlagen, in Evaluationen mationen ber die Teilnehmer, vor allem aber in den Kpfen der Mitarbeiter. Letztere sind

Schritt 2: Datenquellen identizieren


Nachdem Sie den Datenerhebungsplan

erstellt haben, stellt sich die Frage, woher Sie die Daten fr Ihre Wirkungsanalyse bekommen. Denn bevor Sie Daten erheben knnen, mssen Sie feststellen, aus welchen Quellen ben werden knnen. die Daten fr die einzelnen Indikatoren erhoDatenquellen sind vor allem Mitglieder der

werden kann. Diese nden sich in Dokumentaund Jahresberichten, in Dokumenten mit Infor-

eine unverzichtbare Quelle fr Informationen und sollten von Anfang an in die Wirkungsanalyse mit einbezogen werden.

71

72 Wie viele Bewerbungstrainings wurden durchgefhrt? Wie viele Jugendliche nehmen an den einzelnen Angeboten teil? Sind die Jugendlichen mit den jeweiligen Angeboten zufrieden? Haben die Jugendlichen ihre sozialen Kompetenzen verbessert? Knnen die Jugendlichen qualitativ hochwertige Bewerbungsunterlagen erstellen? Qualitt der erstellten Bewerbungsunterlagen Anzahl der Jugendlichen, deren Schulnoten sich verbessert haben Lehrer teilnehmende Jugendliche Anzahl der Jugendlichen, die einen Ausbildungsplatz gefunden haben. keine Indikatoren festgelegt Haben sich die Schulnoten der Jugendlichen verbessert? Wie viele der Teilnehmer konnten in Ausbildung vermittelt werden? Welche Verbesserungsvorschlge fr das Projekt haben Paten, Lehrer und Patengruppenbetreuer? Anzahl der durchgefhrten Bewerbungstrainings Anzahl der Jugendlichen, die im Zeitraum x an dem jeweiligen Angebot teilnehmen Anmeldeformular, Teilnehmerlisten teilnehmende Jugendliche teilnehmende Jugendliche Leiter der Bewerbungstrainings, Paten, Projektleitung nein ja Anzahl der Jugendlichen, die mit dem Angebot zufrieden sind Anzahl der Jugendlichen, die ihre sozialen Kompetenzen verbessert haben Projektdokumentation Paten, Lehrer, Patengruppenbetreuer ja ja nein nein nein nein Projektmonitoring Projektmonitoring Fragebogen Beobachtung Analyse der Bewerbungsunterlagen Telefoninterview Interview, Projektmonitoring Fokusgruppen fortlaufend fortlaufend jhrlich bislang einmalige Evaluation vierteljhrlich vierteljhrlich vierteljhrlich halbjhrliche Sitzungen der Fokusgruppen Projektleitung Projektleitung und Kursleiter Projektleitung externer Evaluator Paten, Kursleitung des Bewerbungstrainings ja ja ja ja Projektleitung Projektleitung Projektleitung ja ja ja ja

Erluterung

Datenerhebungsplan1 am Projektbeispiel PAFF

Fragestellung

Hier listen Sie die Fragestellungen fr Ihre Wirkungsanalyse auf.

Indikator

Hier tragen Sie den Indikator ein, der Ihnen hilft, die Fragestellung zu beantworten.

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Datenquelle

In diesem Feld tragen Sie ein, wer Ihnen die zur Beantwortung der Fragestellung ntigen Informationen liefern kann.

Liegen bereits Daten vor?

In vielen Fllen gibt es durch bereits bestehendes Material, wie z.B. Anmeldeformulare, Teilnehmerlisten schon Informationen.

Datenerhebungsinstrument

Hier tragen Sie ein, mit welchem Datenerhebungsinstrument Sie Ihre Fragestellung beantworten wollen.

Wann und wie oft wird erhoben?

Wann sind Zeitpunkte fr die Erhebung, die in den Projektablauf und zur Fragestellung passen? Wann mssen Sie Daten vorlegen knnen?

Wer erhebt?

Wer ist kompetent, autorisiert und hat die notwendigen zeitlichen Ressourcen, um die Daten zu erheben?

Durchfhrbarkeit: ja/nein?

Ist die geplante Erhebung zeitlich und nanziell mglich, sowie ethisch vertretbar?

WIRKUNG PLANEN
Einen Datenerhebungsplan zum Ausfllen nden Sie auch im PHINEO-DownloadCenter unter www.phineo.org/publikationen
1

vgl. BMFSFJ (2000: 39f.)

WIRKUNG ANALYSIEREN

Neue Daten erheben


Wenn die bestehenden Daten nicht ausreichen oder keine Daten existieren, mssen neue Daten erhoben werden. Dafr gibt es viele verschiedene Mglichkeiten. Hier

Quantitative Methoden sind unter ande-

rem Messungen, Zhlungen, Analyse von

quantitativen Sekundrdaten (zum Beispiel aus Statistiken), verschiedene Formen von Beobachtungen. Befragungen und Tests sowie strukturierte

WIRKUNG VERBESSERN

muss genau berlegt werden, welcher Ansatz sinnvoll und umsetzbar ist. Dies hngt zum einen von den zur Verfgung stehenden

1 2 3

Qualitative Methoden helfen dabei, qualitative Daten zu erheben. Qualitative Daten lassen sich nicht in Zahlen ausdrcken. Sie haben eine beschreibende Funktion und Situation oder einem Sachverhalt zu be-

Ressourcen ab, vor allem aber davon, welche Daten erhoben werden mssen und in welInformationen bentigt werden. cher Detailtiefe und in welchem Umfang die

helfen, ein vertieftes Verstndnis von einer kommen. Qualitative Aussagen sind fr die

Fragen, die bei der Auswahl der Datenerhebungsmethode helfen


Bei der Entscheidung, welche Methode(n) der Datenerhebung genutzt werden soll(en), sollten Sie sich folgende Fragen stellen: Welche Informationen brauchen wir? Die Wahl der Methode richtet sich nach Ihrem Erkenntnisinteresse. Um festzustellen, welche Informationen Sie brauchen, berlegen Sie, was genau Sie wissen mchten. Wollen Sie beispielsweise wissen, wie gro die erreichte Zielgruppe ist, oder wollen Sie wissen, warum das Projekt gerade bei einer bestimmten Gruppe von Personen eine besonders gute Wirkung (oder aber nicht die erhoffte Wirkung) erzielt? Wofr brauchen wir die Informationen? Im nchsten Schritt sollten Sie berlegen, wofr Sie die Informationen brauchen. Wenn es darum geht, die Relevanz eines Problems zum Beispiel gegenber Gebern darzustellen, eignen sich besonders quantitative Daten. Qualitative Methoden eignen sich besonders dann, wenn es darum geht, Details und Unterschiede herauszuarbeiten, und helfen dabei, ein tieferes Verstndnis des Projekts zu bekommen. Wenn es um die Qualittsentwicklung in einem Projekt geht, sind daher qualitative Zugnge unabdingbar.

Methoden der Datenerhebung


Abhngig von der jeweiligen Fragestellung

wirkungsorientierte Steuerung von Projekten Aussagen muss herausgefunden werden, wo lungen liegen. Die qualitativen Erhebungsmethoden sind dadurch gekennzeichnet, dass sie sich mit dem Wie und Warum

wichtig, denn zustzlich zu den quantitativen Ursachen und Zusammenhnge von Entwick-

und dem dazugehrigen Indikator muss die passende Methode der Datenerhebung gewhlt werden. Dabei wird zwischen quantitativen und qualitativen Erhebungsmethoden unterschieden.

eines Sachverhalts oder einer Entwicklung sich vor allem, wenn es darum geht, text genau zu verstehen.

Quantitative Methoden werden genutzt, die sich in Zahlen ausdrcken lassen. ders dann, wenn:

beschftigen. Qualitative Methoden eignen

wenn Informationen erhoben werden sollen, Quantitative Methoden eignen sich beson-

eine Situation in einem bestimmten Konpen ihr Situation einschtzen und welche Erwartungen und Wnsche sie haben. und zu verfolgen.

przise Daten vorgelegt werden mssen. ein berblick gegeben werden soll. Vergleiche zwischen verschiedenen Grup statistische Abhngigkeiten zwischen
berprft werden sollen. Projekt (zhlbare) Erfolge erzielt. pen oder Personen gezogen werden sollen. dem Problem und angenommenen Ursachen

herauszunden, wie Personen oder Grup qualitative Entwicklungen nachzuweisen Projekte wirkungsorientiert zu planen.
Qualitative Methoden sind unter anderem

der Beweis erbracht werden soll, dass ein

verschiedene Formen von Interviews (Einzelinterviews, Fokusgruppen, etc.), Beobachtungen und Dokumentenanalysen.

73

Auswahl der Erhebungsmethoden

Aufwand: Zeit, Kosten, Expertise

Lngsschnittstudien mit Kontrollgruppen Wiederholte standardisierte Tests Standardisierte Befragungen Teilnehmende Beobachtung durch externe Fachleute Fokusgruppen Strukturierte Interviews mit Fachexperten Monitoring von Teilnehmerzahlen, Anfragen etc. Foto- und Videodokumentation Fallstudien Anekdotensammlung

Methode liefert eher emotional berzeugende Daten Methode liefert eher faktenbezogene Daten

Belastbarkeit der Aussage

Abb.: bersicht zur Wahl der richtigen Erhebungsmethoden

Wahl der geeigneten

Erhebungsmethode(n) Die Entscheidung fr die passende Er-

nicht um eine abschlieende Auistung der handelt es sich nicht um eine detaillierte Handlungsanweisung, wie die einzelnen

mglichen Datenerhebungsmethoden. Auch

hebungsmethode ist oft nicht einfach zu

treffen und erfordert in vielen Fllen eine mit Fachleuten oder Organisationen mit hnlichen Projekten auszutauschen. Im

Methoden durchzufhren sind. Die Methoden werden kurz vorgestellt, ihre Vor- und Nachteile erlutert und am Praxisbeispiel PAFF dargestellt, wie sich die Methode in der Praxis nutzen lsst. In den Literaturtipps nden Sie Verweise auf PublikatioErhebungsmethoden befassen.

gewisse Erfahrung. Hier ist es sinnvoll, sich

Folgenden werden einige der wichtigsten Erhebungsmethoden im berblick dargestellt. Es handelt sich dabei bei weitem

nen, die sich detailliert mit den einzelnen

Man muss nicht Evaluationspro sein,

Auch fr kleine Organisationen gibt es Methoden der Datenerhebung, die sich mit wenigen Ressourcen anwenden lassen. Lassen Sie sich also nicht einschchtern, sondern beginnen Sie mit kleinen, bersichtlichen Manahmen, die Sie dann ausweiten knnen.

Zu Beginn ist weniger mehr

um im Rahmen der Wirkungsanalyse Daten zu erheben. Die Erhebungsmethoden unterscheiden sich stark hinsichtlich des ihre Anwendung notwendig sind, sowie Belastbarkeit der Aussage (Validitt). berblick.

Aufwands und der Vorkenntnisse, die fr ihrer Aussagekraft beziehungsweise der Die obige Grak gibt hierzu einen ersten

74

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Sie mssen also berlegen, wofr Sie die Informationen brauchen und wie aussagekrftig und belastbar die Daten fr den jeweiligen Fall sein mssen. Bei der Seereise macht es zum Beispiel einen groen Unterschied, ob Sie sehr genaue Koordinaten brauchen, um den sicheren Weg

ntzlich, um auf dieser Basis zu diskutie-

WIRKUNG ANALYSIEREN

ren und Lern- und Verbesserungsprozesse weitreichende Entscheidungen wie zum Vernderung oder die Beendigung des

anzustoen. Wenn Sie auf der Datenbasis Beispiel die Fortfhrung, eine bedeutende Projekts treffen wollen, sollten Sie aber

WIRKUNG VERBESSERN

zwischen zwei gefhrlichen Riffen hindurch zu nden, oder ob Sie Ihre persnlichen karte an Ihre Freunde zu schreiben. Eindrcke zusammenstellen, um eine PostEinige der Datenerhebungsmethoden

darauf achten, dass die Daten belastbar

sind. Dafr mssen Sie Erhebungsmetho-

1 2 3

den whlen, die wissenschaftlich fundiert Experten durchfhren lassen.

sind, und die Erhebung gegebenenfalls von Eine weitere Entscheidungsgrundlage fr die passende Erhebungsmethode ergibt sich aus den jeweiligen Fragestellungen fr die Wirkungsanalyse und den Indikatoren. Folgende bersicht hilft Ihnen dabei, die geeignete Methode zu nden:

knnen Sie selbst umsetzen. Die Ergeb-

nisse sind dabei nicht so genau wie die von wissenschaftlich fundierteren, aber gleichzeitig in der Anwendung anspruchsErgebnisse aber ausreichend genau und

volleren Methoden. In vielen Fllen sind die

Abb. bersicht

vgl. Schmidt (2012: 79)

Fragestellung
Ausprgung des zu untersuchenden Gegenstands

Kann ich es erfragen?

Kann ich es beobachten?

Kann ich es ausprobieren?

Kann ich es herauslesen?

Befragung

Beobachtung

Test / Experiment / Messung

Dokumentenanalyse

Gestalten Sie den Fragebogen bersichtlich und geben Sie genaue Hinweise, wie der Fragebogen auszufllen ist. Formulieren Sie die Fragen kurz und verstndlich. Achten Sie darauf, dass die Fragen nur eine Fragestellung beinhalten. Formulieren Sie die Fragen nicht negativ (z.B. Sind Sie mit dem Angebot unzufrieden?) Vermeiden Sie Begriffe wie manchmal, oft, selten oder normalerweise, da Personen darunter oft unterschiedliche Dinge verstehen. Vermeiden Sie Formulierungen, die die Befragten von vornherein beeinussen (z.B. Inwiefern hat die Teilnahme am Projekt Ihre Lebenssituation verbessert ?). Bei der Erstellung von Fragebgen lohnt es sich, Personen mit Fachkompetenz hinzuzuziehen. Dies gilt vor allem dann, wenn
Sie einen Fragebogen entwickeln, den Sie ber lngere Zeit immer wieder nutzen mchten.

Tipps fr die Erstellung von Fragebgen (mehr dazu: nchste Seite)

75

berblick ber die wichtigsten Erhebungsmethoden

Fragebgen
Beschreibung: Die schriftliche Befragung mittels eines Fragebogens ist die mit am meisten verwendete Art der Datenerhebung. Durch Fragebgen kann beispielsweise die Zufriedenheit von Teilnehmenden an einem Projekt oder einer Aktivitt erhoben werden. Auch kann gefragt werden, welches Wissen und welche Kenntnisse die Teilnehmenden gewonnen haben und ob beziehungsweise wie sie dieses Wissen anwenden. Befragungen vor und nach dem Projekt oder einem Workshop ermglichen es, die Vernderungen festzustellen, die sich bei den Teilnehmenden ergeben haben. Fragebgen knnen vor Ort, postalisch oder online ausgefllt werden. Da die Antworten der Ausfllenden entscheidend von den Fragestellungen abhngen, sollte bei der Erstellung des Fragebogens ein hoher Qualittsanspruch angelegt werden. Ein Fragebogen kann geschlossene und offene Fragen enthalten. Bei geschlossenen Fragen sind die Antwortmglichkeiten, aus denen der Befragte die zutreffende auswhlen muss, vorgegeben. Geschlossene Fragen sind auch bei einer greren Menge an Befragten leicht auszuwerten. Allerdings bieten geschlossene Fragen dem Befragten keine Mglichkeit, Informationen zu geben, die in den Antwortmglichkeiten nicht vorgesehen sind. Offene Fragen ermglichen es dem Befragten dagegen, ausfhrlichere Antworten zu geben, die ntzliche Informationen beinhalten knnen.

Vorteile: viele Befragungen in kurzer Zeit mglich Daten knnen gut zusammengefasst werden Anonymitt der Befragten

Nachteile Erarbeitung der Fragebgen erfordert Zeit und Wissen evtl. niedrige Rcklaufquoten keine Mglichkeit fr Nachfragen Antwortmglichkeiten eingeschrnkt

Projektbeispiel PAFF: PAFF nutzt einmal im Jahr einen Fragebogen, um die Zufriedenheit der teilnehmenden Jugendlichen mit dem Projekt zu erheben. Ein weiterer Fragebogen wird genutzt, um die Zufriedenheit der Paten mit ihrer Betreuung abzufragen.

Einzelinterviews
Beschreibung: Einzelinterviews mit Stakeholdern helfen dabei, verschiedene Sichtweisen zu einem Thema zu erheben. Semistrukturierte Interviews (das heit, Interviews mit offenen und geschlossenen Fragen) sind eine gute Methode, um einen vertieften Einblick in ein Thema zu bekommen. Einzelinterviews eignen sich beispielsweise fr Befragungen im Rahmen der Bedarfsanalyse oder wenn ein Konzept fr ein Projektmodul erarbeitet werden soll. Sie eignen sich auch, um whrend oder nach einem Projekt die individuelle Meinung der Teilnehmer zu erfragen. Interviews eignen sich gut, um Verbesserungspotenziale fr ein Projekt zu identizieren, denn im Vergleich zur schriftlichen Befragung kann whrend eines Gesprchs nachgefragt werden. Es gibt viele verschiedene Mglichkeiten, Interviews zu fhren. Welche Interviewform sich eignet, hngt von den zu befragenden Personen, der Fragestellung und dem Ziel des Interviews ab. Lassen Sie sich bei der Auswahl, wo notwendig, von Fachleuten beraten. Abzuwgen ist auch, wer die Interviews durchfhrt. Wenn die Interviews von Projektmitarbeitenden gefhrt werden, besteht mglicherweise die Gefahr, dass die Befragten erwnschte Antworten geben. Werden die Interviews durch eine externe Person durchgefhrt, ist es wichtig, dass die Befragten zu dieser Person ein Vertrauensverhltnis haben, sodass sie bereit sind, ihre Informationen zu teilen. Gleichzeitig ist bei der Auswahl der Befragten darauf zu achten, dass eine reprsentative, aber trotzdem nicht zu homogene Gruppe befragt wird, um Antworten zu bekommen, die in der Summe aussagekrftig und belastbar sind. Beachten Sie bei Interviews: Es geht nicht darum, in einem Gesprch einfach mehr Information zu erhalten, in der Hoffnung, dass Informationen dabei sein werden, die verwertet werden knnen! Vor dem Interview sollten daher die Zielsetzung und das Erkenntnissinteresse festgelegt und auf dieser Basis Kernfragen entwickelt werden.

Vorteile: Stakeholder werden einbezogen relevante Daten auch unerwartete Ergebnisse evtl. Aussagen, die in einer Gruppensituation nicht gemacht worden wren Nachfragen mglich

Nachteile zeitintensiv Interviewer muss geschult sein Ergebnisse evtl. schwer auszuwerten und zu quantizieren

76

Projektbeispiel PAFF: PAFF verwendet Einzelinterviews unter anderem dazu, um die Jugendlichen zu befragen, nachdem diese ihre Teilnahme am Projekt abgeschlossen haben. Dabei werden die Jugendlichen zum einen gefragt, ob sie einen Ausbildungsgefunden haben, und zum anderen, inwiefern sie von dem Projekt protiert haben. platz PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Wichtig zu wissen: Wie viele Personen mssen befragt werden, damit die Aussagen reprsentativ sind?
In Projekten mit einer kleinen Teilnehmerzahl ist es sinnvoll und auch gut machbar, bei allen Teilnehmenden Daten zu erheben. In diesem Fall spricht man von einer Vollerhebung. In Projekten mit vielen Teilnehmern muss dagegen eine Auswahl getroffen werden. Dabei sollte darauf geachtet werden, dass die Befragten zufllig aus der Gesamtheit aller Teilnehmer ausgewhlt werden, um die Qualitt des Erhebungsergebnisses zu sichern. Die Stichprobengre bei quantitativen Erhebungen ist davon abhngig, wie genau die Ergebnisse der Erhebung sein mssen. Bei Untersuchungseinheiten, die weniger als 300 befragte Einheiten umfassen, ist eine Vollerhebung ideal. Gleichzeitig lassen sich mit 300 befragten Einheiten relativ verlssliche Aussagen auch zu groen Grundgesamtheiten machen. 3 Darber, wie viele qualitative Interviews gefhrt werden sollten, gibt es keine einhellige Meinung in der Literatur. Die erforderliche Stichprobenzahl ist in den allermeisten Fllen geringer als bei quantitativen Erhebungen. Je nach Fragestellung tritt ab einer gewissen Anzahl von Gesprchen eine theoretische Sttigung ein, das heit, dass sich der Erkenntnisgewinn durch weitere Gesprche aller Wahrscheinlichkeit nach nicht mehr steigern lsst. Bei der Zusammensetzung der Stichprobe sollte darauf geachtet werden, eine mglichst heterogene Zusammensetzung und gleichzeitig mglichst typische Vertreter der zu befragenden Stakeholdergruppe auszuwhlen. 4
3

WIRKUNG ANALYSIEREN

WIRKUNG VERBESSERN

1 2 3

vgl. Zewo (2011: 92),

vgl. Zewo (2011: 94)

Experteninterviews (individuell oder in der Gruppe)


Beschreibung: Unter Experteninterviews versteht man Befragungen von Experten im Themenfeld, Entscheidungstrgern und Personen, die die Situation vor Ort und die Zielgruppe sehr gut einschtzen knnen. Dabei steht nicht der Befragte als Person im Vordergrund, sondern seine Funktion als Experte in einem spezischen Handlungskontext oder als Reprsentant einer Gruppe. Experten knnen Informationen zu Sachverhalten geben, zu denen es im Projekt noch wenig Wissen gibt. Gesprche mit Experten in Einzelgesprchen oder am Runden Tisch sind unter anderem dann von Nutzen, wenn ein Problem beziehungsweise eine Situation eingeschtzt und aus verschiedenen Perspektiven beleuchtet werden soll, zum Beispiel in der Planungsphase eines Projekts. Das Einbeziehen von Experten ist aber auch in regelmigen Abstnden whrend des Projekts sinnvoll.

Vorteile: mittlerer Organisationsaufwand preiswert Synthese von Meinungen Einbindung von Entscheidungstrgern mglicher Auftakt fr eine weitere Begleitung des Projekts durch Experten

Nachteile Diskussionen evtl. auf zu abstrakter/ wissenschaftlicher Ebene

Projektbeispiel PAFF: Experteninterviews werden bei PAFF in verschiedenen Kontexten durchgefhrt: Im Rahmen der Bedarfsanalyse wurden Personen, die die Situation der Jugendlichen im Stadtteil gut kennen (unter anderem der Leiter des Jugendamts, ein Mitarbeiter aus dem Jobcenter, ein Schuldirektor und ein Unternehmer aus einem Ausbildungsbetrieb) zu einem Runden Tisch eingeladen und um ihre Einschtzung gebeten. Whrend des Projekts werden in regelmigen Abstnden Interviews mit den Klassenlehrern der teilnehmenden Jugendlichen gefhrt, um ihre Einschtzung der Entwicklung der Jugendlichen zu hren.

77

Fokusgruppen (Gruppendiskussionen)
Beschreibung: Bei einer Fokusgruppe handelt es sich um eine Diskussion mehrerer Teilnehmer, die von einem Diskussionsleiter moderiert wird und sich auf eine relativ eingegrenzte Fragestellung fokussiert. Im Gegensatz zu einem Einzelinterview geht es bei Gruppeninterviews um das Gesprch der an der Diskussion teilnehmenden Personen untereinander und nicht um das Gesprch mit dem Moderator. Die Teilnehmer knnen verschiedene Sichtweisen austauschen und voneinander lernen. In der Diskussion inspirieren sich die Teilnehmer gegenseitig und kommen dadurch im Idealfall zu tiefergehenden Aussagen. Fokusgruppen eignen sich daher vor allem dann, wenn es darum geht, gemeinsam Erfahrungen und Probleme zu erlutern und Lsungen zu erarbeiten, und sind daher ntzliche Instrumente fr die wirkungsorientierte Projektsteuerung. Fr die Erfassung von individuellen Meinungen und Erfahrungen eignen sich dagegen Einzelinterviews besser. Gruppendiskussionen werden meist zusammen mit anderen Methoden angewendet. Entscheidend fr die Qualitt von Fokusgruppen ist die Auswahl der Teilnehmenden: Knnen die Teilnehmenden offen miteinander sprechen? Ist die Gruppe so zusammengesetzt, dass verschiedene Sichtweisen zusammenkommen und sich daraus eine ergiebige Diskussion entwickeln kann?

Vorteile: Stakeholder werden einbezogen auch unerwartete Ergebnisse Mehrwert durch den Austausch der Teilnehmenden (verschiedenen Ansichten) Nachfragen mglich

Nachteile mittlerer Zeitaufwand fr die Durchfhrung ist Expertise notwendig Ergebnisse evtl. schwer auszuwerten und zu quantizieren Teilnehmende uern sich evtl. nicht offen

Projektbeispiel PAFF: Alle sechs Monate ldt die Projektleitung von PAFF die Paten zu einer Fokusgruppe ein. Es wird ber die Erfahrungen, die Herausforderungen und auch die Erfolge gesprochen. Dabei wird unter anderem die Wirkungslogik des Projekts reektiert und das Projekt kann kontinuierlich verbessert werden.

Informelle Gesprche / Anekdoten


Beschreibung: Informelle Gesprche mit den Teilnehmenden und den Stakeholdern nden whrend eines Projekts laufend statt. Auch sie eignen sich, um Informationen zu bekommen und um Informationen zu berprfen, die mittels anderer Methoden erhoben wurden. Mit Leuten informell ins Gesprch zu kommen, kann vermeiden, dass die Leute im Rahmen von knstlichen Befragungssituationen sozial erwnschte Antworten (also die Antworten, von denen sie glauben, dass der Interviewer sie hren mchte) geben. Informelle Gesprche eigenen sich auch gut, um Informationen von indirekten Zielgruppen des Projekts (zum Beispiel von den Eltern der an einem Projekt teilnehmenden Jugendlichen) zu bekommen. Auch ergibt sich hier eine gute Mglichkeit, auch etwas ber ungeplante Effekte des Projekts zu erfahren. Das bedeutet, dass man im Rahmen von informellen Gesprchen zum Beispiel etwas ber (positive, aber auch negative) Wirkungen erfhrt, die das Projekt angestoen hat, die man bei der Planung des Projekts gar nicht im Blick hatte. So berichteten die Eltern der Jugendlichen, die bei PAFF teilnehmen, darber, dass ihre Kinder nicht nur ihre schulischen Leistungen verbessert haben, sondern dass sich durch die verbesserten sozialen Kompetenzen der Jugendlichen auch die Beziehung zwischen ihnen und ihren Kindern verbessert hat. Informationen aus informellen Gesprchen und Anekdoten sollten regelmig und whrend des gesamten Projektverlaufs gesammelt werden. Hierfr mssen die Mitarbeiter gebeten werden, die Inhalte der Gesprche so systematisch wie mglich festzuhalten. Hier hilft es, den Mitarbeiten (vor allem den Ehrenamtlichen) eine Hilfe fr das Sammeln der Informationen an die Hand zu geben. Als sehr ntzlich haben sich hier zum Beispiel Projekttagebcher erwiesen. Auch in regelmigen Treffen der (ehrenamtlichen) Mitarbeiter sollte angeregt werden, von den informellen Gesprchen und Anekdoten zu berichten.

Vorteile: direkter Kontakt zur Zielgruppe Informationen ber ungeplante Effekte liefert ggf. gute Inhalte fr die Kommunikation (Storytelling) wenig Ressourcen und Kenntnisse notwendig

Nachteile schwer zu verallgemeinern Ergebnisse knnen stark interpretiert sein

78

Projektbeispiel PAFF: Bei PAFF wird jeder der Paten gebeten, ein Patenschaftstagebuch zu fhren, das den Verlauf der Patenschaft mit den positiven und negativen Ereignissen festhlt. Ein Austausch hierber ndet bei den regelmigen Patengruppentreffen statt. Bei den (zum Teil unregelmigen) Treffen mit den Eltern der Jugendlichen nutzen die Mitarbeitenvon PAFF die Mglichkeit, Feedback von den Eltern zu bekommen. den PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Gute Fragen sind der Schlssel fr ntzliche Antworten 5


Die Art, wie Sie Fragen stellen, wirkt sich direkt auf die Antworten aus, die Sie bekommen. Daher macht es Sinn, sich ber die Fragen die man stellt, Gedanken zu machen. Hier einige Tipps fr das Formulieren von Fragen: WIRKUNG ANALYSIEREN

Man unterscheidet zwischen geschlossenen und offenen Fragen. Geschlossene Fragen eignen sich, um an spezische Informationen zu gelangen. Auf geschlossene Fragen gibt es meist nur eine richtige Antwortmglichkeit beziehungsweise sie lassen sich relativ leicht mit ja oder nein beantworten. Zum Beispiel: Wie alt sind Sie? Hast du einen Ausbildungsplatz? Offenen Fragen eignen sich dafr, neue Gedanken, Sichtweisen, Diskussionen anzuregen. Sie frdern die Beteiligung der Befragten. Zum Beispiel: Knnen Sie Ihre Situation nher beschreiben? Wie gehen Sie mit der Situation um? Welche Chancen sehen Sie in diesem Projekt fr sich? Offene und geschlossene Fragen lassen sich gut zusammen nutzen. Zum Beispiel: Hast du schon einen Ausbildungsplatz gefunden? (geschlossenen Frage) Warum ist es fr dich deiner Meinung nach schwer, einen Ausbildungsplatz zu nden? (offene Frage) Nutzen Sie die W-Fragen: Wer? Wann? Was? Wo? Warum? Wie? Diese Fragen helfen zu analysieren und zu verstehen, was passiert und wo die Grnde dafr sind. Wann ist xy passiert? Warum war das hilfreich? Achten Sie bei der Fragestellung darauf, dass sich der Befragte nicht verhrt vorkommt, zum Beispiel durch eine zu huge Wiederholung von Warum-Fragen.
5

WIRKUNG VERBESSERN

1 2 3

vgl. Herrero (2012: 34f)

Wichtig zu wissen: Teilnehmende an der Datenerhebung ber den Prozess informieren und den Datenschutz einhalten
Wenn von den Teilnehmenden Daten erhoben werden, mssen diese darber informiert werden und damit einverstanden sein. Die Information sollte mglichst zu Beginn des Programms im Rahmen der Anmeldeformalitten (soweit vorhanden) erfolgen. Bei minderjhrigen Teilnehmenden mssen die Eltern informiert sein. Soweit mglich, sollten die Befragungen anonymisiert durchgefhrt werden und/oder in der Auswertung sollten Rckschlsse auf einzelne Teilnehmende nicht mehr mglich sein. Im Rahmen des Datenschutzes sollte darauf geachtet werden, dass die Daten fr Dritte unzugnglich aufbewahrt werden und die Identitt der Teilnehmenden geschtzt wird. Informieren Sie die Teilnehmenden an der Datenerhebung auch ber die Ergebnisse der Erhebung.

79

Systematische Beobachtungen
Beschreibung: In manchen Fllen ist es sinnvoller, etwas zu beobachten, als Informationen dazu zu erfragen. Im Rahmen von systematischen Beobachtungen werden Ereignisse, Individuen, Gruppen, Sozialrume vor dem Hintergrund einer spezischen Fragestellung betrachtet und die Ergebnisse analysiert und interpretiert. Beobachtungen bieten eine gute Mglichkeit, die Antworten aus einer Befragung zu berprfen, aber auch zu Erkenntnissen zu gelangen, die im Rahmen einer Befragung nicht angesprochen wurden. Gleichzeitig ergeben sich auf der Basis von Beobachtungen oft weitere Fragestellungen, die mit Hilfe anderer Erhebungsmethoden beantwortet werden knnen. Bei einer teilnehmenden Beobachtung nimmt die beobachtende Person an den Interaktionen des Felds, das beobachtet wird, mehr oder weniger aktiv teil. Bei einer nicht-teilnehmenden Beobachtung bleibt die beobachtende Person auerhalb des Felds, das sie beobachtet. Bei einer offenen Beobachtung wissen die Personen oder knnen zumindest erkennen, dass sie beobachtet werden. Bei einer verdeckten Beobachtung ist das nicht der Fall (vgl. Eval-Wiki: Glossar der Evaluation, www.eval-wiki.org/glossar/Beobachtung, Stand: 09.08.2013). Gehen Sie mit vorformulierten Fragestellungen in die Beobachtung; seien Sie jedoch gleichzeitig mglichst offen fr unerwartete Erkenntnisse.

Vorteile: direkter Bezug zur Zielgruppe und zum Sozialraum/Kontext liefert ggf. gute Inhalte auch fr die Kommunikation (Storytelling)

Nachteile zeitaufwndig Beobachter mssen geschult sein Schutz der Privatsphre muss garantiert werden

Projektbeispiel PAFF: Im Rahmen der externen Evaluation wurden bei PAFF die Vernderungen des Sozialverhaltes der Jugendlichen whrend der Projektteilnahme evaluiert. Zustzlich zu den Befragungen der Jugendlichen und deren Lehrer haben die externen Evaluatoren im Rahmen einer nicht-teilnehmenden, offenen Beobachtung das Sozialverhalten der Jugendlichen im schulischen Kontext beobachtet.

Tests und Messungen


Beschreibung: Tests und Messungen knnen an verschiedenen Punkten des Projektzyklus wichtige Informationen liefern. Zu Beginn des Projekts knnen sie Auskunft ber die Situation der Zielgruppe geben (zum Beispiel Mathe-Tests bei Schlern oder die Erhebung des Gesundheitsstatus bei Teilnehmenden an einem Gesundheitsprogramm). Tests bedienen sich oft quantitativer Methoden, es sind aber auch qualitative und gemischte Methoden mglich.

Vorteile: Vernderungen im Zeitverlauf lassen sich gut abbilden hohe Vergleichbarkeit bei standardisierten Tests

Nachteile mittlerer Zeitaufwand fr die Durchfhrung ist Expertise notwendig standardisierte Test eignen sich evtl. nicht fr die spezielle Situation der Zielgruppe

Projektbeispiel PAFF: Bei PAFF erheben die Trainer des Bewerbungstrainings vor Beginn und am Ende des Bewerbungstrainings den Wissensstand der Teilnehmer mit Hilfe eines Tests.

80

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Fallstudien (Case Studies)


Beschreibung: Bei Fallstudien stehen einzelne Teilnehmer oder eine bestimmte, bersichtliche Gruppe im Fokus der Erhebung. Dabei kann eine Vielzahl von Methoden angewandt werden wie halb-strukturierte Interviews, systematische Beobachtungen, Fokusgruppen, etc. Fallstudien eignen sich gut, wenn es darum geht, Wirkung beispielhaft darzustellen. Informationen aus Fallstudien geben gemeinsam mit quantitativen Aussagen ein aufschlussreiches Bild ber die Wirkung eines Projekts und bilden als Mischung aus qualitativen und quantitativen Daten eine gute Basis fr die Projektweiterentwicklung.

Vorteile: direkter Bezug zur Zielgruppe Liefert ggf. gute Inhalte auch fr die Kommunikation (Storytelling)

Nachteile unter Umstnden schwer zu verallgemeinern

Projektbeispiel PAFF: Bislang hat PAFF noch keine systematischen Fallstudien in dem Sinne durchgefhrt, dass einzelne Jugendliche im Rahmen ihrer Teilnahme am Projekt systematisch begleitet und deren Entwicklung beispielhaft erhoben und dargestellt wurde. Aus den Daten, die im Rahmen des Monitorings (Schulnoten, Anwesenheitsquote etc.) erhoben wurden, und den qualitativen Informationen aus den Patenschaftstagebchern lassen sich jedoch Daten fr die Darstellung einzelner Fallbeispiele zusammenstellen.

Dokumentenanalyse
Beschreibung: In internen und externen Dokumenten nden sich wichtige Informationen fr die Wirkungsanalyse. Interne Dokumente sind beispielsweise Projektkonzeptionen, Berichte oder Protokolle. Darin nden sich Informationen zum Projektkonzept, den Zielen und Resultaten des Projekts sowie Vernderungen whrend der Projektlaufzeit. Diese Informationen bilden auch einen guten Ausgangspunkt, um Fragestellungen fr eine Evaluation zu erarbeiten. Externe Dokumente sind unter anderem Studien, Surveys oder (ofzielle) Statistiken. Hier nden sich Daten, die vor allem fr die Bedarfs- und Umfeldanalyse interessant sind und die sich zum Teil gut als Vergleichsmastab eignen.

Vorteile:

Interne Daten relevante Daten fr die spezische Zielgruppe und den Sozialraum preiswert und schnell Mitarbeiter des Projekts /der Organisation werden einbezogen Externe Daten preiswert methodisch relativ zuverlssig bei regelmigen Erhebungen sind Vergleiche ber die Zeit mglich

Nachteile

Interne Daten evtl. schwer objektivierbar evtl. keine Informationen ber Ursachen- / Wirkungszusammenhnge Informationen evtl. nicht aktuell oder vollstndig Externe Daten oft nicht auf den Sozialraum bezogen und hoch aggregiert evtl. nicht aktuell

Projektbeispiel PAFF: Fr die externe Evaluation von PAFF hat der Evaluator auf die Projektkonzeption und auf die Daten aus dem Monitoring zurckgegriffen. Zu Projektbeginn hat PAFF bei der Analyse der Bedarfe die ofziellen Statistiken zur Jugendarbeitslosigkeit in der Region und Dokumente mit Informationen zur Situation des regionalen Ausbildungsmarkts genutzt.

81

6.2 SCHWER ZU ERHEBENDE WIRKUNGEN


Wirkungen nachzuweisen, kann aus den unterschiedlichsten Grnden eine groe

ehemaligen Teilnehmenden kann man hier die Befragten bitten, selbst einzuschtzen, wie Situation ist. Auch lsst sich hier mit der gro der Einuss des Projekts auf ihre jetzige Wirkungslogik und Wirkungsnachweisen, die whrend der Teilnahme am Projekt erhoben Projekts festgestellt wurde, dass bei den wurden, argumentieren. Wenn whrend des Teilnehmern Wirkungen auf den Outcome-

Herausforderung sein. Im Folgenden werden

Wichtig zu wissen: Was sind Kontrollgruppen?


Eine Kontrollgruppe ist eine Gruppe, die im Rahmen einer Evaluation Daten fr den Vergleich mit der Gruppe, die an einem Projekt teilgenommen hat, liefert. Die Kontrollgruppe nimmt an dem Projekt nicht teil. Damit ist ein Vergleich mit der Teilnehmergruppe mglich, und es knnen Aussagen zur Wirksamkeit des betreffenden Projekts abgeleitet werden. Die Kontrollgruppe ist ein Kriterium fr die Aussagekraft und Belastbarkeit von Evaluationsergebnissen, da sonst eine dem Projekt zugeschriebene Wirkung auch auf anderen Ursachen beruhen knnte. Eine Wirkungsevaluation mit Kontrollgruppen ist allerdings sehr aufwndig und wird relativ selten durchgefhrt.

einige Beispiel fr schwer zu erhebende Wirkungen dargestellt und beschrieben, welche Mglichkeiten der Wirkungsanalyse es in diesen Fllen gibt.

Stufen 4 (Vernderungen im Wissen) und 5

Herausforderung: Wirkungen nachweisen, die erst nach lngerer Zeit eintreten

(Vernderungen im Verhalten und Handeln) Sicherheit angenommen werden, dass das Projekt auch Einuss auf die langfristigen (Outcome-Stufe 6) hatte.

eingetreten sind, so kann mit einer gewissen

Viele soziale Projekte zielen auf Wirkungen, die erst nach einiger Zeit eintreten. Um hier Aussagen treffen zu knnen, mssen Daten

Wirkungen im Bereich der Lebenssituation

nach dem Ende des Projekts, beziehungswei-

se nachdem ein Teilnehmender seine TeilnahDies ist in vielen Fllen eine groe Heraus-

Herausforderung: Teilnehmende wollen oder knnen nicht befragt werden

me am Projekt beendet hat, erhoben werden. forderung, denn es ist oft sehr schwer und lngerer Zeit wieder zu kontaktieren. Hier

In einigen Projekten ist es schwierig, die Teilnehmenden zu befragen. Die Grnde hierfr sind unterschiedlich: Einige Zielgruppen

aufwndig, die ehemaligen Teilnehmer nach ist eine gute Pege der Kontaktdatenbank

haben Vorbehalte, an Erhebungen teilzunehNachteile entstehen knnen. Beispiele sind hier Personen, die von Gewalt betroffen

ntzlich und es ist hilfreich, den Teilnehmern schon bei Projektabschluss anzukndigen, dass man sie nach einiger Zeit noch mal kontaktieren mchte. Eine weitere Herausfordewirkungen auf die Aktivitten des Projekts zurckzufhren sind. Denn in der Zeit rung ist es, nachzuweisen, dass die Langzeit-

men, weil sie befrchten, dass ihnen dadurch

oder in Straftaten involviert sind. Hier ist es zuzusichern und zu gewhrleisten. Andere

wichtig, den Befragten absolute Anonymitt Zielgruppen sind selbst nicht in der Lage, im

zwischen dem Ende der Teilnahme am Projekt und dem Eintreten der Langzeitwirkung hat eine Vielzahl an Einssen die Entwicklung des (ehemaligen) Teilnehmers beeinusst. In den allerseltensten Fllen werden hier

Rahmen von Erhebungen Ausknfte zu erteilen (zum Beispiel Kleinkinder oder schwer an Demenz erkrankte Menschen). Hier kann es

ein mglicher Weg sein, ihnen nahestehende rige) zu befragen.

Personen (wie Eltern oder pegende Angeh-

Wirkungsevaluationen mit Kontrollgruppen

durchgefhrt. Im Rahmen der Befragung der

82

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Herausforderung: Wirkungen von Kampagnenarbeit / Advocacy nachweisen

Herausforderung: Wirkungen nachweisen, wenn die Zielgruppe Organisationen sind

WIRKUNG ANALYSIEREN

Bei Projekten im Bereich Kampagnenarbeit / von Gruppen und/oder die Themenanwaltschaft fr spezische Anliegen. Beispiele sind Kampagnen gegen das Rauchen oder Bildungspolitik oder Inklusion. Ziele sind

Advocacy geht es um die Interessenvertretung

Bei Projekten, deren Zielgruppen keine Individuen, sondern Organisationen sind, ergeben sich die Wirkungen aus dem Nutzen, den die das Projekt ziehen. Die Vernderungen im

WIRKUNG VERBESSERN

Organisationen aus der Untersttzung durch Wissen und in der Arbeitsweise der Organi-

zu Themen in den Bereichen Umweltschutz, es, sowohl Entscheidungstrger als auch die ffentliche Meinung zu beeinussen und gesellschaftliche Vernderungsprozesse

1 2 3

sation sind mittelfristige Outcomes, und die Arbeit der Organisation. Diese Wirkungen lassen sich zum Teil mit quantitativen, vor

Wirkung auf lange Sicht wre die effektivere


Beschreibung Marginalientext

anzustoen, die sich in einer Vernderung des Wirkungen sind hier schwer zu erheben. Ob

Bewusstseins und des Verhaltens ausdrcken. eine Kampagne die erwnschte Wirkung auf

allem aber mit qualitativen Daten abbilden. bei der Gewinnung und dem Management von Ehrenamtlichen untersttzt, besteht die Wirkung auf Outcome-Stufe 4 darin,

Ein Beispiel: Wenn ein Projekt Organisationen

gesellschaftlicher Ebene erzielt hat, lsst sich am ehesten in gro angelegten Studien (z.B. ber den Gesundheitsstatus der Bevlkerung) ablesen, die fr einzelne Organisation kaum durchfhrbar sind. Hier sollten daher entlang der Wirkungslogik Teilziele de-

Wichtig zu wissen: Was ist Social Return on Investment (SROI)?


Social Return on Investment (SROI, auf Deutsch: Sozialrendite) ist ein Ansatz der SocialImpact-Messung, der sich mit der Bewertung des durch (soziale) Projekte geschaffenen gesellschaftlichen Mehrwerts beschftigt und der in den letzten Jahren zunehmend nachgefragt, aber auch kritisch diskutiert wird. Bei der SROI-Analyse wird versucht, Projektresultate zu quantifizieren und in monetren Werten auszudrcken. Bemessen wird dies in der Regel darber, welche Kosten dem Staat durch die Projekte erspart bleiben. So entstehen etwa durch eine erfolgreiche Resozialisierung von Strafttern dem Staat weniger Kosten fr Inhaftierung oder die Betreuung durch Sozialarbeiter. SROI-Analysen sind sehr aufwndige Verfahren, fr die ein hohes Ma an Expertise notwendig ist. Auch ist angesichts der Komplexitt der Gesellschaft und ihrer Wirkungszusammenhnge kritisch zu fragen, welchen Aussagewert eine solche Zahl tatschlich hat . Quelle: vgl. Hoelscher (2011: 32)

dass die Organisation gelernt hat, wie man

Ehrenamtliche gewinnt und betreut, und die Organisation dieses Wissen auch anwendet. erreicht, wenn die Organisation aufgrund ihre Projekte effektiver umsetzen kann. Herausforderung: Wirkungen auf Impact-Ebene nachweisen

Wirkung auf Outcome-Stufe 5 darin, dass die Wirkungen auf Outcome-Stufe 6 wren dann ihres verbesserten Ehrenamtsmanagements

niert werden, zu denen auch Daten erhoben werden knnen. Dies sind zum Beispiel die Beeinussung von relevanten Entscheidungstrgern und Multiplikatoren, die sich dadurch derungen aufgegriffen oder die Argumente oder eine verstrkte Berichterstattung zum Thema in den Medien. Die Methode OutHilfestellung fr die Erarbeitung und come Mapping bietet hier eine ntzliche berprfung von Wirkungszielen ( Weiterfhrende Literaturhinweise am Ende des Kursbuchs). berprfen lassen, ob diese Personen die Forin ihre Argumentation bernommen haben,

Die Herausforderungen, Wirkungen auf

gesellschaftlicher Ebene (Impact) nachzuweisen, hneln den Schwierigkeiten, Wirkungen, die erst nach Projektende eintreten, zu erheben. Denn Vernderungen auf gesellschaftlicher Ebene treten in den allermeisten Fllen erst nach lngerer Zeit auf, das

Projekt ist dann oft schon beendet. Nicht nur deswegen ist es schwer, die eingetretenen

83

Wirkungen auf das eine Projekt zurckzufhren. Denn in komplexen gesellschaftlichen nen Faktoren Einuss auf Entwicklungen. Zusammenhngen haben viele verschiede-

tauschen und gemeinsam etwas zu tun, das Wirkungsziele und Indikatoren?

ihre Lebensqualitt steigert. Was wren hier Und auch wenn es fr Auenstehende auf den ersten Blick so scheinen knnte, dass Kinder und Jugendliche im Freizeittreff nur Spa haben, so ist dieses Angebot fr sie ein wichtiger Raum, um (unter anderem)

Wichtige Tipps fr die Datenerhebung

Hierbei die Netto-Wirkung eines einzelnen Projekts herauszultern ist nur sehr schwer mglich. Dies bedeutet allerdings nicht, dass nicht versucht werden sollte, Aussagen ber Wirkungen auf gesellschaftlicher Ebene zu treffen. Auch von Seiten einiger Geldgeber

Beginnen Sie mit der Konzipieren Sie die

Planung der Datenerhebung bereits in der Phase der Projektplanung. Erhebungsinstrumente auf der Basis der erarbeiteten Fragestellungen und Indikatoren.

personale, soziale, kulturelle und politische Kompetenzen aufzubauen und zu lernen, hier Wirkungsziele und Indikatoren? Verantwortung zu bernehmen. Was wren Qualitative Erhebungen, Fallstudien und

werden hierzu verstrkt Aussagen verlangt. Impact-Ebene ist allerdings mit hohem Ressourceneinsatz verbunden. Fr das Projekt

Eine methodisch hochwertige Evaluation auf

bedeutet dies, dass bei der Wirkungsanalyse

Anekdoten eignen sich hier als Erhebungs

Erheben Sie nicht

das Thema Impact mitgedacht werden sollte, nagement betrieben werden muss.

methoden besonders und geben gemeinsam mit quantitativen Outputzahlen und Aussadem Angebot ein aussagekrftiges Bild. gen ber die Zufriedenheit der Teilnehmer mit

zu viele Daten, sondern fokussieren Sie auf die Beantwortung der zentralen Fragestellungen.

aber gleichzeitig realistisches Erwartungsma-

Herausforderung: Wirkung bei offenen Angeboten nachweisen

Herausforderung: Wirkung bei Prventionsprojekten nachweisen

Greifen Sie zunchst Konzipieren Sie die

auf vorliegende Daten zurck, bevor Sie frische Daten erheben. Erhebungsinstrumente so, dass kein Datenberschuss entsteht.

Offene Angebote fr Kinder, Jugendliche oder ltere Menschen haben hug Schwierigkeiten, Aussagen ber ihre Wirksamkeit zu tref-

Wenn Jugendliche nicht anfangen zu rauchen oder Mdchen nicht als Teenager schwanger werden, haben Prventionsprojekte ihr Ziel diese Wirkungen auf das jeweilige Projekt zurckzufhren sind?

fen, und geraten deshalb zum Teil unter einen gewissen Rechtfertigungsdruck. Oft ist die Gruppe der Teilnehmenden/Besucher sehr heterogen und die Teilnahme am Angebot Wirkungsziele zu setzen und Wirkungen nachzuweisen.

erreicht. Aber wie lsst sich nachweisen, dass

Nutzen Sie verschiedene Datenquellen und Erhebungsmethoden

unregelmig, sodass es schwierig erscheint,

Wenn das Projekt direkt mit der Zielgruppe die Teilnehmer ihre Teilnahmen am Projekt Wirkung des Projekts erzielt wurde beziehungsweise weiterhin besteht. Auch hier ist die Arbeit mit Kontrollgruppen fr die

gearbeitet hat, lsst sich einige Zeit nachdem beendet haben, erheben, ob die erwnschte

Testen Sie die Erhe-

Bei der Formulierung ihrer Wirkungsziele und Indikatoren sollten offene Angebote daher berlegen: Warum nutzen die Besucher unser Angebot? Wahrscheinlich wird der SeniorenTreff nicht nur deshalb frequentiert, weil der

bungsinstrumente, bevor Sie diese einsetzen.

meisten Projekte nicht umsetzbar. Es kann

Kaffee so gut und der Kuchen so preiswert ist, sondern es geht den Besuchern auch darum, anderen Menschen zu begegnen, sich auszu-

jedoch versucht werden, Vergleiche mit vergleichbaren Gruppen zum Beispiel Jugend lichen aus der Parallelklasse oder aus der

anderen Hauptschule im Stadtteil, zu ziehen,

84

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

die jeweils nicht am Projekt teilgenommen das Projekt bei den Teilnehmern Wirkung erzielt hat.

haben, um Hinweise darauf zu erhalten, ob

Die Instrumente zur Datenerhebung testen

WIRKUNG ANALYSIEREN

Und auch hier lsst sich mit der Wirkungslogik und Wirkungsnachweisen, die whrend der Teilnahme am Projekt erhoben wurden, die erst nach lngerer Zeit eintreten).

Bevor es ernst wird und Sie mit Ihrer

Datenerhebung beginnen, sollten Sie Ihre

Instrumente der Datenerhebung (das heit, den erarbeiteten Fragebogen oder den Interviewleitfaden) testen. Denn egal, wie gut

WIRKUNG VERBESSERN

argumentieren ( Wirkungen nachweisen,

die Instrumente erarbeitet und das Vorgehen einschleichen, die die Qualitt der Erhebung gefhrden. Daher lohnt sich der Aufwand, die Instrumente zunchst bei einer kleinen Zahl von Personen zu testen und diese da-

1 2 3

6.3 QUALITTSKRITERIEN FR DIE DATENERHEBUNG


Verschiedene Datenquellen und Erhebungsmethoden nutzen

geplant wurden: Es knnen sich immer Fehler

Projektbeispiel PAFF Um festzustellen, ob sich die schulischen Leistungen der teilnehmenden Jugendlichen verbessern, nutzt PAFF verschiedene Methoden der Datenerhebung: Dabei werden die Schulnoten in den verschiedenen Fchern regelmig festgehalten, die Jugendlichen im Rahmen einer systematischen Beobachtung whrend des Unterrichts beobachtet und die Lehrer hinsichtlich ihrer Ein schtzung der Entwicklung der Jugendlichen befragt.

nach zu befragen. Im sogenannten Pretest sollte das Augenmerk auf folgende Punkte gelegt werden:

Wenn Sie auf Ihrer Seereise sichergehen

wollen, dass Sie auf dem richtigen Weg sind, verlassen Sie sich wahrscheinlich nicht nur auf den Blick aus dem Ausguck, sondern

Sind die Fragen klar und unmissverstndmit der Wortwahl etwas anfangen oder kommen unbekannte Fremdworte etc. vor?

Sie nutzen auch die Informationen aus den Blickwinkel helfen, ein mglichst aussagebei der Navigation zu vermeiden.

lich formuliert? Kann die befragte Zielgruppe

Seekarten und dem GPS. Die verschiedenen krftiges Ergebnis zu bekommen und Fehler Auch in der Wirkungsanalyse ist es wichtig, verschiedene Datenquellen und Methoden der Datenerhebung zu kombinieren, um die

Ist der Inhalt der Fragestellungen sinnvoll


und wird darauf geachtet, dass die Fragen Abwehrhaltung hervorrufen? bei den Befragten kein Unbehagen oder eine

Datenqualitt zu berprfen und gegebenen-

falls zu verbessern. Nutzen Sie fr eine aussagekrftige Analyse daher sowohl quantitative als auch qualitative Erhebungsmethoden. Triangulation genutzt. In der Fachsprache wird hierfr der Begriff

Sind die Anweisungen an die Personen, die


die Erhebung durchfhren, klar und unmissverstndlich?

Ist die Lnge der Befragung / des Fragebogens angemessen? Oft dauern Befragungen zu lange und die Befragten werden ungeduldig und unkonzentriert, was sich negativ auf die Qualitt der Antworten auswirkt.

85

7. DATENAUFBEREITUNG UND -ANALYSE

In diesem Kapitel erfahren Sie,

Im vorherigen Kapitel des Kursbuchs wurde dargestellt, wie Daten erhoben werden. Liegen die Daten vor, ist bereits ein gro-

wie Sie die erhobenen Daten auswerten und analysieren knnen, sodass Sie Informationen erhalten, die Sie nutzen knnen. konkrete Schlussfolgerungen ableiten knnen.

er Schritt getan. Ntzlich wird der ganze

Aufwand jedoch erst, wenn die Daten nicht

Was mchten Sie wissen?


Werten Sie nicht um der Auswertung Willen aus und analysieren Sie nicht um der Analyse Willen, sondern behalten Sie bei der Auswertung und der Analyse der Daten immer Ihre Erkenntnisinteressen und Fragestellungen im Blick!

wie Sie aus diesen Informationen


und Handlungsempfehlungen

als Haufen unausgewerteter Fragebgen in Excel-Tabellen in den Tiefen des Computers

Ordnern verstauben oder als unbearbeitete verschwinden. Die Daten sind ein Schatz,

den es nach der Bergung auch zu nutzen gilt. die Daten in Informationen umzuwandeln, aus denen Sie lernen und die Sie fr die knnen.

Das Feedback, das Sie whrend und nach der Seereise von Ihren Passagieren bekommen haben, Ihre eigenen Eindrcke und Informationen von weiteren Personen, die an der Reise beteiligt waren, ordnen und analysieren Sie mit Ihrer Mannschaft: Haben Sie mit Ihren Passagieren das Ziel erreicht? Verlief die

Im nun folgenden Schritt geht es also darum,

wirkungsorientierte Projektsteuerung nutzen

Die Auswertung und die Analyse von Daten

Reise wie geplant? Hat den Passagieren die

knnen je nach Erkenntnisinteresse und der

berfahrt gefallen? Konnten sie von der Reise protieren? Hat sich jemand unwohl gefhlt die weitere oder die nchste Reise? und, falls ja, warum? Und was folgt daraus fr

Menge und Qualitt der vorliegenden Daten Erfahrung und Fachwissen erforderlich sind. Ziel dieses Kapitels ist es daher nicht, Sie zu Pros fr Datenauswertung zu machen,

ein sehr anspruchsvoller Prozess sein, fr den

86

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

sondern es sollen praxisnahe Tipps fr den Umgang mit Daten aus der Wirkungsanalyse vermittelt werden, die auch von kleinen Projekten selbststndig umgesetzt werden knnen. In vier Schritten wird gezeigt, wie Sie Schlussfolgerungen ziehen und Handlungsempfehlungen entwickeln knnen. Davor soll die Frage nach dem Zeitpunkt und den geklrt werden.

spteren Zeitpunkt fr eine weitere Analyse genutzt werden, wenn zum Beispiel werden sollen. Entwicklungen im Zeitverlauf analysiert

WIRKUNG ANALYSIEREN

aus einem Berg an Informationen ntzliche

7.2 WER IST FR DIE DATENAUSWERTUNG UND -ANALYSE ZUSTNDIG?


Beim Monitoring und bei internen Evaluationen fllt die Auswertung der Daten in den Aufgabenbereich der Projektmitarbeiter, die Personen beteiligt sind, ist es sinnvoll, eine

WIRKUNG VERBESSERN

Zustndigkeiten fr Auswertung und Analyse

Projektbeispiel PAFF

1 2 3

7.1 WANN UND WIE OFT SOLLTEN DIE DATEN AUSGEWERTET UND ANALYSIERT WERDEN?
Erfahrungsgem sind Daten, die nicht bald nach ihrer Erhebung genutzt werden, verloren. Die Auswertung und Analyse der Daten sollten daher so bald wie mglich nach deren Erhebung stattnden. Denn zum einen kann nur so gewhrleistet werden, dass die Informationen, die fr die weitere Projektwerden, auch aktuell sind. Zum anderen

auch die Daten erheben. Wenn dabei mehrere verantwortliche Person zu bestimmen, bei der die Daten zusammenlaufen und die die Auswertung koordiniert. Bei externen Evaluatioder externen Evaluatoren.

nen ist die Auswertung Bestandteil der Arbeit

Die Qualitt der Analyseergebnisse hngt

Die Informationen, die bei PAFF im Rahmen des regelmigen Monitorings erhoben werden, werden von der Projektleitung ausgewertet und in einem ersten Schritt analysiert. Die Ergebnisse werden bei den Treffen des Leitungsteams vorgestellt, diskutiert und hinterfragt. Dabei werden je nach Bedarf zum Beispiel Paten oder Lehrer einbezogen. Als die Ergebnisse der externen Evaluation (mit dem Fokus auf dem Thema Sozialkompetenzen der teilnehmenden Jugendlichen) vorgestellt wurden, waren neben dem Leitungsteam einige erfahrene Paten, die Klassenlehrer aus den Klassen, aus denen Schler am Projekt teilnehmen, sowie zwei Vertreter von Betrieben, bei denen Projektteilnehmende eine Ausbildung machen, anwesend. Dadurch war es mglich, die Ergebnisse der Evaluation mit den Alltagserfahrungen der verschiedenen Stakeholder zu vergleichen und zu diskutieren.

entscheidend davon ab, wer bei der Analyse nicht im stillen Kmmerlein stattnden!

einbezogen ist. Die Datenanalyse sollte daher Tauschen Sie sich mit Kollegen aus dem Projekt aus und binden Sie die Stakeholder mit ein, die die Ergebnisse der Analyse einscht-

steuerung und die Kommunikation bentigt haben Sie nur dann die Mglichkeit, noch

weitere Informationen einzuholen, wenn Sie bald nach der Erhebung der Daten feststellen, dass es noch Unklarheiten gibt.

zen und gegebenenfalls hinterfragen knnen. So knnen verschiedene Interpretationen der Ergebnisse einbezogen werden, mgliche Fehler in den Schlussfolgerungen knnen

Das bedeutet, dass sich die Auswertung

der Daten in der Regel dem Rhythmus der

aufgedeckt werden, und die angestrebten breitere Basis gestellt. Bei einer externen

Datenerhebung anpasst ( Kap. 4 Wann

Lernprozesse werden von Beginn an auf eine Evaluation bedeutet das, dass der externe

sollte M&E durchgefhrt werden?). Bei der

Datenanalyse hngt der Zeitpunkt der Analyab. So knnen Daten zum Beispiel kurz nach vom aktuellen Status Quo zu bekommen.

se aber auch von der jeweiligen Fragestellung ihrer Erhebung analysiert werden, um ein Bild Dieselben Daten knnen aber auch zu einem

Evaluator die Ergebnisse der Evaluation vor einer fr die jeweilige Schwerpunktsetzung und den Zweck der Evaluation reprsentati-

ven Gruppe von Stakeholdern vorstellen und es die Mglichkeit zum Feedback geben soll.

87

Tipp: Die folgenden Fragen helfen Ihnen bei der Arbeit mit Ihren Daten
Fragen fr die Datenauswertung Fragen fr den Plausibilittscheck Fragen fr die Datenanalyse (Vergleiche) Fragen fr die Datenanalyse (Schlussfolgerungen) Fragen fr die Handlungsempfehlungen

Schritt

Schritt

Schritt
Wie ist das Ergebnis im Vergleich zu frheren Resultaten/ geplanten Resultaten/Resultaten aus anderen Projekten? Ist das Ergebnis besser/schlechter als erwartet? Zeigen sich Entwicklungen, die von der Planung abweichen?

Schritt

Zeichnen sich in den Daten Trends oder Anhufungen (Cluster) ab?

Wurde die Auswertung einer Qualittskontrolle unterzogen? Weichen die Ergebnisse so stark von der Einschtzung der am Projekt beteiligten Stakeholder ab, dass die Auswertung fehlerhaft sein knnte?

Falls das so ist/nicht so ist, warum? Lassen sich Zusammenhnge erkennen? Zeigen sich Vernderungen in den grundlegenden Annahmen oder dem Umfeld des Projekts (zum Beispiel bezglich der Bedarfe)?

Wie kann das gendert werden? Muss das Projekt angepasst werden? Mssen die Plne angepasst werden? Was sollte getan werden?

Welche weiteren Informationen werden bentigt, um die Fragen zu beantworten? An welcher Stelle muss noch mal genauer hingeschaut und/oder analysiert werden?

7.3 IN VIER SCHRITTEN VON DER DATENAUFBEREITUNG ZUR ERARBEITUNG VON HANDLUNGSEMPFEHLUNGEN
Im Folgenden wird dargestellt, wie Sie in vier Schritten von den in der Wirkungsanalyse erhobenen Daten zu Handlungsempfehlungen kommen, die Ihnen helfen, Ihr orientierter zu gestalten.

verbindungen zu ziehen, Entwicklungen

zu identizieren und die Resultate auf der

Basis von Vergleichen zu bewerten und zu

interpretieren. Auf der Basis der Datenanalyse werden dann (in Schritt 4) Handlungsempfehlungen erarbeitet.

Schritt 1: Daten aufbereiten und auswerten

Projekt wo notwendig noch wirkungs-

Die erhobenen Daten mssen zunchst in

eine Form gebracht werden, in der sie ausgewertet werden knnen. Diese Aufbereitung beinhaltet, dass die Daten systematiist die Art der Aufbereitung abhngig

Aus einigen Daten lassen sich relativ leicht Aussagen ableiten, whrend in der Mehrzahl der Flle das Daten-Rohmaterial

siert und zusammengefasst werden. Dabei davon, wie die Daten erhoben wurden bung). Quantitative Daten lassen sich in litativen Daten, die beispielsweise durch Interviews oder durch Fragebgen mit ( Kap. 6 Methoden der Datenerhe-

aufbereitet und ausgewertet werden muss, damit es als Information genutzt werden kann (Schritt 1). Dabei sollte der Qualitt der Datenauswertung eine groe Bedeu-

tung beigemessen werden (Schritt 2). Bei

Tabellen (z. B. Excel) aufbereiten. Bei qua-

der Datenanalyse (Schritt 3) geht es darum, die Daten in einen Kontext zu stellen, Quer88 PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

offenen Fragen erhoben wurden, mssen

WIRKUNG PLANEN

zunchst die Kernaussagen systematisiert und zusammengefasst werden. Bei der Auswertung der Daten werden die Inforstzen zusammengefasst.

Auswertungsprozess einer laufenden Qualittskontrolle. Whrend die Auswertung der Daten durch einige wenige Personen

WIRKUNG ANALYSIEREN

mationen dann aus den einzelnen Daten-

durchgefhrt werden sollte, sollten Sie in Stakeholder einbeziehen, die das Projekt

Rahmen des Plausibilittschecks diejenigen so gut kennen, dass sie die Ergebnisse der

Schritt 2: Plausibilittscheck Der Plausibilittscheck ist ein auf den

Datenauswertung einschtzen knnen. So sind es wahrscheinlich die Mitarbeitenden cher Stelle die Ergebnisse ihren Erfahrungen und Einschtzungen widersprechen wendig, Experten um Rat. des Projekts, denen auffllt, ob und an wel-

WIRKUNG VERBESSERN

ersten Blick kleiner, aber sehr wichtiger bei der Auswertung der Daten knnen verzerren. Unterziehen Sie daher den

Schritt. Denn Fehler bei der Erhebung und die Aussagen einer Untersuchung stark

1 2 3
nein

oder diese besttigen. Fragen Sie, wo not-

Datenaufbereitung in einer Tabelle


ID Patenkind 1 Note im Fach Deutsch
Jahr 1 Jahr2 Jahr3

Teilnahme am Bewerbungstraining
ja nein

Betreuung abgeschlossen
ja nein

qualizierter Schulabschluss
ja nein

Lehrstelle gefunden
ja

101 102 103 104 ... ... Auswertung

3 4 5 4

3 5 4 3

2 4 4 3

x x x x

x x x x

x x x x

x x x x

4,0 3,75 3,2

Schritt 3: Daten analysieren Die Auswertung der Daten in Schritt 1 ist werden wie sie sind dargestellt: zum

schreibung auf und reektiert die Ergeb-

nisse. Dabei werden die Resultate auf der pretiert. Wichtig ist dabei: Mit Bewer-

rein deskriptiv, das heit, die Ergebnisse Beispiel 30 Prozent der Jugendlichen haben einen Ausbildungsplatz bekommen. Die Analyse der Daten baut auf dieser Be-

Basis von Vergleichen bewertet und intertung ist in diesem Zusammenhang nicht gemeint, dass Aussagen dazu getroffen werden, ob das Projekt an sich gut oder

1 Anmerkung: Statt den Namen der Teilnehmenden werden den Datenstzen aus Grnden der Vertraulichkeit der Informationen und der besseren Handhabbarkeit bei den Auswertungen groer Datenmengen Codierungen zugeordnet.

schlecht ist, sondern es geht darum, die


89

Projektbeispiel PAFF Bei PAFF ist es die Aufgabe der Patengruppenbetreuer, in regelmigen Abstnden die Monitoringdaten zusammenzutragen, um sie dann an die Projektleitung weiterzuleiten. Um die Qualitt der gesammelten Daten sicherzustellen, werden die Patengruppenbetreuer gerade zu Beginn bei dieser Aufgabe von der Projektleitung untersttzt. Die Projektleitung berprft die Daten bei der Zusammenfhrung und Auswertung auf ihre Plausibilitt und fragt bei Unklarheiten bei den Patengruppenbetreuern nach. Die Diskussionen im Leitungsteam dienen als weiterer Qualittscheck.

Resultate in einen Kontext zu setzen und das Projekt auf dem geplanten Weg ist.

vor diesem Hintergrund festzustellen, ob Im Sinne der wirkungsorientierten Steu-

hngt, dazu tendieren, mit Jugendlichen erfolgreicher Abschluss der Manahme wahrscheinlich ist. Dieses sogenannte Creaming (auf Deutsch in etwa: die

zu arbeiten, bei denen von Anfang an ein

erung ist die Analyse der Daten daher ein sehr wichtiger Schritt, der die Grundlage fr Lernen und Verbessern schafft. Vergleiche ziehen: wichtig, aber bitte mit Bedacht!

Sahne abschpfen) fhrt dazu, dass die schwereren Flle gar nicht erst in die keine Chance gegeben wird. Wenn VerProjekte aufgenommen werden und ihnen gleiche gezogen werden, sollte dies also mit Bedacht geschehen, und die Ergebnisse sollten im Rahmen des jeweiligen

Vergleiche sind ein zentraler Bestandteil der Datenanalyse: Sie bilden die GrundDer Gedanke, die eigene Arbeit mit der jedoch bei nicht wenigen Menschen im lage fr die Einschtzung der Ergebnisse. von anderen Projekten zu vergleichen, lst gemeinntzigen Sektor Unbehagen aus. einen nehmen viele Projekte ihre Arbeit mit nichts vergleichbar halten. Zum an die Befrchtung, dass Geldgeber ihre

Kontexts interpretiert werden. Denn trotz die zentrale Grundlage fr Lernen und

der Herausforderungen: Vergleiche bilden Verbessern ( Kap. 8). Ohne Vergleiche ist es kaum mglich, festzustellen, wie gut das Projekt wirklich ist und wie es sich entwickelt. Vergleiche bieten eine Lernen und Entscheiden. Arten von Vergleichen Sinnvolle Vergleiche werden vor dem

Dafr gibt es verschiedene Grnde. Zum als so einmalig wahr, dass sie diese fr deren gibt es zum Teil nicht zu Unrecht Finanzierungsentscheidung auf Grundlage der Ergebnisse der Vergleiche treffen. In der Tat sind rein quantitative Vergleiche ohne eine Interpretation der Zahlen keine beispielsweise die bergangszahlen von Schlern in eine Ausbildung in strukturgute Entscheidungsgrundlage. So knnen

Grundlage fr Diskussion, (gemeinsames)

Hintergrund eines bestimmten Erkenntim Rahmen der Wirkungsanalyse erhovon Vergleichen gezogen werden. Die

nisinteresses gezogen. Auf der Basis der benen Daten knnen verschiedene Arten meisten Arten werden dabei innerhalb

schwachen Regionen nicht sinnvoll mit der bergangsquote in Regionen mit einem hohen Lehrstellenangebot verglichen wermitzubercksichtigen. Eine Erfolgsmeswie der bergangsquote in Ausbildung kann auch dazu fhren, dass Projekte,

eines Projekts gezogen, einige Arten von Projekt mit Daten aus anderen Projekten

Vergleichen setzen die Resultate aus dem ins Verhltnis. Welche Art von Vergleichen man fr die Analyse des eigenen Projekts lung ab. nutzt, hngt von der jeweiligen FragestelIm Folgenden werden verschiedene Arten von Vergleichen dargestellt, und es wird

den, ohne dabei die Arbeitsmarktsituation sung ausschlielich an harten Zahlen

deren Frderung von dieser Kennzahl ab90 PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Notendurchschnitt Klasse gesamt vor Projektbeginn (Baseline) Projektjahr 1 Projektjahr 2 3,5 3,25 3,15

Notendurchschnitt Projektteilnehmer 3,5 3,0 2,9

Notendurchschnitt nicht Teilnehmende am Projekt (Kontrollgruppe) 3,5 3,5 3,4

anhand des Projektbeispiels PAFF gezeigt, welche mglichen Schlussfolgerungen daraus im Rahmen der Datenanalyse gezogen werden knnen.

Schuljahren um 0,6 verbessert. Um fest-

zustellen, inwieweit die Vernderung auf die Teilnahme an der Nachhilfe von PAFF zurckzufhren ist, mssen jedoch zustzliche Vergleichsmglichkeiten geschaffen von Schlern der Klassen, die am Projekt teilgenommen haben, und die Noten der werden. Beispielsweise knnen die Noten
Abb.: Tabelle zum Beispiel Vorher-NachherVergleich

Achtung: Natrlich mssen Sie fr Ihr

Projekt nicht alle diese Vergleiche nutzen! Die Darstellung der verschiedenen Arten ber die verschiedenen Mglichkeiten das Passende auswhlen knnen. 1. Vorher-Nachher-Vergleich Bei Vorher-Nachher-Vergleichen werden von Vergleichen soll Ihnen einen berblick verschaffen, aus denen Sie je nach Bedarf

Schler aus derselben Klasse, die nicht am haben, miteinander verglichen werden. Ansonsten knnte es ja auch sein, dass sich die Noten der gesamten Klasse

Nachhilfeangebot von PAFF teilgenommen

verbessert haben, weil die Klasse zum Beispiel eine neue Mathelehrerin bekommen hat und die Teilnahme am NachhilfeangeFaktor fr die Notenverbesserung der bei PAFF teilnehmenden Jugendlichen war. 2. Soll-Ist-Vergleich Soll-Ist-Vergleiche vergleichen die tatten Zielen (Soll-Werten) des Projekts.

Vernderungen im Zeitverlauf dargestellt. Beispiel: Es soll festgestellt werden,

bot somit gar nicht der ausschlaggebende

ob sich die Mathe-Note bei den Sch-

lern innerhalb einer Schulklasse, die am (positiv) verndert hat (vgl. hierzu die Tabelle oben).

Nachhilfeangebot von PAFF teilnehmen,

schlichen Resultate mit den angestreb-

Mgliche Schlussfolgerungen im Rahmen der Analyse: Der Notendurchschnitt der teilnehmen-

Beispiel 1: Es soll festgestellt werden, den Jugendlichen, die direkt nach dem

Abb.: Tabelle zum Beispiel 1 Soll-Ist-Vergleich

den Schler hat sich innerhalb von zwei

ob sich der Prozentsatz der teilnehmen-

bergangsquote tatschlich Projektjahr 1 Projektjahr 2 Projektjahr 3 50% 75 % 60%

bergangsquote Soll-Wert 70% 70% 70%

Differenz Prozentpunkte -20 *1 +5 -10 *2

91

Schulabschluss einen Ausbildungsplatz erhofft.

bekommen haben, so entwickelt hat, wie

*2: Nachdem im Vorjahr der Soll-Wert wieder gesunken. Kein Grund zur Pa-

erreicht wurde, ist die bergangsquote nik, aber zur Aufmerksamkeit. Grnde Qualittsverlust festgestellt werden?

*1: Das Projekt hat im ersten Jahr seine

gesetzten Ziele nicht erreicht. Hier sollte der Projektinhalte und Ablufe zu einer zeitig sollte auch berlegt werden, ob

dafr knnen im Projekt liegen (Kann ein Gibt es vernderte Anforderungen, auf

nachgefragt werden, ob eine Vernderung Verbesserung beitragen knnte. Gleichdas Ziel eventuell zu hoch gesteckt war

die bislang nicht reagiert wurde?) oder

auerhalb des Projekts (zum Beispiel ein

Rckgang der Zahl der angebotenen Lehrden Problembaum ( Kap. 1 ) hilfreich,

und angepasst werden sollte. Gerade zu gen vorliegen, kann das passieren. Ein kann hier hilfreich sein.

stellen in der Region). Hier ist ein Blick auf der das gesamte Ursachen- und Auswirsich das Projekt bewegt.

Projektbeginn, wo noch wenige ErfahrunVergleich mit (vergleichbaren) Projekten

kungsgefge darstellt, innerhalb dessen

Beispiel 2: Festgestellt werden soll, ob die Paten mit ihrer Betreuung durch die Patenbetreuer zufrieden sind.
sehr zufrieden 10 % (n=5) ziemlich zufrieden 50 % (n=25)

ziemlich unzufrieden 30 % (n=15)

sehr unzufrieden 10 % (n=5)

insgesamt 100 % (n=50)

Mgliche Schlussfolgerungen im Rahmen der Analyse: 40 % der Paten sind mit der Betreuung nicht zufrieden. Auch wenn sich die Projektverantwortlichen hier keinen

berraschend und viel zu hoch war. Woran kann die Unzufriedenheit liegen? Lsst sich herausnden, ob es sich zum Beispiel gruppe sind? Wie regelmig besteht zu diesen Paten Kontakt? Was kann getan

um Paten handelt, die in derselben Paten-

expliziten Soll-Wert gesetzt hatten, mit

dem diese Ergebnisse verglichen werden

knnen, bestand nach der Auswertung der Daten Einigkeit darber, dass dieser Wert

werden, um die Zufriedenheit zu steigern?

Beispiel 3: Vergleich der Erwartungen/Zielsetzungen der Teilnehmenden und ihrer Paten mit den tatschlich erreichten Ergebnissen.
Note zu Beginn der Patenschaft Mathe-Note 5 5 gemeinsam gestecktes Ziel fr das Ende des Schuljahrs 3 3

Note im Zwischenzeugnis 5 4

Note zu Schuljahresende 4 3

Deutsch-Note

92

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Bei PAFF berlegen sich die Patenkinder und ihre Paten gemeinsam, welche (realistischen) Verbesserungen sie bei erreichen wollen.

Angesichts der Ergebnisse sollte gemein-

WIRKUNG PLANEN

sam mit dem Patenkind berlegt werden:

der Mathe- und Deutsch-Note gemeinsam

Was von den gemeinsam gesteckten Zie-

len haben wir erreicht? Wo knnen wir uns wir noch etwas tun? Welche zustzlichen Manahmen, zum Beispiel die Teilnahme nen dabei untersttzen?

schon auf die Schulter klopfen? Wo mssen

WIRKUNG ANALYSIEREN

Mgliche Schlussfolgerungen im Rahmen der Analyse:

an zustzlichen Nachhilfeangeboten, kn-

3. Vergleiche zwischen verschiedenen Mglichkeiten der Konzeptgestaltung Vergleiche zwischen verschiedenen

zept zum Beispiel nach einer Evaluation

WIRKUNG VERBESSERN

gendert wurde, knnen die Ergebnisse

der vorherigen Evaluation mit denen der

Mglichkeiten der Projektdurchfhrung

neuen Evaluation verglichen werden, um zu anderen/besseren Resultaten gefhrt haben.

1 2 3

erlauben Rckschlsse auf die Erfolgsfak-

festzustellen, ob die Vernderungen auch

toren eines Projekts. Wenn das Projektkon-

Er

gb ol

ei d

Konzept PAFF mit zustzlichem Bewerbungstraining Konzept PAFF ohne Bewerbungstraining

Mgliche Schlussfolgerungen im Rahmen der Analyse: Das Bewerbungstraining scheint einen

(zum Beispiel Nachhilfe durch ausgebildete Lehrkrfte) gibt es im Projekt, und lassen sich daraus Rckschlsse auf die ErfolgsBeispiel die Teilnehmenden, die einen

50%

+15%

er Lehrstelle

ns u

Beispiel: Festgestellt werden soll, ob die Jugendlichen, die zustzlich zu der Patenschaft noch ein Bewerbungstraining hatten, lensuche haben.

he
b e

rgangsquote n

mehr Erfolg bei der Lehrstel-

positiven Effekt auf die bergangsquote zu haben. In diesem Beispiel hatten die Projektverantwortlichen schon aus ihren

kriterien des Projekts ziehen? Haben zum Ausbildungsplatz gefunden haben, davor am Bewerbungstraining teilgenommen? Waren die Jugendlichen, deren Schulnoten die den Nachhilfeunterricht bei einer ausgebildeten Lehrkraft hatten?

Erfahrungen im Projektalltag das Gefhl,

dass das Bewerbungstraining ein wichtiger in eine Ausbildung ist. Bei der Analyse besttigt.

Erfolgsfaktor fr den erfolgreichen Einstieg der Daten wurde diese Vermutung dann

sich deutlich verbessert haben, diejenigen,

Wenn zunchst noch nicht klar ist, auf

Antworten auf diese Fragen knnen bei der Entwicklung von Qualittskriterien sehr hilfreich sein. So wurde bei PAFF beschlossen, die Nachhilfe, soweit das die nanziellen Ressourcen zulassen, von ausgebilstatt wie davor auch von Studenten. deten Lehrkrften durchfhren zu lassen,
93

welchen Faktoren bei der Analyse das Augefragt: Welche verschiedenen Bestandteile (zum Beispiel Bewerbungstrainings oder Nachhilfe) und Qualittsfaktoren

genmerk liegen sollte, ist mehr Sprsinn

Beispiel: Festgestellt werden soll, ob alle (Unter-)Zielgruppen wie geplant erreicht werden.
Teilnehmende
Jungen Mdchen Insgesamt

Mgliche Schlussfolgerungen im Rahmen der Analyse: Bei der Bedarfsanalyse hatte PAFF JuZielgruppe mit besonders hohem Frbesonders frdern. Offenbar werden

PAFF mit zustzlichem Bewerbungstraining


mit Migrationshintergrund mit Migrationshintergrund ohne Migrationshintergrund ohne Migrationshintergrund 15 20 5 10

gendliche mit Migrationshintergrund als derbedarf identiziert und mchte diese jedoch Mdchen mit Migrationshintergrund vergleichsweise wenig erreicht. Hier sollte nach den Grnden gefragt

50

werden: Spiegelt die Zahl die Verteilung

4. Vergleiche zwischen Zielgruppen / Unterzielgruppen

und die Bedarfe in den derzeit betreuten dass es in einer Jahrgangsstufe wenig

Klassen wider? Es kann ja durchaus sein, Schlerinnen mit Migrationshintergrund gibt, die fr die Teilnahme am Patenprojekt in Frage kommen. Oder muss berlegt werden, wie man gezielt bei dieser frdern kann?

Vor dem Hintergrund bestimmter Frageund -analyse die Differenzierung nach gruppen hilfreich sein.

stellungen kann bei der Datenauswertung verschiedenen Zielgruppen bzw. Unterziel-

(Unter-)Zielgruppe eine Projektteilnahme

5. Vergleiche zwischen Projekten / Benchmarking

sind: Mit wenigen Ausnahmen wird es kaum ein Projekt geben, das sich (zuanderen vergleichen lsst. Hier lohnt mindest in Teilen) mit berhaupt keinem es sich, die Augen offen zu halten und zu suchen.

Benchmarking ist eine besondere Form des mark lsst sich bersetzen mit Mastab oder Bezugsgre und Benchmarking entsprechend mit Mastbe setzen.

Lernens zwischen Organisationen. Bench-

gezielt Kontakte zu hnlichen Projekten

Mit Benchmarking ist hier ein (kontinuierlicher) Vergleich von Kosten, Resultaten oder Wirkungen mit anderen vergleichsich um vergleichbare Projekte anderer

Will man ein methodisch korrektes Benchmarking durchfhren, handelt es sich um ein sehr aufwndiges Verfahund auf das im Rahmen dieses KursEs soll aber ein Grundgedanke des

baren Projekten gemeint. Dabei kann es Organisationen handeln, aber auch um das Benchmarking kann zwar das gesamte

ren, das einiges an Expertise voraussetzt buchs nicht eingegangen werden kann. Benchmarkings kurz aufgegriffen werden: nmlich, dass Benchmarking eine Orientierungshilfe fr die eigene Weiterentwicklung sein kann.

gleiche Projekt an einem anderen Standort. Projekt umfassen, sinnvoller ist oft jedoch des Projekts.

der Fokus auf einen bestimmten Teilaspekt

Die Voraussetzung fr sinnvolle Verglei-

che zwischen Projekten ist natrlich eine

Mit der Idee im Hinterkopf, dass Benchdie wirkungsorientierte Weiterentwicklung eines Projekts bieten, kann Bench-

grundstzliche Vergleichbarkeit. Aber auch wenn Projekte oft sehr individuell gestaltet
94 PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

marking-Vergleiche eine groe Chance fr

marking fr das Mit- und Voneinanderlernen von Organisationen genutzt werden. Deshalb: Halten Sie im Rahmen die Augen gezielt nach Organisationen Wenn Sie dabei feststellen, dass eine

chen Projektbaustein in ihrem Konzept hat: Suchen Sie den Austausch! Vielleicht ergeben sich daraus Erkenntnisse, wie Sie Ihre eigenen Prozesse, Konzepte und Ergebnisse noch weiter bergreifend gelernt werden kann.

WIRKUNG PLANEN

eines alltagstauglichen Benchmarkings offen, die vergleichbare Projekte umsetzen. Organisation besonders wirkungsvoll

verbessern knnen und organisations-

WIRKUNG ANALYSIEREN

und/ oder efzienter arbeitet als Ihre Organisation oder einen interessanten zustzli-

WIRKUNG VERBESSERN

Beispiel: Vergleich der bergangsquoten in Ausbildung von drei Projekten


Projekt bergangsquote der Teilnehmenden in Ausbildung im Jahr x PAFF 60% Hop on the Job 75% Jobonauten 65%

1 2 3

Mgliche Schlussfolgerungen im Rahmen der Analyse: Der Vergleich mit zwei anderen Projekten ten erzielen als PAFF. Hier sollte zunchst festgestellt werden, ob es sich um ver-

nicht reprsentativ ist. Im nchsten Schritt sollten die Projektverantwortlichen von PAFF den Austausch mit den anderen ProErfolgsfaktoren (zum Beispiel zustzliche Trainings, Praktikumsangebote, eine die Paten) sind und ob mglicherweise ins Projektkonzept zu integrieren.

ergibt, dass diese hhere bergangsquo-

jekten suchen, um herauszunden, was die

Beschreibung

Marginalientext

gleichbare Anstze handelt, ob die Projekte in derselben Region ttig sind beziehungsweise in einer Region mit vergleichbaren Rahmenbedingungen und ob die Projekte ob es sich zufllig um einen besonders

lngere oder intensivere Betreuung durch versucht werden sollte, diese auch bei PAFF

Vorsicht vor falschen Schlssen!


Die Analyse der Daten sollte so objektiv wie mglich sein.

regelmig so gute Resultate erzielen oder guten Jahrgang handelt, und das Ergebnis
Projektbeispiel PAFF

In manchen Fllen kann es notwendig sein, auf der Grundlage der Analyse noch weitere Daten (evtl. mit anderen Instrumenten) zu erheben: Als bei einer der regelmigen Fragebogen-Umfragen bei den Paten von PAFF eine berraschend hohe Unzufriedenheit mit der Betreuung durch die Projektleitung festgestellt wurde, entschloss man sich, der Sache durch eine qualitative Befragung im Rahmen einer Fokusgruppe mit den Paten auf den Grund zu gehen.

Bei der Analyse und der Bewertung sollte man sich daher stets im Klaren sein, welche Grundannahmen und Wertevorstellungen hinter der Interpretation der Daten stehen. So kann zum Beispiel die Entscheidung einer Jugendlichen, Friseurin zu werden, von jemandem, der einer akademischen Laufbahn einen hheren Wert zumisst, als unbefriedigendes Ergebnis einer berufsorientierenden Manahme gewertet werden, whrend es sich fr die junge Frau um den Traumberuf handelt.

95

Fragen fr die Datenauswertung

Fragen fr den Plausibilittscheck

Schritt

Schritt

Fragen fr die Datenanalyse (Vergleiche)

Fragen fr die Datenanalyse (Schlussfolgerungen)

Schritt
Wie ist das Ergebnis im Vergleich zu den geplanten Resultaten?

Fragen fr die Handlungsempfehlungen

Schritt

Wie viele Jugendliche erhalten einen Ausbildungsplatz? Wie verndern sich die schulischen Leistungen?

Wurde die Auswertung einer Qualittskontrolle unterzogen?

Warum ist das so? Lassen sich Ursachen und/oder Zusammenhnge erkennen?

Wie kann das gendert werden? Muss das Projekt angepasst werden? Mssen die Plne angepasst werden? Was sollte getan werden? Zustzlich zu den bestehenden Bestandteilen des Projekts ist es wichtig, die Jugendlichen beim Lernen zu untersttzen. Daher wurde bei PAFF beschlossen, ein zustzliches Nachhilfeangebot zu schaffen.

50 % der Jugendlichen, die am Patenprojekt teilnehmen, erhalten einen Ausbildungsplatz. Die schulischen Leistungen in den Kernfchern liegen bei einem Notendurchschnitt von 3,6.

Die Daten wurden bei der Eingabe berprft und die Ergebnisse in einer Auswertungssitzung diskutiert.

Das Projekt bleibt hinter seinem Ziel, 70% der Jugendlichen in eine Ausbildung zu vermitteln, zurck. Die schulischen Leistungen vor allem in den Kernfchern haben sich nur minimal verbessert.

Vor allem die Jugendlichen, bei denen sich (u.a.) die Schulleistungen nicht verbessert haben, haben keinen Ausbildungsplatz bekommen. Offenbar sind die Schulleistungen einer der entscheidenden Faktoren fr einen erfolgreichen bergang in eine Ausbildung.

Schritt 4: Schlussfolgerungen

und Handlungsempfehlungen
Abb.: Anhand des Projektbeispiels werden die vier Schritte noch einmal im berblick gezeigt.

Handlungsempfehlungen im stillen Kmmerlein zu entwickeln, ist zumeist ein effektives Mittel, um deren Umsetzung zu verhindern. Wie im erungskreislauf ist auch hier das restlichen wirkungsorientierten Steupartizipative Vorgehen der Schlssel

Auch die aufwndigste Datenerhebung und -analyse ntzt nichts, wenn die Ergebnisse daraus nicht genutzt werden. Im vierten Schritt geht es daher darum, aus lungsempfehlungen abzuleiten. Handden Ergebnissen der Datenanalyse Handlungsempfehlungen leiten die Nutzung der Ergebnisse aus der Wirkungsanalyse ein. Fr die wirkungsorientierte Steuerung ist

zum Erfolg. Die Ergebnisse sollten im

Rahmen eines Workshops den relevantiert werden. Auch hier kann es unter

ten Stakeholdern vorgestellt und diskuUmstnden sinnvoll sein, Fachexperten einzubeziehen. Auf der Grundlage der Diskussionsergebnisse sollten dann gemeinsam die Empfehlungen formu-

dies ein zentraler Schritt, bei dem sehr viel Positives entstehen kann, wenn er reektiert umgesetzt wird.
96 PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Was tun bei schlechten Resultaten?

WIRKUNG ANALYSIEREN

WIRKUNG VERBESSERN

1 2 3

Auch wenn Sie in Ihrem Projekt exzellente Arbeit leisten, kann es vorkommen, dass die erzielten Resultate nicht Ihren Erwartungen (oder den Erwartungen der Stakeholder) entsprechen. Was sollten Sie in einem solchen Fall tun? Zunchst einmal sollte im Rahmen der Datenanalyse nach den Grnden fr die Abweichungen gesucht werden. Die Grnde knnen dabei innerhalb und auerhalb des Projekts liegen. Dabei sollten die Resultate stets in den weiteren Kontext des Projekts eingeordnet werden, damit verstndlich wird, wie die Ergebnisse zu bewerten sind. Der Problembaum ist hierfr ein ntzliches Instrument ( Kap. 1). Ein systematisches Monitoring whrend des Projekts sollte verhindern, dass Sie von schlechten Ergebnissen berrascht werden. Bemhen Sie sich hier auch um einen regelmigen Austausch mit den Stakeholdern und informieren Sie sie ber den Stand der Dinge. Verdeutlichen Sie dabei, warum Resultate hinter den Erwartungen zurckbleiben und welche Gegenmanahmen Sie planen. Im Idealfall sollten Geldgeber dies honorieren und den Lern- und Verbesserungsprozess aktiv untersttzen, anstatt abzustrafen. Als die Evaluation bei PAFF ergeben hatte, dass die mangelnden Sozialkompetenzen der Jugendlichen ein entscheidendes Hemmnis beim Schritt in die Ausbildung sind, hat die Projektleitung gemeinsam mit ihrem Hauptgeldgeber, einer Frderstiftung, ein Sozialkompetenztraining als weiteres Projektmodul konzipiert, das nun auch von der Stiftung nanziert wird. Auf jeden Fall sollten Sie versuchen, die Erkenntnisse zu nutzen, um einen Lernund Verbesserungsprozess einzuleiten. Das Thema Lernen und Verbessern ist Inhalt des nchsten Kapitels ( Kap. 8).

liert werden, sodass sich die Stakeholder damit identifizieren knnen und bereit sind, die nchsten Schritte umzusetzen beziehungsweise mitzutragen.

97

TEIL 3: WIRKUNG VERBESSERN


Alles kann immer noch besser gemacht werden, als es gemacht wird.
Henry Ford (*1863 1947)

Das sind die Inhalte von Teil 3 des Kursbuchs:

In Kapitel 8 erfahren Sie, wie Sie die Ergebnisse aus der Wirkungsanalyse nutzen knnen, um daraus zu lernen und Strukturen, Prozesse und Strategien in der Projektarbeit anpassen und verbessern zu knnen.

In Kapitel 9 erfahren Sie, wie Sie die Ergebnisse der Wirkungsanalyse fr Ihre Berichterstattung und ffentlichkeitsarbeit nutzen knnen.

In Kapitel 10 erfahren Sie, wie Sie auf Grundlage von positiven Ergebnissen aus der Wirkungsanalyse feststellen knnen, ob und wie Sie Ihr wirkungsvolles Projekt verbreiten knnen.

Zum Weiterlesen Direktdownload Lesen Sie zum Thema auch unsere Studie Wirkungsorientierte Steuerung in Non-Prot-Organisationen Wirkung und Transparenz schaffen Download unter www.phineo.org/publikationen

98

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

R VE

BE

N SSER

WIRKUNG PLANEN

TE
Herausforderungen und Bedarfe T verstehen E I L 1
Herausforderungen und Bedarfe verstehen

IL

L3 W

ber Wirkung SERN BES berichten R VE G N


ber Wirkung berichten

W
WIRKUNG ANALYSIEREN

L3 W

TEI

Lernen und anpassen


TEI

Lernen und anpassen

8 7

2 3 6 5 4

Wirkungsziele setzen

Wirkungsziele setzen
KU
NG

WIRKUNG VERBESSERN

Daten 7 Daten auswerten und auswerten und analysieren analysieren

3 Wirkungslogik Wirkungslogik
erarbeiten

erarbeiten

1 2 3

IR

IR
KU

IR

NG

IR

PLA

PLA

NEN

NEN

Daten erheben

Wirkungsanalyse vorbereiten

Daten 2 erheben W IR KU

TE
IL

Indikatoren entwickeln

Wirkungsanalyse vorbereiten

A N A L die Ergebnisse daraus nicht nutzen wrden. Auf Ihrer Seereise haben Sie nun schon IEREN
einiges erlebt. Nach der Planung der Reise sind Sie in See gestochen und haben nach

einer schnen, aber zum Teil auch abenteuerlichen Fahrt Kurs auf Ihr Ziel genommen. Dabei haben Sie von Zeit zu Zeit Ihren Kurs bericht geschrieben. Und angesichts des

angepasst, Logbuch gefhrt und einen Reisegroen Erfolgs und des positiven Feedbacks Personen in den Genuss einer solchen Reise kommen knnen.

der Passagiere berlegen Sie, wie noch mehr

Auch in der wirkungsorientierten Projektsteuerung haben Sie bereits viel getan: Sie haben Ziele und eine Wirkungslogik formuliert, Ihr Monitoring- und Evaluationssystem eingefhrt, auf der Grundlage von Indikatoren

Daten erhoben, die Ergebnisse ausgewertet und Empfehlungen abgeleitet. Nun geht es darum, die Ergebnisse auch zu nutzen. Die

Wirkungsanalyse htte wenig Sinn, wenn Sie

TE
IL

NG

A N A LY S I E R E N Indikatoren

IR

KU

entwickeln

NG

YS

Das wre in etwa so, als wrden Sie einen Marathon laufen und sich kurz vor dem trinken gehen. Ziel auf die Schulter klopfen und Kaffee

Teil 3 des Kursbuchs beschftigt sich mit analyse.

der Nutzung der Ergebnisse der Wirkungs-

Lernen, Verbessern und Kommunizieren sind nicht strikt voneinander zu trennen. Sie ergnzen und berschneiden sich. Dass es sich dabei nicht um lineare Ablufe handelt, die nacheinander umgesetzt werden, sollte beim weiteren Lesen im Hinterkopf behalten werden.

sondern um Prozesse, die ineinandergreifen,

99

8. LERNEN UND VERBESSERN

In diesem Kapitel erfahren Sie, warum Lernen fr die wirkungsorientierte Projektarbeit wichtig ist. was eine lernende Organisation ausmacht.

Informationen aus Ihrer Navigation ergeben

haben, dass Sie vom Kurs abgekommen sind, haben Sie diesen angepasst. Und als Sie aufgrund einiger Rckmeldungen und noch voldas Essen nicht so richtig schmeckt, haben

len Tellern gemerkt haben, dass Ihren Gsten Sie dies bei Ihren regelmigen Mannschaftsmeetings thematisiert. Es stellte sich heraus, dass einige Passagiere seekrank waren, der Koch aber nicht gengend Zeit und nicht die notwendigen Zutaten hatte, um eine entsprechende Schonkost zuzubereiten.

wie Sie aus den Ergebnissen Ihrer Wirkungsanalyse lernen und Verbesserungen ableiten knnen.

Nach Ihrer Seereise reektieren Sie gemeinSie Ihr Ziel erreicht haben und wie die Reise gelaufen ist. Sie diskutieren, was Sie beim nchsten Mal anders machen knnen, um

sam mit Ihrer Mannschaft, ob und inwieweit

Gemeinsam haben Sie daraufhin berlegt, wie man das Essen trotz der Situation verbessern kann.

Ihre Ziele besser zu erreichen und halten dies in Ihrem abschlieenden Reisebericht fest. Sie sich regelmig mit Ihrer Mannschaft Probleme und Reklamationen so schnell Aber auch schon whrend der Seereise haben und den Passagieren ausgetauscht, um auf wie mglich reagieren zu knnen. Wenn die

Lernen bedeutet eine regelmige Auseinandersetzung mit den Ergebnissen aus der Wirkungsanalyse, die sich an der bergeordneten Frage orientiert, ob und inwieweit sich Ihr Projekt in Richtung seiner angestrebten

Wirkungsziele bewegt. Im Rahmen des Lern-

100

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

prozesses knnen Sie Strken und Schwchen identizieren sowie Potenziale erkennen und gegebenenfalls Verbesserungen ableiten. Qualitt, die Wirkung und die WeiterentLernen ist damit eine Voraussetzung fr die wicklung Ihres Projekts. Eine Organisation, die zwar ein Monitoring durchgefhrt hat und evaluiert, aber die Ergebnisse weder

Ereignis, sondern ein dynamischer Prozess, der whrend des gesamten Projektzyklus stattndet. Um dies zu gewhrleisten, muss dafr sorgen, dass eine Lernkultur selbst-

WIRKUNG ANALYSIEREN

die Organisationsleitung Lernen frdern und verstndlicher Bestandteil der Organisation ist. In einem lernfreudigen Umfeld werden Informationen zugnglich gemacht und Lernanreize geschaffen. Gleichzeitig muss

WIRKUNG VERBESSERN

hinterfragt noch aus ihnen lernt, luft Gefahr, zu stagnieren und die Arbeit wie gewohnt ten Wirkungen nicht einstellen oder sich fortzufhren, auch wenn sich die erwnschBedarfe und Rahmenbedingungen ndern.

1 2 3

die Organisationsleitung die notwendigen

Ressourcen zur Verfgung stellen, damit Lererster Linie um Zeit, die den Mitarbeitenden

nen stattnden kann. Dabei handelt es sich in fr gemeinsame Reexionsprozesse zur VerSachkosten hervorrufen, wenn zum Beispiel ein Wissensmanagementsystem aufgebaut zogen werden. werden soll oder externe Experten hinzuge-

Die Analyse der Daten aus der Wirkungsanadas Lernen. lyse ( Kap. 7) ist dabei die Grundlage fr

fgung stehen muss. Lernen kann aber auch

Wie funktioniert wirkungsorientiertes Lernen in der Praxis? Im Folgenden soll zunchst auf die Voraussetzungen fr Lernen auf Organigezeigt werden, wie Lernen innerhalb einer sationen funktionieren.

Beschreibung

Marginalientext

sationsebene eingegangen werden. Dann soll Organisation sowie Lernen zwischen Organi-

Die Lernkultur sollte dabei Hand in Hand mit einer Fehlerkultur gehen, das heit, Fehler und Schwchen werden akzeptiert mit dem Die Mitarbeiter einer Organisation mssen zu werden und offen sprechen zu knnen. Werden im Rahmen der Wirkungsanalyse

Wichtig zu wissen: Was bringt Lernen?


Gemeinsames Lernen aus den Ergebnissen Ihrer Wirkungsanalyse

Ziel, daraus zu lernen und sich zu verbessern. das Gefhl haben, zu Diskussionen ermutigt

8.1 VORAUSSETZUNGEN FR EINE LERNENDE ORGANISATION


Um effektiv aus der Wirkungsanalyse lernen zu knnen, mssen nicht nur Daten vorhanden sein, sondern es sollten in der Organisation bestimmte lernfrdernde VorausOrganisationsleitung, die Ressourcen, die

verbessert kontinuierlich

Prozesse und idealerweise die Wirkung Ihres Projekts. der Organisation auf.

aufgedeckte Fehler und Schwchen hingegen dafr benutzt, um Verantwortliche zu nden und diese dann abzustrafen, ist ein

baut Wissen im Projekt und in stellt die Vorbereitung fr trgt zur Motivation der
wichtige Entscheidungen dar. Mitarbeiter bei, indem Erfolge sichtbar werden und eine strkere Identikation mit der eigenen Arbeit begnstigt wird. das Verstndnis fr die Notwendigkeit einer Wirkungsanalyse sowie fr die auf Basis der Ergebnisse aus der Wirkungsanalyse getroffenen Entscheidungen.

offener Austausch kaum mglich. Es werden Lernpotenziale vergeben und die Mitarbeiter werden die Wirkungsanalyse als bloes Komponente, die Lernen frdert, ist eine

setzungen erfllt sein. Diese umfassen die fr Lernprozesse zur Verfgung stehen, eine Lern- und Fehlerkultur, die Organisationsstruktur, das Wissensmanagement und den transparenten Umgang mit Informationen. Lernen ist kein einmaliges oder punktuelles

Kontrollinstrument empnden. Eine weitere Organisationsstruktur mit denierten Rollen und Verantwortlichkeiten fr das Sammeln, die Nutzung und das Teilen von Wissen.

frdert bei den Mitarbeitern

101

Projektbeispiel PAFF: Als das Projekt PAFF begann, waren die Ideen und das Wissen in den Kpfen einiger weniger Personen verankert. ber vieles brauchte man sich gar nicht erst zu verstndigen, alle wussten, um was es geht und wie die Ablufe organisiert sind. Mit der steigenden Zahl der Paten und der Patengruppenbetreuer wurde deutlich,

dass man nicht mehr davon ausgehen konnte, dass alle alles wussten und auf dem aktuellen Wissensstand waren. Der

Vorstand setzte daher einen Schwerpunkt auf das Thema Lernen. In diesem Zusammenhang wurden nun regelmige Workshops sowohl fr die Paten als auch fr die Patengruppenbetreuer institutionalisiert. Im Rahmen des Wissensmanagements werden Beschlsse nach bestimmten Vorgaben dokumentiert und abgelegt.

In regelmigen Abstnden wird an alle Paten eine Info-Mail verschickt, und die Dokumentationen der Fortbildungen sind allen im Intranet zugnglich. Fr die Ablufe wurden Verantwortlichkeiten festgelegt. Im Rahmen der Lern- und Fehlerkultur werden die Paten bei den Patengruppentreffen ermutigt, auch von Misserfolgen oder Probleme, die ihnen bei ihrer Patenttigkeit begegnen, auf die Tagesordnung zu setzen, um sie in der Patengrupletzten Treffen im Rahmen ihrer Patenschaft ereignet hat. Dabei werden immer die Punkte: Das hat mich besonders gefreut / Das hat besonders gut geklappt und Hier war ich / wir unzufrieden / Das hat nicht geklappt / hier gab es Probleme / Eine Herausforderung fr mich ist thematisiert. Die Paten lernen dadurch, auch ber Misserfolge zu sprechen, und es entsteht eine Kultur des Von- und Miteinanderlernens.

zu sprechen und diese in der Gruppe zu diskutieren. Dafr haben die Paten zum einen die Mglichkeit, Themen, Fragen pe zu besprechen. Zum anderen erzhlen bei der Anfangsrunde zu Beginn der Treffen alle Paten kurz, was sich seit dem

Gerade in gemeinntzigen Organisationen mit vielen (ehrenamtlichen) Mitarbeitern, die nicht immer anwesend sind oder huger wechseln, ist es wichtig, Prozesse und ten, damit Wissen nicht verlorengeht. Um langfristig fr die Organisation verfgbar Ergebnisse zu dokumentieren und festzuhalsicherzustellen, dass die Lernergebnisse auch sind, ist es hilfreich, ein Wissensmanagement zu haben, welches den Zugang zu den relevanten Informationen vereinfacht und das

ffentlichkeit. Transparenz ermglicht den Dialog und das Lernen untereinander und erfllt gleichzeitig eine legitimatorische

Funktion, da durch Transparenz sichtbar wird, was Sie mit Ihrer Arbeit erreichen und wie Kap. 9). Gelder eingesetzt werden (hierzu ausfhrlich

8.2 LERNEN IN DER ORGANISATION


Eine Mglichkeit, konkrete Gelegenheiten zum Lernen anzubieten, sind regelmige Treffen. Wann, wie oft und mit wem Treffen sinnvoll sind, richtet sich nach der Auswerden Inhalten, die Sie diskutieren mchten. tung der Daten aus der Wirkungsanalyse und Unterschieden werden kann hier grundstzlich zwischen Lernen auf Basis von MonitoEvaluationsergebnissen. ringdaten und Lernen auf der Grundlage von

Sammeln, Dokumentieren und Abspeichern von Wissen erleichtert. Dies lsst sich auch mit einfachen Mitteln realisieren.

Ein zentrales Prinzip einer lernenden Orgamuss bereit sein, ihre Prozesse, Leistungen sichtbar und Informationen zugnglich zu machen, damit sie sich weiterentwickeln

nisation ist Transparenz. Eine Organisation und Wirkungen gegenber den Stakeholdern

kann. Unterscheiden kann man interne und externe Transparenz, das heit einmal die Transparenz innerhalb einer Organisation, etwa gegenber den Mitarbeitern und der Organisationsleitung, sowie nach auen

Monitoringdaten werden regelmig ge-

sammelt, entsprechend knnen hierfr auch regelmige Austauschtreffen festgelegt werden. Bei einem regelmigen Austausch

gegenber externen Stakeholdern oder der

geht es vor allem darum, die laufende Arbeit

102

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Die Wirkungslogik und deren Umsetzung hinterfragen


Die Wirkungslogik erklrt gut, wie die gewnschte Wirkung erreicht wird. Das Projekt wird nicht wie geplant umgesetzt. Die Resultate weichen von den Zielen ab. Es mssen operative Verbesserungsmanahmen eingeleitet werden. Die Wirkungslogik erklrt nur ungengend, wie die gewnschte Wirkung erreicht wird. Das Projekt wurde nicht wie geplant umgesetzt und die Ziele nicht erreicht. gute Planung Die Wirkungslogik erklrt gut, wie die gewnschte Wirkung erreicht wird. Das Projekt wird wie geplant umgesetzt und die Ziele erreicht. Das ist der Idealfall: So weiterfhren und Projekt evtl. verbreiten. Die Wirkungslogik erklrt nur ungengend, wie die gewnschte Wirkung erreicht wird. Obwohl das Projekt wie geplant umgesetzt wurde, weichen die Resultate von den Zielen ab.

WIRKUNG PLANEN

WIRKUNG ANALYSIEREN

mangelnde Planung

WIRKUNG VERBESSERN

Das Projekt sollte von Grund auf neu konzipiert werden. Gegebenenfalls sollte das Projekt eingestellt werden.

Die Wirkungslogik und der Handlungsansatz mssen berdacht werden.

1 2 3

mangelnde Umsetzung

gute Umsetzung

anhand der vorhandenen Monitoringdaten und wahrgenommenen Erfahrungen zu diskutieren. Dies geschieht vor allem auf

Evaluationsergebnissen beschftigen Sie

sich nicht nur damit, ob Ihre Aktivitten im selbst. Es knnen Schlussfolgerungen und Handlungsempfehlungen fr die knftige

Ebene des Projektteams. Konkret bedeutet

Plan sind, sondern strker auch mit dem Plan

das, sich regelmig damit auseinanderzuKurs ist und sich in Richtung angestrebter

setzen, ob das Projekt auf dem vorgesehenen Wirkungen bewegt, um bei Bedarf frhzeitig gegensteuern zu knnen. Stellen Sie sich in den regelmigen Austauschtreffen unter wie: Wo haben wir unsere Ziele erreicht

Ausrichtung der Arbeit besprochen und auch die Wirkungsziele und die Wirkungsanalyse selbst in den Fokus genommen werden:

Fr das kritische Hinterfragen Ihrer Wirkungslogik und deren Umsetzung ist die obige Grak ntzlich:
____ Grak angelehnt an Zewo (2011: 123)

Mssen etwa auf Basis der Schlussfolgerungen Ziele neu deniert und die Richtung der Arbeit neu austariert werden? Hat sich die Wirkungsanalyse als praktikabel erwiesen und haben Sie dadurch die Erkenntnisse

Bezugnahme auf die Monitoringdaten Fragen beziehungsweise nicht erreicht und warum? Inwieweit weichen wir von unseren geplanten Ergebnissen ab? An welchen Stellen mssen wir uns (zum Beispiel durch eine Evaluadie Ursachen fr die Ergebnisse nden? tion) die Ergebnisse genauer anschauen und

gewonnen, die Sie wollten? Ein Austausch

und Lernen aus den Evaluationsergebnissen sollte dann realisiert werden, wenn die Ergebnisse zusammengestellt und ausgewertet sind. Eine gute Diskussionsgrundlage kann beispielsweise ein Berichtsentwurf sein, der nach dem Austauschtreffen nalisiert wird. Mgliche Fragen, denen Sie gemeinsam nachgehen knnen, sind zum Beispiel: Was waren die grten Erfolge? Gab es Fehler oder verpasste Chancen? Wo sollten Ak-

Evaluationen nden in greren Abstnden statt, sodass Lern- und Austauschtreffen Eine Evaluation setzt sich mit Ursachen hier anlassbezogen durchgefhrt werden. und Zusammenhngen von Entwicklungen auseinander. Damit ermglichen Evaluationen auch tiefergehende Diskussionen und

tivitten angepasst werden? Knnen Best Practices identiziert werden? Und auch: Funktioniert die Wirkungslogik in der Praxis?

Lernprozesse. Kurz gesagt: Beim Lernen aus

103

Tipps fr Lernveranstaltungen

Projektbeispiel PAFF: In den regelmigen Treffen zur Analyse der Monitoring-Ergebnisse werden die aktuellen Monitoringdaten angeschaut, besprochen, mit den Erfahrungen abgeglichen und versucht, Rckschlsse daraus zu ziehen. Es zeichnet sich ab, dass die Zufriedenheit der Jugendlichen mit der Patenschaft tendenziell eher abnimmt, die Monitoringdaten zeigen aber auch, dass es mehr Anfragen nach Patenschaften gibt. Einige Paten geben an, dass sie Probetermine von zustzlichen interessierten Jugendlichen angenommen haben und dies zu einer zeitlichen berforderung gefhrt hat. Es wird gemeinsam berlegt, wie die Situation verbessert werden kann, und beschlossen, dass eine Strategie zur Gewinnung neuer Paten ein sinnvoller Weg ist, um der wachsenden Nachfrage zu begegnen.

Planen Sie Lernveran-

Formulieren Sie im Machen Sie die

staltungen fest ein, zum Beispiel mit einem Lernkalender, in den Sie die verschiedenen Austauschformate fest eintragen. Vorfeld eine Agenda und ein Ziel fr das Treffen. Teilnahme verpichtend und schaffen Sie dafr Freirume. Treffen auf Problemlsen und Lernen fr die Zukunft und nicht auf die rckwirkende Suche nach Verantwortlichkeiten fr Fehler. Entscheidungen und formulieren Sie Handlungsschritte. Hilfreich sind hier die Fragen, die wir Ihnen im Rahmen des Action Learning Cycles vorstellen ( S.107)

Muss sie weiterentwickelt werden? Sind die de liegen, richtig?

Wirkungsannahmen, die dem Projekt zugrun-

setzungen realistisch sind. Darber hinaus

kann Ihnen der Kontakt zu und Austausch mit anderen Organisationen auch dabei helfen, gemeinsam mgliche Angebotslcken zu zustzliche Angebote zu entwickeln. identizieren und daraufhin zielgerichtet Obwohl ein persnlicher Austausch mit

Das regelmige Reektieren von und das Lernen aus den Monitoringdaten ist vor allem fr das Projektteam und seine laufende Arbeit relevant. Wo dies sinnvoll ist, sollten hier auch weitere Stakeholder einbezogen

anderen Organisationen im Themenfeld die

werden. Vor allem aber bei der Auseinandersetzung mit Evaluationsergebnissen sollten die relevanten Stakeholder beteiligt sein.

direkteste Art des gemeinsamen Lernen ist,

Fokussieren Sie im

Zum einen bringen die Stakeholder verschiedene Erfahrungen und Sichtweisen ein, was den Lernprozess qualitativ verbessert. Zum

Tipps fr das Lernen von und mit anderen Organisationen

Treffen Sie gemeinsame

anderen mssen die Stakeholder auch die auf Grundlage des Lernprozesses eingeleiteten Vernderungen mittragen und zum Teil mitnanzieren und sollten daher in den Entscheidungsprozess einbezogen werden.

Kennen Sie Ihr Umfeld - und zwar in

Halten Sie Entscheidun Greifen Sie diese bei

8.3 LERNEN VON UND MIT ANDEREN ORGANISATIONEN


Monitoring und Evaluationsergebnisse knnen nicht nur fr das Lernen innerhalb einer Organisation genutzt werden, sondern auch

gen und lessons learned fest und machen Sie diese zugnglich. Ihrem nchsten Treffen wieder auf und besprechen Sie den Stand der Umsetzung.

zweierlei Form: Zum einen sollten Sie Organisationen recherchieren, die sich im selben Themenfeld wie Sie bewegen, zum anderen ist mit Umfeld auch das lokale Umfeld gemeint. Welche Organisationen und Akteure sind hier ttig? Wie ergnzen sich diese oder gibt es berschneidungen? Eine Umfeldanalyse sollte wie die Bedarfsanalyse bereits in der Planungsphase eines Projekts sowie auch weiterhin in regelmigen Abstnden durchgefhrt werden ( Kap. 1).

fr den lernorientierten Austausch zwischen Organisationen. Gerade fr Organisationen, die hnliche Projektanstze verfolgen oder ein Austausch sehr nutzbringend sein. Er

Um Lernpotenziale zwischen Organisa-

Und, nicht vergessen:

sich an die gleichen Zielgruppen richten, kann kann Ihnen dabei helfen, wesentliche Erfolgsund Qualittskriterien fr Ihre Zielgruppe zu besttigen oder zu identizieren, aber auch

Nutzen Sie den gemeinsamen Austausch auch, um Erfolge zu feiern!

tionen zu nutzen, tauschen Sie sich mit anderen Organisationen aus! Meist haben diese hnliche Fragen und Probleme. Berichten Sie ber Ihre Erfahrungen und bitten Sie diese um Feedback. Mglicherweise bietet sich auch eine Kooperation mit einer anderen Organisation an.

Machen Sie Ihre Wirkungen transparent


und werben Sie bei anderen Organisationen um deren Transparenz. Dadurch werden Erfolgs- und Qualittskriterien sowie Best Practices zugnglich und nachvollziehbar. So kann ein wechselseitiges Lernen im Sektor stattnden.

verdeutlichen, welche Erwartungen und Ziel-

104

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

ist es auch mglich, indirekt von anderen

Organisationen zu lernen. Grundlage hierfr ist eine transparente Berichterstattung ber Ergebnissen und Erfahrungen ( Kap. 9).

Prozessen, Aktivitten und Zielvorgaben

beginnt ein neuer Kreislauf, in dessen Verlauf die Aktivitten und Ergebnisse wiederum berprft, reektiert und angepasst wer-

WIRKUNG ANALYSIEREN

8.4 GUTE ENTSCHEIDUNGEN TREFFEN


Ein zentraler Nutzen einer lernorientierten Wirkungsanalyse ist es, Ihr Projekt in RichWenn Sie whrend Ihrer Reise feststellen, dass Sie vom Kurs abkommen, warten Sie

den. Durch immer wiederkehrendes Planen, Zielen nher.

berprfen und Anpassen kommen Sie Ihren

WIRKUNG VERBESSERN

Je nach Gre und Ressourcen einer Orgaunterschiedlich ausgeprgt sein. Whrend

tung Ihrer Wirkungsziele lenken zu knnen.

nisation knnen Lenkungsmechanismen kleine Organisationen mit geringen Ressour-

1 2 3

natrlich nicht, bis Sie an einer anderen Insel anstatt an Ihrem Zielort ankommen, sondern bringen Ihr Schiff schon vorher wieder auf

cen mglicherweise nur wesentliche Monitoim Team ber Anpassungen in den Ablufen einigen, reicht die Spanne bis hin zu groen Organisationen, die ber ein ausgereiftes internes Controllingsystem und/oder ein Qualittsmanagementsystem (siehe

ringdaten sammeln und sich niedrigschwellig

den richtigen Kurs zurck. Vielleicht entscheiden Sie aber aufgrund der aktuellen Wetterlage, dass Sie einen kleinen Umweg fahren. Auf Basis der Informationen, die Ihnen zu

diesem Zeitpunkt vorliegen, ndern Sie Ihren Kurs kurzfristig, ohne dabei jedoch Ihr Ziel aus den Augen zu verlieren.

S.106) verfgen. Doch ob gro oder klein: Fr alle gemeinntzigen Organisationen ist es mglich, ihre Projekte und ihre Organisa-

tion auf Basis der Ergebnisse ihrer Wirkungsanalyse zu lenken. Zwar sind die Komplexitt und Detailtiefe der Informationen je nach den bestehenden Mglichkeiten der Datenlegung unterschiedlich - in jedem Fall sind M&E-Informationen reektierter, als Entdem Bauch heraus getroffen werden. aber Entscheidungen auch auf Basis weniger scheidungen, die mehr oder weniger aus

Durch Ihre Wirkungsanalyse bekommen Sie Hinweise, wo Sie im Blick auf Ihre Wirkungsziele stehen, und durch die Ausein-

Lernen und Verbessern gehren untrennbar zusammen! Denn nichts ist frustrierender, als zu wissen, dass etwas nicht funktioniert, und trotzdem so weiterzumachen wie bisher.

Wichtig zu wissen: Lernen und Verbessern gehren zusammen!

andersetzung mit den Ergebnissen aus der Wirkungsanalyse werden informierte und reektierte Entscheidungen mglich. Der

Reexionsprozess zeigt aber nur dann Wirbersetzt werden wenn Verbesserungen also tatschlich auch implementiert wer-

kung, wenn die Erkenntnisse auch in Handeln

Action Learning Cycle

Die folgende Checkliste kann Ihnen Anhaltspunkte geben, inwieweit Ihre Organisation eine lernende Organisation ist oder wo sie noch ausbaufhig ist.

den! Die bertragung von Ergebnissen und

Erkenntnissen in konkrete Handlungsschritte und Planungen bilden den Abschluss des Dies ist aber nicht als endgltiger Abwirkungsorientierten Steuerungskreislaufs. schluss zu verstehen: Mit der Anpassung von

Mehr ber den Action Learning Cycle erfahren Sie auf der folgenden Seite.

105

Checkliste: Ist Ihre Organisation eine lernende Organisation?


ja In unserer Organisation nehmen wir uns Zeit (auf Grundlage der Erkenntnisse aus der Wirkungsanalyse), ber unsere Arbeit und deren Wirkung zu reektieren und uns offen darber auszutauschen. Unsere Erkenntnisse aus der Wirkungsanalyse nutzen wir, um daraus zu lernen. Fehler drfen bei uns gemacht werden, aber wir nutzen sie als Anlass, um daraus zu lernen. Die Organisationsleitung untersttzt Lernen und Lernprozesse, und es werden Anreize fr Lernen gesetzt. Lernprozesse sind bei uns als feste Bestandteile in die Arbeitsablufe eingebunden. Es gibt feststehende Verantwortlichkeiten und Zustndigkeiten fr Lernen und Wissensmanagement. Es gibt festgelegte Prozesse, wie Ergebnisse festgehalten werden und Wissen geteilt wird. Uns stehen fr die Lernprozesse ausreichend Ressourcen zur Verfgung. Wir nutzen die Mglichkeit, uns mit anderen Organisationen auszutauschen und voneinander zu lernen. nein Bemerkung

Projektbeispiel PAFF:
Bei PAFF ndet jhrlich ein Strategietreffen auf Leitungsebene statt. Die Basis hierfr sind Auswertungen der Monitoringdaten. Es wird diskutiert, inwieweit die gesetzten Ziele erreicht worden sind und was in Zukunft noch verbessert werden kann. Zu den Treffen werden auch Paten, Teilnehmende und Geldgeber eingeladen, denen die Ergebnisse vorgestellt werden, und es wird mit ihnen ber Erfahrungen und Wnsche diskutiert. Im Rahmen des Strategietreffens wird beschlossen, dass es Sinn macht, einen strkeren Schwerpunkt auf zustzliche Bewerbungstrainings zu legen und hier entsprechend mehr Angebote zu schaffen.

Exkurs: Qualittsmanagementsysteme
Qualittsmanagementsysteme haben wie Evaluationen die Quali-

ttssicherung und -verbesserung zum Ziel. Sie nehmen dabei aber in Prozesse fortlaufend mit in den Blick. Sie sind Fhrungsinstrumente, whrend Evaluationen Daten fr Entscheidungen liefern, aber in

den meisten Fllen die gesamte Organisation und ihre Strukturen und

erster Linie Bewertungssysteme sind. Evaluation ist ein Teilaspekt des Qualittsmanagements und liefert Informationen, um das Qualittsmanagement als Fhrungsaufgabe wahrnehmen zu knnen.

Nhere Informationen zu Qualittsmanagementsystemen, die im chenden Webseiten, z.B. www.efqm.org oder www.iso.org .

gemeinntzigen Bereich genutzt werden, nden Sie auf den entspre-

106

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Beschreiben Sie das Projekt/die Veranstaltung. Hilfreiche Fragen hierfr sind: Was ist passiert? Wer war beteiligt? Wer hat was getan? Wie haben sich die Leute gefhlt? Welche Wnsche hatten sie?

ACTION (TUN):

Action Learning Cycle

Denken Sie an das Projekt/die Veranstaltung zurck und reektieren Sie es. Im Rahmen der Wirkungsanalyse werden hierfr durch Monitoring und Evaluation Informationen erhoben. Hilfreiche Fragen fr die Reexion sind: Warum sind die Dinge so passiert? Was ist die Ursache? Was war hilfreich? Was beeintrchtigend? Welche Erwartungen und Annahmen hatten wir? Haben sich diese besttigt? Was hat uns berrascht (positiv wie negativ)? Knnen wir auf andere Erfahrungen zurckgreifen, die uns helfen, unsere Erfahrungen und Eindrcke abzugleichen und einzuordnen?

REFLECTION (REFLEKTIEREN):

Die Planung ist die Verbindung zwischen dem Lernen und dem, was in Zukunft getan werden soll. Auf der Grundlage der reektierten Erfahrungen muss berlegt werden, was zu tun ist, um die gesetzten Ziele zu erreichen. Hilfreiche Frage sind hier: Was bedeuten die Ergebnisse aus dem Reexions- und Lernprozess fr unsere Praxis? Was wollen wir tun? Was soll passieren? Was werden wir verndern? Wie werden wir vermeiden, den gleichen Fehler zu wiederholen? Wie integrieren wir diese Erkenntnisse in unseren Projektalltag?
Quelle: vgl. Herrero (2012: 38)

PLANNING (PLANEN):

Die Reexion allein hat noch keinen Einuss darauf, was in Zukunft getan wird bzw. wie die Dinge umgesetzt werden. Dafr mssen erst Schlussfolgerungen und Learnings erarbeitet werden. Folgende Fragen sind hierfr hilfreich: Was haben wir gelernt? Zu welchen neuen Erkenntnissen sind wir gekommen? Welche Annahmen haben sich besttigt? Welche neuen Fragen sind aufgetaucht? Was htten wir im Rckblick anders machen sollen?

LEARNING (LERNEN):

Den Action Learning Cycle nutzen


Der sogenannte Action Learning Cycle ist ein Instrument, das Ihnen eine Reihe von Fragestellungen an die Hand gibt, die Ihnen helfen, in die zuknftige Planung und Arbeit zu integrieren. Der Action Ihre Arbeit zu reektieren, daraus zu lernen und diese Erkenntnisse Learning Cycle eignet sich dabei sowohl fr das gesamte Projekt

wie auch fr seine Bestandteile wie zum Beispiel fr einzelne Veranstaltungen. Wenn Sie die Ergebnisse aus diesem Reexionsprozess verschriftlichen, haben Sie gleichzeitig einen kleinen Bericht ber das Projekt oder eine Veranstaltung verfasst und zugleich die Learnings und Planungsschritte festgehalten. Diese Dokumentation knne Sie zu einem spteren Zeitpunkt heranziehen und feststellen, ob die geplanten Schritte/nderungen umgesetzt wurden.

107

9. BER WIRKUNG BERICHTEN

In diesem Kapitel erfahren Sie,

gab und wie das Wetter war, andere interessieren sich eher fr die Route, die Sie gesegelt sind, und ob Sie Ihr Ziel gut erreicht haben. Wiederum andere mchten wissen, ob es unterwegs Schwierigkeiten gab machen wrden.

welche Fragen Sie sich stellen sollten,


um eine effektive Kommunikations-

auf was Sie beim Erstellen von


sollten.

strategie fr Ihr Projekt zu entwickeln. schriftlichen Projektberichten achten

und was Sie auf Ihrer nchsten Reise anders Wie von den Erlebnissen auf Ihrer Reise

wie Sie zielgerichtet und auf interessante Weise ber die Wirkung Ihres Projekts berichten knnen.

sollten Sie auch ber die Ergebnisse Ihrer Projektarbeit berichten. Dies hilft Ihnen nicht nur, um gemeinsam mit Ihren Stakeholdern daraus lernen und Verbesserungen ableiten zu knnen, sondern dient der ffentlichkeitsarbeit.

Auf Ihrer Reise haben Sie viel erlebt. Schon

whrend der Reise haben Sie regelmig Zwischenberichte nach Hause gesendet. Zurck daheim blicken Sie auf die Reise zurck und berichten davon. Je nachdem, mit wem Sie

auch der Legitimation Ihrer Arbeit sowie

sprechen, werden sich die Inhalte und die Art, wie Sie berichten, unterscheiden. Whrend einige Gesprchspartner nur eine knappe Zusammenfassung haben mchten, interessieren sich andere (zum Beispiel Ihre Kollegen) fr einen ausfhrlicheren Bericht. Einige wollen wissen, was es zu essen

9.1 EINE KOMMUNIKATIONSSTRATEGIE FR DAS PROJEKT ENTWICKELN


Damit Sie effektiv ber die Wirkung Ihres zunchst eine Kommunikationsstrategie. Projekts berichten knnen, bentigen Sie Entwickeln Sie diese frhzeitig, idealerweise

108

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Die folgenden Fragen helfen Ihnen dabei, Ihre Berichterstattung passgenau zu gestalten: Situation der Leser/Adressaten:

Adressatenanalyse: Wer bekommt welche Informationen und warum?

WIRKUNG PLANEN

Wer sind die Leser/Adressaten und welches Vorwissen haben sie? Welche Stellung haben sie in Ihrem Arbeitsfeld (Interne/Externe; Einussnehmende/
Beeinusste)? Welche Funktion haben sie in Bezug auf das Berichtsthema (Entscheider, Kooperationspartner, Zielgruppen)? Wie viel Zeit haben sie, um sich mit den Informationen auseinanderzusetzen? Welche Ansprche haben sie an die sprachliche und gestalterische Form?

WIRKUNG ANALYSIEREN

Was erwarten die Leser/Adressaten? An welchen Inhalten sind sie besonders interessiert? An welchen Ergebnissen sind sie interessiert? An welchen Schlussfolgerungen sind sie interessiert? Welche Erwartungen haben sie an die Ausfhrlichkeit der Behandlung der
verschiedenen Teilthemen?

Interessen der Leser/Adressaten:

WIRKUNG VERBESSERN

1 2 3

Welche Hoffnungen und Befrchtungen haben die Leser/Adressaten in Bezug auf


das Berichtsthema? Welche Einstellungen haben sie zum Verfasser des Berichts? In welcher Form sind die Ergebnisse fr sie selbst relevant (z.B. mehr/weniger Arbeitsbelastung; Einschrnkung/Erweiterung ihrer Handlungsmglichkeiten)?

Einstellungen der Leser/Adressaten:

Quelle: Vgl. BMFSFJ (Hrsg.) (2000: 86).

bereits whrend der Planungsphase, um zu wissen, welche Ergebnisse Ihres Projekts wann und fr wen interessant sind. Fr

Dies knnen unterschiedliche Stakeholder verpichtend berichten mssen, oder die

sein, wie zum Beispiel Geldgeber, denen Sie Fhrungskrfte und Mitarbeiter innerhalb ffentlichkeit in Ihrem Stadtteil.

unterschiedliche Adressaten und Zielstellungen brauchen Sie passgenaue Berichtsformen. Sie sollten daher berlegen,

Ihrer Organisation oder auch die allgemeine berlegen Sie, an welchen Informationen die Zielgruppen Ihrer Berichterstattung interessiert sind und mit welcher Art der

wem berichtet werden soll; welches Ziel Sie mit dem jeweiligen welche Inhalte fr die jeweiligen Adressa wie hug und zu welchen Anlssen welche Berichtsform die geeignete ist.
Adressaten und Zweck der Berichterstattung
berichtet werden soll; ten relevant und interessant sind; Bericht verfolgen;

Berichterstattung Sie diese am besten erreichen knnen. Dadurch legen Sie die Grundlage fr eine effektive Kommunikation.

Hugkeit der Berichterstattung


Bercksichtigen Sie bei der Frage von Zeitpunkt und Regelmigkeit der Berichterstattung interne und externe Gegebender von Ihnen einen Bericht verlangt, hat
Liebe Projektmitarbeiter, vielen Dank fr Ihre ntzlichen Berichte!

berlegen Sie sich im ersten Schritt, wer die Adressaten Ihrer Berichterstattung sind.

heiten und Notwendigkeiten. Ein Geldgeber,

109

110

Stakeholder

Ziele der Kommunikation

Relevante Daten und Inhalte

Zeitpunkt und Regelmigkeit

Geeignetes Format

internes Berichtswesen
Umfassender Inhalt und Hintergrundinformationen Zwischendurch, basierend auf Monitoringdaten und anlassbezogen zum Beispiel anlsslich neuer Evaluationsergebnisse, besonderer Ereignisse oder zu Vorstandssitzungen etc. Schriftlicher Report (evtl. mit Zusammenfassung / Executive Summary fr den Vorstand) und mndliche Prsentation zum Beispiel durch das Evaluationsteam oder die Projektverantwortlichen sowie Diskussion der Ergebnisse auf Fhrungs-, Bereichs- und Teamebene

Vorstand

Fhrungskrfte/ Management

Information ber laufendes Projekt als Basis zur Entscheidungsndung und Steuerung Rechenschaftspicht Legitimation gemeinsames Lernen Erreichtes feiern

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Projektmitarbeiter/ Ehrenamtliche

Externes Berichtswesen
Schriftlicher Report mit Zusammenfassung / Executive Summary bzw. ein Format, das die Interessen und die Anforderungen an die Berichtslegung der Geldgeber bercksichtigt

Geldgeber

Rechenschaftspicht Legitimation Grundlage zur Einwerbung weiterer Gelder verdeutlichen, welche Herausforderungen es gibt und wie damit umgegangen wird Inhalt ist auf die Interessen der jeweiligen Zielgruppen zugeschnitten.

Erreichtes feiern

Zielgruppen

Glaubwrdigkeit Rechenschaftspicht Legitimation

Mndliche Prsentation und oder ein zusammenfassendes Dokument mit geeigneten Tabellen, Graken und anschaulichen Darstellungen
Zwischendurch, basierend auf Monitoringdaten und anlassbezogen zum Beispiel anlsslich neuer Evaluationsergebnisse, besonderer Ereignisse; zum Teil abhngig von den Berichtsanforderungen der Geldgeber

Kooperationspartner

Rechenschaftspicht Legitimation verdeutlichen, welche Herausforderungen es gibt und wie damit umgegangen wird gemeinsames Lernen Erreichtes feiern

Schriftlicher Report, persnlicher Austausch, Seminare, Konferenzen

ffentlichkeit

Rechenschaftspicht Legitimation Interesse generieren

Artikel, Webseite, Social Media, Jahresberichte, Pressemitteilungen

bersicht zur Planung der Kommunikation von M&E-Ergebnissen


dafr meist Zeitrume und Termine festgeffentlichkeit einen Bericht bereitzustellen und die wesentlichen Ergebnisse in einer Pressemitteilung aufzubereiten.

WIRKUNG PLANEN

legt. Ein Vorstand, der sich jeweils am QuarErgebnisse zu diesen Zeitpunkten. Vieles

talsende trifft, bentigt die fr ihn relevanten hiervon erscheint selbstverstndlich, es gilt

WIRKUNG ANALYSIEREN

9.2 BERICHTE SCHREIBEN


Ein schriftlicher Bericht bildet das Kernstck der Berichterstattung. Welche Bestandteile beinhaltet eine transparente BerichterstatWIRKUNG VERBESSERN

an dieser Stelle lediglich, sich diese Ablufe zeitlichen Rahmen der Datenerhebung und

zu vergegenwrtigen, da sie Einuss auf den -auswertung haben. Des Weiteren ist zu be-

rcksichtigen, welche Ergebnisse realistisch

in welchen Abstnden kommuniziert werden zeitnah ber erbrachte Leistungen (Outputs) berichten, dagegen werden Wirkungen oft erst nach einiger Zeit sichtbar.

tung? Wie sollte ein Bericht am besten aufgebaut sein? Worauf sollten Sie beim Schreiben Ihres Projektberichts achten? Im Folgenden bekommen Sie hierfr hilfreiche Tipps.

knnen. So lsst sich in der Regel schnell und

1 2 3

Transparent ber Wirkungen berichten


Um transparent ber die Wirkungen

Projektbeispiel PAFF: Mit den folgenden Formaten erreicht PAFF seine Stakeholder: Paten: Patenmails, Intranet Teilnehmende Jugendliche: Social Media, Informationen auf den gemeinsamen Treffen Eltern: Elternbrief (zweisprachig), Elternabend Geldgeber: regelmig ein Zweiseiter PAFF News, individuelle Berichte nach den Wnschen der Geldgeber Regionale Presse: regelmige, anlassbezogene Pressemitteilungen, Einladungen zu wichtigen Ereignissen Kooperierende Organisationen: regelmiger persnlicher Austausch ffentlichkeit: Webseite, Presse
111

Format der Berichte


Die Kommunikationsformate variieren von informellen Berichten via Telefon, Fax, E-Mail, Gesprchen oder dem Austausch in einer Gruppe, bis hin zu formellen Formaten, wie Briengs, Prsentationen oder geschriebeund Adressaten kann es auch sinnvoll sein, nen Reports und Publikationen. Je nach Ziel verschiedene Formate zu kombinieren, zum

Ihres Projekts zu berichten, mssen Sie auf jeden Fall die Resultate Ihres Projekts darstellen. Wirkungstransparenz umfasst aber mehr als das: Es geht auch um die Einordnung der erzielten Wirkung in den

Gesamtkontext der Wirkungslogik. Denn: Die Wirkung von Projekten kann erst im Zusammenhang mit den angestrebten angemessen eingeschtzt werden. Zielen und den durchgefhrten Aktivitten

Beispiel einen schriftlichen Bericht mit einer Prsentation zu verbinden oder etwa fr die

Was mchte das Projekt erreichen?

Darstellung der gesellschaftlichen Herausforderungen Zielgruppen und ihrer Bedarfe Vision und Ziele des Projekts Projektstrategie

Was unternimmt das Projekt, um seine Ziele zu erreichen?

Darstellung des Handlungsansatzes Darstellung der Aktivitten, Angebote und Produkte, die das Projekt erarbeitet

Wirkungstransparenz
Woran lsst sich die Wirkung erkennen?

Welche Wirkungen erzielt das Projekt mit seiner Arbeit?


Darstellung der Wirkungen auf Outcome- und Impact-Ebene

Darstellung der Art und Methode der Wirkungsanalyse

Wichtig zu wissen: Transparenz im gemeinntzigen Sektor


Beim Begriff Transparenz im gemeinntzigen Sektor wird zumeist an die Berichterstattung ber Organisationsstrukturen und vor allem ber Finanzen gegenber der ffentlichkeit gedacht. Doch nur ein geringer Teil gemeinntziger Organisationen verffentlicht bisher Finanzdaten. Es gibt bislang hierfr keine (staatlich) festgelegten Verpichtungen. Mittlerweile gibt es zwar einige Selbstverpichtungen, diese sind aber nicht verbindlich. Zunehmend wird jedoch gefordert, dass Organisationen ihre Finanzen offenlegen, damit beispielsweise Spender eine Mglichkeit haben, sich darber zu informieren, wofr die jeweilige Organisation die Spendengelder verwendet. Aber auch fr die ffentlichkeit ist eine Offenlegung von Interesse, denn aufgrund der steuerlichen Begnstigung gemeinntziger Organisationen sollten Steuerzahler grundstzlich die Mglichkeit haben, die Finanzdaten, aber auch Informationen zur Wirkung einer Organisation nachvollziehen zu knnen. Der wichtige Punkt der Wirkungstransparenz wird in der Debatte jedoch sehr hug vergessen. Fr eine transparente und ausgewogene Berichterstattung empehlt PHINEO die Verffentlichung von Informationen zu folgenden Bereichen:

Der Social Reporting Standard (SRS)


Denken Sie beim Verfassen Ihres Berichts also daran, die Hintergrnde Ihres Projekts (Was men Sie zur Erreichung dieser Ziele?) sowie den Aktivitten erzielt und woran lsst sich soll das Projekt erreichen und was unternehdie Ergebnisse (Welche Resultate wurden mit Wirkung erkennen?) und die Schlussfolgerungen daraus zu erlutern, und bauen Sie den Bericht entsprechend auf.

Eine geeignete Struktur und Vorlage fr

transparente Berichterstattung bildet der Social Reporting Standard (SRS). Diesen knnen Sie sowohl fr die Berichterstattung

Projektarbeit:

fr Ihr Projekt als auch als Grundlage fr den

Informationen zu den durchgefhrten Angeboten und Projekten, Zielen und Zielgruppen, dem zugrunde liegenden Problem, der Wirkungslogik, den Aktivitten sowie den erbrachten Leistungen (Outputs) und deren Wirkungen (Outcomes und Impacts) Informationen zu Vision und Strategie der Organisation, der Mitarbeiter-, Leitungs- und Aufsichtsstruktur Einnahmen-Ausgabenrechnung, aus der sich Mittelherkunft und Mittelverwendung nachvollziehen lassen, sowie eine Vermgensrechnung

Jahresbericht Ihrer Organisation verwenden.

Informationen verstndlich und interessant aufbereiten

Organisationsstruktur: Finanzen:

Nicht nur der Aufbau Ihres Berichts ist

wichtig, sondern auch die Aufbereitung der und die Qualitt des Textes. Denn wenn der

Informationen, die Prsentation Ihrer Daten Text nicht verstndlich ist oder die Leser ihn

als zu lang oder zu kompliziert empnden, ist


Wenn Sie sich nher mit dem Thema Transparenz beschftigen mchten und wissen wollen, warum Transparenz im gemeinntzigen Sektor nicht nur wnschenswert, sondern auch ntzlich ist, knnen Sie unter www.phineo.org/transparenz das Positionspapier Transparenz herunterladen. Es gibt zum Thema Transparenz in der Zivilgesellschaft verschiedene Selbstverpichtungen. Eine davon ist die Initiative Transparente Zivilgesellschaft von Transparency International. Auf der Website, unter www.transparency.de/Initiative-Transparente-Zivilg.1612.0.html nden Sie Erluterungen und eine Anleitung, welche Inhalte Sie auf Ihrer Website transparent darstellen sollten. PricewaterhouseCoopers (PWC) schreibt jhrlich den Transparenzpreis aus. Unter www.pwc.de/de/engagement/transparenzpreis. jhtml nden Sie dazu sowie zu den Themen Transparenz und transparente Berichterstattung weitere Informationen.

die Wahrscheinlichkeit hoch, dass er gar nicht gelesen wird. In der Regel geht es in einem Bericht nicht darum, alle erhobenen Daten

ausfhrlich dazustellen. Wenn Sie auch ausfhrlichere Informationen darstellen mchdes Berichts. Achten Sie auf verstndliche ten, eignet sich hierfr ein Anhang am Ende Formulierungen und fassen Sie die Ergebnisse sinnvoll zusammen. Vermeiden Sie lange Stze und Fachjargon sowie zu viele Statis-

tiken und heben Sie wichtige Punkte hervor.

Versuchen Sie die Daten zu visualisieren und Graken oder Diagramme zu nutzen, um die Informationen anschaulich darzustellen. Versetzen Sie sich bei der Erstellung eines

112

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Der Social Reporting Standard (SRS)


Warum ist der SRS empfehlenswert? Der SRS bietet einen Rahmen fr die Berichterstattung von sozialen Projekten. Der Standard hilft insbesondere dabei, die Wirkungslogik von Programmen zu dokumentieren und zu kommunizieren. Darber hinaus werden weitere wesentliche Elemente der Berichterstattung wie Organisationsstruktur und Finanzen systematisch erfasst und aufbereitet, sodass bei Anwendung des SRS ein umfassendes Bild ber die berichtende Organisation entsteht. Anwender des SRS knnen ihre Wirkung klarer gegenber Untersttzern nachweisen und somit berzeugender Frdermittel einwerben. Mit einem Bericht nach SRS haben Sie einen klaren Vorteil bei Geldgebern und Frderern, da der SRS-Bericht viele Fragen mglicher Frderer proaktiv beantwortet. Die genaue Dokumentation der Wirkungslogik hilft auch bei der internen Steuerung, da bei der Anwendung des SRS viele Fragen zur Wirkung von Aktivitten berdacht werden. Der SRS ist auerdem eine effektive Grundlage fr eine transparente Darstellung nach auen. Mittels des SRS knnen Sie Ihre Dokumentation ber verschiedene Jahre hinweg vergleichen (Vergleichbarkeit) und haben deutlich weniger Aufwand (Efzienz), wenn Sie sich bei verschiedenen Frderorganisationen bewerben oder an diese berichten.

WIRKUNG PLANEN

WIRKUNG ANALYSIEREN

WIRKUNG VERBESSERN

1 2 3

Mit dem SRS knnen Sie ber einzelne oder mehrere Projekte, aber auch ber Ihre gesamte Organisation berichten. Der Berichtsstandard gliedert sich in fnf Teile:

A: Gegenstand des Berichts berblick und Abgrenzung, worber berichtet wird und wer die Ansprechpartner sind. B: Ihr Angebot und dessen Wirkung Das gesellschaftliche Problem und der Lsungsansatz: Darstellung des Themenfelds, des gesellschaftlichen Problems, der Ursachenanalyse und des Lsungsansatzes. Gesellschaftliche Wirkung: Eingesetzte Ressourcen, Leistungen und gesellschaftliche Wirkungen. Weitere Planung und Ausblick: Ziele fr die nchsten Jahre, wesentliche Chancen und C: Organisationsstruktur berblick ber die beteiligten Organisationen und die wichtigsten handelnden Personen. D: Prole der beteiligten Organisationen Detaillierte Darstellung der beteiligten Organisationen (rechtliche Struktur, Anzahl E: Finanzen Darstellung der Vermgenssituation sowie der Einnahmen und Ausgaben Ihrer Organider Mitarbeiter). sation. In diesem Teil knnen Sie Ihre vorhandene Finanzberichterstattung integrieren oder die vorgeschlagenen Muster verwenden. Risiken und ein Ausblick auf die weitere Entwicklung.

Aktuelle Informationen zum Leitfaden sowie Anwenderbeispiele und eine Berichtsvorlage, in der Sie die Inhalte Ihres sozialen Projekts direkt einfgen knnen, nden Sie unter:

www.social-reporting-standard.de

Der SRS ist ein Gemeinschaftsprojekt von: PHINEO aAG, Ashoka Deutschland gGmbH, Auridis GmbH, BonVenture Management GmbH, Schwab Foundation, Technische Universitt Mnchen, Universitt Hamburg mit Untersttzung von PricewaterhouseCoopers, der Vodafone Stiftung sowie des Bundesministeriums fr Familie, Senioren, Frauen und Jugend (BMFSFJ).

113

Visualisierung von Resultaten

Berichts in Ihre Leser hinein: Wie knnen Sie Ihre Arbeit und das, was Sie erreicht haben,

Tabellen

fr Auenstehende verstndlich darstellen? Wie kann man den Bericht interessant und abwechslungsreich gestalten? Versuchen Sie eine gute Balance zwischen Fakten

eignen sich gut, um quantitative Daten nach Kategorien geordnet darzustellen

und Unterhaltung sowie zwischen Herz und Verstand zu bieten. Hierfr kommen verschiedene Instrumente und Darstellungsformen in Betracht. Neben der ansprechen-

Balkendiagramme

den Aufbereitung Ihrer Ergebnisse in Graken und Diagrammen knnen Sie auch positive Emotional ansprechend wirken auch ErRckmeldungen der Zielgruppen integrieren. folgsstorys der Zielgruppen. Hier knnen Ihres Projekts darstellen, wie ihm das

eignen sich gut, um Verteilungen nach Kategorien darzustellen

Sie zum Beispiel aus Sicht eines Teilnehmers

Kuchendiagramme
eignen sich gut, um die Indikators darzustellen Verteilung innerhalb eines

Projekt geholfen hat. Arbeiten Sie auch schaulich darzustellen.

mit Bildern und Fotos, um Ihre Arbeit an-

Informationen verffentlichen

PAFF HAT MIR GEHOLFEN, EINE

Zitate

haben, machen Sie ihn Ihren Stakeholdern zugnglich.

Wenn Sie Ihren Projektbericht geschrieben Stellen Sie Ihren Bericht oder die Ergeb-

LEHRSTELLE ZU FINDEN, UND MEIN PATE HAT MICH IMMER UNTERSTTZT.

nisse daraus auch auf Ihrer Website bereit, die Informationen gelangen knnen.

damit Interessierte so leicht wie mglich an

Fast Facts

Kernfakten kurz und knackig dargestellt, und ein zwei Stze dazu

z.B. ein Prozentwert prominent aufgefhrt

Jahresbericht verfasst, sollten die Resultate nden. Der Jahresbericht sollte ebenfalls

Sofern Ihre Organisation einen schriftlichen

der Arbeit des Projekts auch hier einen Platz auf der Website verfgbar sein und transpa-

Storys / Fallstudien
verndert: ...
114

rent ber die Projektarbeit, deren Wirkungen, die Organisationsstrukturen und die Finanzen berichten.

Seit Denis einen Paten bei PAFF

hat, hat sich vieles zum Positiven

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Checkliste: Kriterien fr gute Berichte


Unsere Berichte sind RELEVANT UND BRAUCHBAR Erklrung Berichte sollen einem bestimmten Zweck dienen. Die Informationen sollten deshalb fr die verschiedenen Stakeholder bedarfsgerecht aufbereitet werden. Berichte sollten rechtzeitig fr ihren jeweils intendierten Nutzen erscheinen. Zu spt oder zu unregelmig kommunizierte Ergebnisse sind nur wenig ntzlich. Berichte sollten eine ausreichende Menge an Informationen enthalten. Dabei sollte gleichzeitig eine Informationsut vermieden werden. Fr die Resultate sollten nachvollziehbare Belege erbracht werden. Diese knnen von Anekdoten und einzelnen Feedbacks bis hin zu Wirkungsnachweisen durch eine externe Evaluation variieren. Berichte sollten fr ihr jeweiliges Zielpublikum angepasst sein. Sprache und Format mssen klar, przise und leicht verstndlich sein. Es sollte darauf geachtet werden, einheitliche Formate und Gliederungen zu nutzen, die (z.B. im Jahresbericht) einen Vergleich ber die Zeit ermglichen. Die fr die Berichterstattung eingesetzten Ressourcen sollten in einem angemessenen Verhltnis zu dem erwarteten Nutzen stehen. Die Berichterstattung sollte den Stakeholdern zugnglich gemacht werden und auf der Webseite fr Interessierte zur Verfgung stehen. ja nein Bemerkung

RECHTZEITIG

VOLLSTNDIG

WAHR

EINFACH UND BENUTZERFREUNDLICH KONSISTENT

KOSTENEFFIZIENT

TRANSPARENT

115

10. (NOCH) WEITER WIRKEN WIRKUNG VERBREITEN

In diesem Kapitel erfahren Sie, Mehr Informationen zum Thema Verbreitung


Das Thema Strategien und Erfolgsfaktoren fr die Verbreitung wirkungsvoller Projekte ist sehr umfangreich und kann im Kursbuch nur in einem knappen berblick dargestellt werden. Detaillierte Informationen nden Sie in: Bertelsmann Stiftung (Hrsg.): Skalierung sozialer Wirkung. Handbuch zu Strategien und Erfolgsfaktoren von Sozialunternehmen, Gtersloh 2013.

kann eine Verbreitung (in der Literatur wird hug auch der Begriff Skalierung genutzt) des Projekts in andere Regionen dazu

welche Vorteile die Verbreitung wirkungsvoller Projekte hat. woran erkennbar ist, dass sich ein

beitragen, mehr Menschen zu erreichen und dadurch letztlich mehr Wirkung zu erzielen. Auf diese Weise knnen gesellschaftliche

Projekt fr die Verbreitung eignet. es gibt.

welche Mglichkeiten der Verbreitung welche Rolle die Wirkungsanalyse bei der Verbreitung spielt.

Herausforderungen auf breiterer Basis gelst werden, als wenn wirksame Projekte nur an immer wieder neu erfunden werden muss. einem Ort ihre Wirkung entfalten und das Rad

Begelt von der erfolgreichen Seereise

berlegen Sie nach Ihrer Rckkehr, wie Sie

noch mehr Passagiere erreichen und an ihr

10.1 KRITERIEN FR DIE VERBREITUNG VON PROJEKTEN


Wirksame Projekte in andere Regionen zu bertragen, kann fr Ihre Organisation ein kein Selbstzweck. Drei wesentliche Fragen ren Orten Bedarf fr unser Projekt? Haben wir die Bereitschaft und Voraussetzungen

Ziel bringen knnen. Sie mchten gerne mehr Reisen durchfhren, weitere Hfen ansteudenken darber nach, Ihre Flotte zu erweitern und Ihre Mannschaft zu vergrern, ern und zustzliche Reiseziele anbieten. Sie

sinnvolles Ziel sein. Dabei ist die Verbreitung sollten Sie sich stellen: Gibt es auch an ande-

Buch und Leseprobe: http://www.bertelsmannstiftung.de/cps/rde/ xchg/bst/hs.xsl/ publikationen_115755.htm

und suchen nach Mglichkeiten, wie Sie dies umsetzen und nanzieren knnen. Wenn Sie bei Ihrer Projektarbeit mit Hilfe der Projekt die angestrebten Wirkungen erzielt,

Wirkungsanalyse festgestellt haben, dass Ihr

unser Projekt zu verbreiten? Und letztlich: Ist unser Projekt in andere Regionen bertragbar? ( Checkliste S. 119)

116

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Wichtig zu wissen: Drei gute Grnde fr die Verbreitung wirkungsvoller Projekte


Mehr Wirkung fr die Zielgruppe(n) erreichen Fr viele gesellschaftliche Probleme gibt es bereits erfolgreiche Lsungsanstze. Statt das Rad immer wieder neu zu ernden ist es sinnvoll, Projektkonzepte, die sich bereits als wirkungsvoll erwiesen haben, auch an anderen Orten umzusetzen. Dadurch knnen mglichst viele Personen mit einem bewhrten Konzept erreicht werden, womit die Grundlage fr eine mglichst hohe Wirkung gelegt ist.

WIRKUNG PLANEN

1.

WIRKUNG ANALYSIEREN

2.

Gemeinsam mehr erreichen Die fr die Lsung gesellschaftlicher Probleme zur Verfgung stehenden Mittel sind an vielen Stellen knapp. Das heit, die vorhandenen Ressourcen sollten so efzient und effektiv wie mglich eingesetzt werden. Durch die bernahme bewhrter Anstze sparen sich Organisationen Kosten fr die Projektentwicklung und fr Fehler und Umwege, die bei der Neuentwicklung von Projekten entstehen knnen.

WIRKUNG VERBESSERN

1 2 3

Gemeinsames Lernen im Netzwerk Bei der Verbreitung wirkungsvoller Projekte werden Best-Practice-Anstze gemeinsam mit Partnern an mehreren Orten umgesetzt und knnen durch Austausch und gemeinsames Lernen noch weiterentwickelt werden. Im Interesse der Zielgruppe(n) sollten gemeinntzige Organisationen an einem Strang ziehen und eine Kultur des Austauschs frdern und pegen.

3.

Die letzte Frage betrifft vor allem das Projekt selbst. Denn nicht jedes Projekt eignet sich dass Sie sich ber die Wirkungslogik Ihres fr eine Verbreitung. Entscheidend ist hierfr, Projektes im Klaren sind. Was ist das Prob-

Ist die Frage nach der Verbreitungsfhigkeit

positiv beantwortet, gilt es, aus den verschiedenen Methoden, Projekte zu verbreiten, die passende auszuwhlen. Links zum Thema
Viele ntzliche Informationen und Artikel rund um das Thema Projekttransfer nden Sie auf dem Portal www.opentransfer.de der Stiftung Brgermut. Im gemeinsamen Projekt Effektn hat der Bundesverband Deutscher Stiftungen und die Bertelsmann Stiftung mehrere Broschren rund um das Thema Projekttransfer verffentlicht (Finanzierung, Rechtliche Grundlagen, Qualittskontrolle). Link: www.stiftungen.org/de/ projekte/projekttransfer/ veroeffentlichungen.html

lem, das ich lsen mchte? Wie lse ich das

Problem fr die Zielgruppe? Und schlielich: Womit kann ich nachweisen, dass mein Prosein kann? jekt auch andernorts erfolgreich und wirksam

10.2 VERBREITUNGSMETHODEN
Wenn es darum geht, mglichst viele Menschen mit einem wirksamen Projekt zu erreifhren: Die einfachste Form der Verbreitung ist sicherlich, dass Wissen beispielsweise durch ein Handbuch im Internet weiter-

Die erarbeitete Wirkungslogik bildet somit

chen, knnen unterschiedliche Wege zum Ziel

ein Grundgerst, wie das Projekt auch in an-

deren Regionen umgesetzt werden muss, um zu sein. Die Umstnde und Bedingungen

mit oder ohne Ihre Hilfe auch dort erfolgreich knnen in anderen Regionen deutlich von der Situation bei Ihnen vor Ort abweichen. Insofern sollten Sie sich darber im Klaren sein,

zugeben. Gleichwohl knnen Sie auch mit

Kooperationsvertrgen das Projekt an andere Partner weitergeben oder Sie beschlieen, nen zu etablieren. das Projekt in Eigenregie in anderen Regio-

welche Qualittsstandards unabdingbar und welche anpassbar sind, um den Erfolg zu geund standardisierter ein Projekt ist, desto eher eignet es sich fr eine Verbreitung. whrleisten. Im Allgemeinen gilt, je einfacher

117

Bin ich bereit, meinen Ansatz zu teilen und Kontrolle abzugeben?

Die Vier-Felder-Matrix der Strategietypen 1


ja

Kontrolle und Partner

Wissenstransfer

Kooperation mit Vertrgen

ler und Pfennig im Voraus berechnet werden den Projekttransfer eher geringe oder hohe Kosten investieren mchten.

knnen, so ist die Frage wesentlich, ob Sie fr

Die beiden Fragen ermglichen es Ihnen, die

Kapazitt in einer Region erweitern

Strategische Ausdehnung

richtige Strategie fr Ihre Organisation in der Matrix links auszuwhlen.

Whrend Wissenstransfer und Koope-

nein

ration mit Vertrgen insbesondere auf die

Weitergabe des Projektes an andere Organiniedrig Transferkosten hoch

sationen zielen, beziehen sich Kapazittserweiterung und Strategische Ausdehnung den Organisation. auf die Verbreitung innerhalb einer bestehen-

Wie viel bin ich bereit, in die Verbreitung zu investieren?


1

Quelle: In Anlehnung an: Bertelsmann Stiftung (Hrsg.): Skalierung sozialer Wirkung. Handbuch zu Strategien und Erfolgsfaktoren von Sozialunternehmen, Gtersloh, 2013, S. 23.

Wissenstransfer
Wenn Sie Ihr Projekt durch Wissen-

stransfer verbreiten mchten, bedeutet Zwei wichtige Fragen knnen Ihnen dabei nisation zu whlen:

dies, dass Sie Ihr Projektkonzept anderen

helfen, die richtige Strategie fr Ihre Orga-

Organisationen frei zur Verfgung stellen,

die das Konzept dann eigenverantwortlich in vergleichbarer oder etwas angepasster Form bei sich vor Ort umsetzen. Whrend Sie als Projektgeber die Projektnehmer am Anfang zum Beispiel durch Informationen, (technische) Untersttzung oder Beratung bei der

ren zu teilen und damit auch notwendigermeine Organisation wesentlich, selbst die

1.

Bin ich bereit, meinen Ansatz mit ande-

weise Kontrolle abzugeben? Oder ist es fr uneingeschrnkte Kontrolle ber den Projek-

Implementierung untersttzen, ndet spter in der Regel weniger Zusammenarbeit statt. Diese Form der Verbreitung ist im gemeinntzigen Sektor relativ stark verbreitet. Sie birgt die geringsten Kosten und ermglicht eine schnelle Verbreitung und optimale Anpas-

tansatz und dessen Umsetzung zu behalten?

fr die Verbreitung des Projektes zu investieren? Jeder Projekttransfer hat seine Kosten: Ein Handbuch muss geschrieben, neue Partund oft mssen Vertrge geschlossen und

2.

Wie viel Zeit und Geld bin ich bereit,

sungsmglichkeiten des Konzepts an lokale Gegebenheiten. Dafr bietet sie aber kaum Kontrollmglichkeiten fr den Projektgeber.

ner mssen gefunden und berzeugt werden anschlieend kontrolliert werden. Auch wenn die Hhe dieser Transferkosten nicht auf Hel-

118

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN Leitfragen: Kriterien fr die Verbreitungsfhigkeit von Projekten Um festzustellen, ob sich ein Projekt erfolgreich verbreiten lsst, sind folgende Fragen hilfreich:

Bedarf Gibt es auch an anderen Orten einen Bedarf fr das Projekt und die Bereitschaft, Geld und Zeit in das Projekt zu investieren? berzeugung und Bereitschaft Haben Sie in Ihrer Organisation die Bereitschaft und die notwendige Erfahrung, um Ihr Projekt zu transferieren? Hat Ihre Organisation die notwendigen personellen und nanziellen Ressourcen fr einen Transfer? Erfolgreiches Modell Kennen Sie die wichtigsten Faktoren fr den Erfolg des Projektes? Ist Ihr Projektkonzept so einfach und standardisierbar, dass es von anderen Personen und in anderen Regionen durchgefhrt werden kann? Knnen Sie die Wirksamkeit und den Erfolg des Projektes nachweisen, um damit andere zu berzeugen?

WIRKUNG ANALYSIEREN

WIRKUNG VERBESSERN

1 2 3

Kooperation mit Vertrgen


Sie knnen ein Projekt auch mit Hilfe von

Kooperationsvertrgen an andere, unab-

hngige Organisationen weitergeben. Diese

Zusammenkommen ist ein Beginn, zusammenbleiben ist ein Fortschritt, zusammenarbeiten ist ein Erfolg.
Henry Ford (*1863 1947)

setzen das Projekt bei sich vor Ort um, Sie als Projektgeber haben hierbei Kontrollmglichkeiten, denn in den Vertrgen sind Rechte und Pichten von Projektgeber und -nehmer festgelegt. Beispielsweise knnen darin die Bereitstellung von Ressourcen und Knowhow durch den Projektgeber oder Berichts-

bestehen weniger Spielrume fr lokale Andes offenen Transfers.

pichten, Lizenzkosten, Bedingungen fr die de Qualittsstandards fr die Projektnehmer strker gestalten kann, bringt eine Kooperaund standardisierte Ablufe mit sich, und es

passungen als bei der Verbreitungsmethode

Nutzung von Markenrechten und einzuhaltengeregelt sein. Whrend der Projektgeber hier tion mit Vertrgen gleichzeitig hhere Kosten

Vier Vertragsarten werden fr die Weitergabe von Projekten unterschieden: Weitergabe innerhalb von Netzwerkvereinen bzw. Joint-Venture-Vertrge.

verbnden, Lizenz-, Social-Franchise- oder

119

Kapazitten in einer Region erweitern


Projektbeispiel: Der Erfolg des PAFF-Projektes spricht sich herum. Denn erfolgreiche Lsungen gegen Jugendarbeitslosigkeit sind auch anderenorts gefragt. Mehr und mehr Kooperationsanfragen landen im PAFF-Bro. Gemeinsam mit dem Vorstand berlegt die Projektleitung, wie sie mit den Anfragen umgeht. Einerseits mchten sie, dass PAFF in mglichst vielen Regionen eigenstndig angeboten wird. Anderseits ist dem Vorstand auch wichtig, die Qualitt des Projekts und seiner Umsetzung sicher zustellen. Mangels Geld und Zeit entscheidet sich der Vorstand dafr, ein Handbuch zu schreiben, um das Wissen weiterzugeben. Anhand der Wirkungsanalyse sind die wichtigsten Erfahrungen und Qualittsaspekte bereits schriftlich festgehalten. Gerne htte man das Projekt auch ber Kooperationsvertrge weitergegeben. Die hohen Kosten fr die Vertragsabwicklung war aber das wichtigste Gegenargument. PAFF wird nun dank des Handbuches an vielen Orten angeboten und hilft damit die Jugendarbeitslosigkeit zu verringern. Einmal im Jahr treffen sich alle Projektnehmer mit dem PAFF-Team, zum Erfahrungsaustausch.

andere Zielgruppen ausdehnen oder um komplementre Angebote erweitern.

Ein Projekt zu verbreiten muss nicht immer bedeuten, dass der Ansatz an andere Organisationen weitergegeben wird. Vielleicht mchten Sie die Wirksamkeit Ihres Sie bereits ttig sind, und dadurch mehr Projekts in einer Region vergrern, in der Menschen helfen, ohne dabei gleich an eine berregionale Verbreitung zu denken. Dies knnen Sie erreichen, indem Ihre eigene Organisation regional in der Regel an

10.3. WIRKUNGSANALYSE BEI DER VERBREITUNG VON PROJEKTEN


Wirkungsanalyse spielt bei der Verbreitung als Grundlage fr die Verbreitung, zum anvon Projekten eine wichtige Rolle. Zum einen deren zur laufenden Qualittssicherung bei Ihr M&E-System bei der Verbreitung eines Projekts?

einem Standort wchst oder Sie bestehende Prozesse und Strukturen so optimieren, dass Sie mit der gleichen Menge an ResViele Pilotprojekte beginnen damit, die

den verbreiteten Projekten. Wie ntzt Ihnen

sourcen mehr Menschen erreichen knnen. Wirksamkeit des eigenen Handelns in einer Region zu optimieren und erst danach eine berregionale Verbreitung anzustreben.

Wirkungsanalyse als Basis fr die Verbreitung von Wirkung

Die Wirkungsanalyse zeigt Ihnen, ob das Projekt auch tatschlich Wirkung erzielt tung der Wirkung zu erwarten ist. Wenn Sie eine Verbreitung Ihres Projekts ins und bei einer Verbreitung auch die Verbrei-

Die Kontroll- und Gestaltungsmglichkeiten bei dieser Verbreitungsstrategie sind dabei hoch.

Strategische Ausdehnung
Um mehr Menschen auch in anderen Regi-

Auge fassen, ist es daher sinnvoll, Ihr Projekt extern evaluieren zu lassen. Evaluationen knnen Ihnen die Wirksamkeit Ihres Projekts besttigen, Lcken im Konzept

onen zu erreichen, knnen Sie auch Filialen beziehungsweise Bros Ihrer Organisation sind nicht unabhngig, sondern rechtlich an anderen Standorten erffnen. Die Filialen Teil Ihrer Organisation. Das bedeutet auch,

aufzeigen und Anhaltspunkte dafr bieten, welche Anpassungen notwendig sind, damit das Projekt erfolgreich verbreitet wer-

den kann. Klar dargestellte Ergebnisse der Personen und Organisationen vor allem

dass Ihre Organisation aus eigener Kraft die dafr behlt sie aber auch die wesentli-

Wirkungsanalyse helfen Ihnen auch, andere potenzielle Projektnehmer und Geldgeber zu berzeugen. Der Blick von auen,

Kosten fr die Verbreitung aufbringen muss, che Kontrolle ber die Umsetzung, da das

von Ihrem Projekt und seiner Verbreitung durch eine externe Evaluation, erhht die Legitimitt und Reputation des Projekts.

Projektkonzept nicht an andere Organisa-

tionen weitergegeben wird. Eine strategibedeuten, dass Sie Ihre Aktivitten auf

sche Ausdehnung eines Projekts kann auch

120

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

WIRKUNG PLANEN

Qualitt entwickeln und weitertragen


Whrend der Wirkungsanalyse im Rahmen des Ursprungsprojekts sammeln und dokumendaher, ob, wie und warum Ihr Projekt wirkt. tieren Sie Daten, lernen aus ihnen und wissen Dies hilft Ihnen nicht nur, Ihre Zielerreichung zu identizieren und Qualittskriterien zu rien zu kennen und weiterzutragen ist ein tung von Wirkung.

Untersttzung hinausgeht. Hier ist es um so wichtiger, die Projektnehmer fr das Thema Wirkungsanalyse zu sensibilisieren und ihnen Umsetzung anzubieten.

WIRKUNG ANALYSIEREN

geeignete Materialien und Schulungen fr die

WIRKUNG VERBESSERN

zu berprfen, sondern auch, Erfolgskriterien entwickeln. Diese Erfolgs- und Qualittskritewesentliches Erfolgskriterium fr die Verbrei-

Potenziertes Lernen
Die Nutzung von Ergebnissen aus der Wirteten Projekte ebenso wichtig wie fr das

1 2 3

kungsanalyse zum Lernen ist fr die verbreiUrsprungsprojekt. Durch ein einheitliches

Berichtswesen wird es beispielsweise mglich, Ergebnisse unterschiedlicher Projektnehmer miteinander zu vergleichen und daraus zu lernen: Was sind entscheidende orts(un)-

Qualitt sichern
Damit ein Partner Ihr Projektkonzept bei sich vor Ort in gleicher Qualitt umsetzen kann, Informationen zum Aufbau und Ablauf des bentigt er, vor allem zu Beginn des Projekts, Projekts sowie zu Fragen der Wirkungsana-

gebundene Erfolgsfaktoren? Welche Kriterien

lyse und Qualittsentwicklung. Die durch die Wirkungsanalyse gewonnenen Erkenntnisse wie Handbcher oder auch Schulungen fr Projektnehmer verwenden. Ist ein Projekt analyse weiterhin eine wichtige Rolle bei erfolgreich verbreitet, spielt die Wirkungsder Qualittssicherung. Bei einer vertraglich fundierten Partnerschaft oder bei der Grndung von Filialen wird fr das Reporting und Berichtswesen genutzt, das heit, dass alle Zeitabstnden und Berichtsformaten beknnen Sie fr die Erstellung von Materialien

Wenn Du ein Schiff bauen willst, dann trommle nicht Mnner zusammen, um Holz zu beschaffen, Aufgaben zu vergeben und die Arbeit einzuteilen, sondern lehre sie die Sehnsucht nach dem weiten, endlosen Meer.
Antoine de Saint-Exupery (* 29.6.1900 31.7.1944)

sind entscheidend dafr, dass das Projekt bei einer bestimmten Teilzielgruppe wirkt? Was anderen lernen? Durch eine Zusammenfhrung der Ergebnisse wird noch deutlicher, Practices identizieren. Die Erkenntnisse kann ein Projektnehmer aus dem Erfolg eines

die Qualittssicherung meist ein einheitliches Projektnehmer dem Projektgeber in gleichen richten. Bei einer offenen Verbreitung durch Wissenstransfer an unabhngige Organisada der Austausch zwischen Projektgeber tionen sind die Mglichkeiten hier geringer, und -nehmer oft kaum ber eine anfngliche

was wirklich wirkt, und es lassen sich Best helfen nicht nur den Projektnehmern untereindieser Grundlage das Projektkonzept verbessern und weiterentwickeln kann. Es kann ein sames Lernen und eine laufende Weiterentvon wirkungsvoller Arbeit beitrgt.

ander, sondern auch dem Projektgeber, der auf

Lern-Netzwerk entstehen, das durch gemeinwicklung und Verbesserung zur Verbreitung

121

Falls Sie nicht zu den Personen gehren, die Bcher von hinten lesen, haben Sie sich an dieser Stelle mehr als 120 Seiten lang mit Wirkungsorientierung befasst und dabei

Steuerungskreislaufs, erffnet sich ein neuer Reise fort. Wenn Sie sich bis jetzt noch nicht viel mit dem Thema Wirkungsorientierung befasst haben, werden Sie feststellen, dass

Kreislauf, und Sie setzen mit Ihrem Projekt die

Texten, Graken und Beispielen zum Thema

ZUM SCHLUSS

eine Reise rund um den wirkungsorientierten Steuerungskreislauf absolviert. In Teil 1 des Kursbuchs haben Sie erfahren, wie Sie die Wirkung des Projekts bereits whrend der Projektplanung mitdenken

die erste Reise die schwerste ist. Denn wenn erst einmal in Ihre alltgliche Projektarbeit integriert haben, wird sich der Aufwand wirkungsorientierten Projektsteuerung ziehen, verringern. gegenber dem Nutzen, den Sie aus der

Sie die wirkungsorientierte Projektsteuerung

knnen und wie sich auf der Grundlage einer Bedarfsanalyse die Wirkungsziele und die Mit den Wirkungszielen im Blick, mssen Wirkungslogik des Projekts erarbeiten lassen. Sie whrend der Projektumsetzung feststellen, ob und inwieweit Ihr Projekt auf dem zu erreichen. richtigen Weg ist, um die angestrebten Ziele In Teil 2 des Kursbuchs haben Sie daher einen

Egal, ob Sie Wirkungsorientierungs-Neuling sind oder schon Erfahrung in der wirkungsorientierten Projektsteuerung haben und sich im Kursbuch vielleicht nur auf die Abders interessieren: Wir hoffen, dass Ihnen das Kursbuch wertvolle Anregungen und

schnitte konzentriert haben, die Sie beson-

berblick ber die Bandbreite an Mglichkeianalyse Wirkungsnachweise zu erheben, und Sie haben gelernt, wie Sie die erhobenen Daten auswerten knnen.

ten bekommen, um im Rahmen der Wirkungs-

Hilfestellungen fr Ihre wirkungsorientierte

Projektarbeit gegeben hat und Sie vielleicht

auch etwas Spa bei der Lektre hatten. Vor allem aber wrden wir uns freuen, wenn Sie dieses Praxishandbuch motiviert hat, sich mit dem Thema Wirkungsorientierung zu arbeit ntzt allen: Ihrer Zielgruppe, weil

In Teil 3 des Kursbuchs haben Sie erfahren,

wie Sie die erhobenen Informationen nutzen zentrale Elemente der wirkungsorientierten

knnen. Sie haben Lernen und Verbessern als Projektsteuerung kennengelernt, und Ihnen nisse der Wirkungsanalyse so aufbereiten Kommunikation nutzen knnen.

befassen. Denn wirkungsorientierte Projektsie das Angebot bekommt, das so gut wie

wurden Ideen vorgestellt, wie Sie die Ergebknnen, dass Sie die Informationen fr Ihre Am Projektbeispiel PAFF wurde gezeigt, dass Wirkungsorientierung in der alltglichen Projektarbeit auch fr kleinere Projekte

mglich auf ihre Bedarfe zugeschnitten ist,

den Projektmitarbeitenden, weil es befriediProjekt Wirkung entfaltet, den Geldgebern, deren Mittel bestmglich investiert sind,

gend und motivierend ist, zu sehen, dass das

anderen gemeinntzigen Organisationen, da durch den Austausch ber Wirkungsorientierung eine positive Entwicklung im gesamten Sektor angestoen wird, und im Endeffekt

ein machbares Unterfangen ist, wenn die eingesetzt werden.

Manahmen bedarfsgenau konzipiert und Sie haben also eine weite Reise in Richtung Wirkung gemacht und sind im Hafen angegesammelt haben, werden Sie bald wieder zu einer neuen Reise aufbrechen, denn mit Abschluss eines wirkungsorientierten kommen. Aber mit den Erfahrungen, die Sie

der gesamten Gesellschaft, da durch die wirkungsvolle Arbeit gemeinntziger Projekte Gesellschaft geleistet wird. ein Beitrag fr eine gerechtere und bessere In diesem Sinne wnschen wir Ihnen viel Erfolg und Freude bei Ihrer wirkungsvollen Arbeit!

122

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

Dieses Buch als PDF herunterladen: www.phineo.org/downloads/?p=1&lename= PHINEO_KURSBUCH_WIRKUNG.pdf Die zustzlichen Materialien zu den einzelnen Kapiteln, wie Templates zum selbst Ausfllen, sowie weitere kostenfreie Publikationen von PHINEO nden Sie unter www.phineo.org/publikationen

123

GLOSSAR 1

Baseline Information ber die Situation der Zielgruppe vor Beginn eines Projekts oder Programms, die als Bezugspunkt fr die Bewertung von Fortschritten oder fr Vergleiche dienen kann.

Bedarfs- und Umfeldanalyse

Bedarfsanalysen sind die (empirische) Auseinandersetzung mit den gesellschaftlichen Herausforderungen (z.B. Ausma, Dringlichkeit), der konkreten Situation vor Ort (z.B. in einem Stadtteil) und den Bedrfnissen und Bedarfen der Mitglieder der Zielgruppe (z.B. Bildungssituation, kulturelle Prgung, familires Umfeld). Aus den Erkenntnissen aus der Bedarfsanalyse leiten sich die Anforderungen an Projekte beziehungsweise Programme ab. Umfeldanalysen setzen sich mit den Akteuren in der Region und mgliche Schnittstellen, den Akteuren mit hnlichen Zielen und Zielgruppen, den Akteuren, deren Konzept man sinnvoll auf die eigene Region bertragen kann und den Akteuren mit hnlichen Projekten, von deren Konzepten man lernen kann, auseinander. Ziele einer Umfeldanalyse knnen sein: Dopplungen bei dem Angebot von Projekten zu vermeiden, eigene Angebote mit denen anderer Organisationen abzustimmen und sinnvolle Koopera tionen einzugehen.

gre (oder Beurteilung) des Nutzens oder Wertes eines Projekts verwendet, d.h. des Ausmaes, in dem ein Projekt seine Ziele erreicht hat oder voraussichtlich erreichen wird.

Ein Ma dafr, wie gut Inputs (Ressourcen) wie zum Beispiel Finanzmittel, Fachwissen, Zeit usw. eines Projekts in Ergebnisse im Sinne von Outputs (Leistungen) umgewandelt werden.

Efzienz (auch: Wirtschaftlichkeit, Kosten-Nutzen)

Evaluation

lich unvollstndiger Anhaltspunkt fr das Vorhandensein eines Sachverhalts, dessen Vorliegen nicht unmittelbar beobachtbar ist. Indikatoren sind unverzichtbar fr das Messen komplexer Sachverhalte im Rahmen von Monitoring und Evaluation.

Systematische und objektive Beurteilung eines laufenden oder abgeschlossenen Projekts oder Programms sowie dessen Umsetzung und Ergebnisse. Ziele von Evaluationen knnen u.a. sein, die Relevanz und Verwirklichung von Zielen zu ermitteln sowie ihre Efzienz fr die Entwicklung, ihre Wirksamkeit, lngerfristige Wirkung und Nachhaltigkeit zu bestimmen. Eine Evaluation sollte glaubwrdige und ntzliche Informationen liefern, die die Einbeziehung gewonnener Erkenntnisse in die Projektsteuerung ermglichen.

Inputs (Ressourcen)

Finanzielle, personelle und materielle Ressourcen, die fr ein Projekt eingesetzt werden.

Wirkungslogik

Logisches Modell (Logic Model) Methoden der Datenerhebung

Benchmark

Bezugspunkt oder Vergleichsmastab, an dem Leistungen oder Ergebnisse gemessen werden knnen. Als Benchmark dienen die Leistungen anderer vergleichbarer Organisationen in der jngeren Vergangenheit oder die Leistungen, die man unter den gegebenen Umstnden realistischerweise htte erwarten knnen.

Effektivitt (Wirksamkeit)

Ausma, in dem die Wirkungsziele eines Projekts erreicht worden sind oder voraussichtlich erreicht werden. Der Begriff wird auch als Gesamtmess-

Whrend sich bei den Outcomes die Wirkungen auf die Zielgruppe(n) des Projekts beziehen, beschreiben die Impacts die erwnschten Vernderungen auf gesellschaftlicher Ebene. Dies sind zum Beispiel Vernderungen der sozialen oder konomischen Situation der Gesellschaft. Da der Bezug auf die Gesamtgesellschaft hier in den meisten Fllen weder sinnvoll noch mglich ist, beziehen sich die Impacts meist auf einen Teil der Gesellschaft zum Beispiel die Bevlkerung in einem Stadtteil oder einer Region.

Impact (Wirkungen auf gesellschaftlicher Ebene)

Methoden, die im Rahmen von Monitoring und Evaluation zur Erhebung von Daten eingesetzt werden. Beispiele hierfr sind schriftliche und mndliche Befragungen, Beobachtungen, das Einholen von Expertenmeinungen, Fallstudien, das Sammeln von Anekdoten oder die Auswertung von Dokumenten.

Monitoring

Indikator

Anzeiger (von lat. indicare auf etwas zeigen/etwas zeigen) bzw. grundstz-

Kontinuierlicher Prozess der systematischen Datensammlung whrend des Projektverlaufs, mit dem Ziel, aktuelle Informationen fr die Steuerung des Projekts zu haben. Dabei werden vor allem Indikatoren zu den erzielten Fortschritten, den erreichten Zielen sowie ber die Verwendung bereitgestellter Mittel erhoben.

Die Outputs (Leistungen) umfassen die Angebote und Produkte eines Projekts, also das, was ein Pro-

Outputs (Leistungen)

124

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

jekt tut beziehungsweise anbietet, sowie die Nutzung der Leistungen durch die Zielgruppe. Die Outputs bilden die Grundlage dafr, dass das Projekt Wirkung erzielen kann.

SROI (Social Return on Investment)


Social Return on Investment (auf Deutsch: Sozialrendite) ist ein Ansatz der Social-Impact-Messung, der sich mit der Bewertung des durch (soziale) Projekte geschaffenen gesellschaftlichen Mehrwerts beschftigt und der in den letzten Jahren zunehmend nachgefragt, aber auch kritisch diskutiert wird. Bei der SROI-Analyse wird versucht, Projektresultate zu quantizieren und in monetren Werten auszudrcken.

Outcome (Wirkungen auf Ebene der Zielgruppe)

Wirkungslogik

Outcomes sind die Wirkungen des Projekts auf Ebene der Zielgruppe(n) und bilden den zentralen Bestandteil der Wirkungslogik. Sie verdeutlichen, auf welche positiven Vernderungen bei den am Projekt Teilnehmenden das Projekt abzielt. Die Outcomes untergliedern sich dabei in drei Stufen (Stufen 4-6 in der Wirkungslogik): die Vernderungen im Wissen, den Einstellungen und in den Fhigkeiten (Stufe 4); im Verhalten (Stufe 5) oder in der Lebenslage / dem Status der Zielpersonen (Stufe 6).

Stakeholder

Einrichtungen, Organisationen, Gruppen oder Einzelpersonen mit einem direkten oder indirekten Interesse an einem Projekt.

Wirkungslogiken gibt es in verschiedenen Varianten und unter verschiedenen Namen. Bekannt sind hier vor allem die Begriffe Programmlogik, Theory of Change, Wirkungsketten oder Logische Modelle. Gemeinsam ist ihnen ihre Aufgabe, die Funktionsweise eines Projekts schematisch und in vereinfachter Form abzubilden.

Wirkungsorientierung

Theory of Change
Wirkungslogik

Vernderungen, die durch eine bestimmte Intervention verursacht worden sind. Wirkung auf Ebene der Gesellschaft wird als Impact, Wirkungen bei den Zielgruppen werden als Outcomes bezeichnet.

Wirkung

Wirkungsorientierung bedeutet, dass ein Projekt darauf ausgelegt ist, Wirkungen zu erzielen, und es entsprechend geplant und umgesetzt wird. Erwnschte Wirkungen werden als konkrete Ziele formuliert, an denen sich die gesamte Arbeit ausrichtet und gesteuert wird.

Wirkungsanalyse

Der SRS bietet einen Rahmen fr die Berichterstattung fr Organisationen und Projekte. Er hilft insbesondere dabei, die Wirkungskette der Projekte/ Angebote zu dokumentieren und zu kommunizieren. Darber hinaus werden weitere wesentliche Elemente der Berichterstattung wie die Organisationsstruktur und Finanzen in einem SRS-Bericht systematisch erfasst, sodass bei Anwendung des SRS ein umfassendes Bild ber die berichtende Organisation entsteht.

Social Reporting Standard (SRS)

Der Begriff Wirkungsanalyse kann in einem engeren und in einem weiteren Sinn verwendet werden. Wirkungsanalyse im engen Sinn bedeutet, dass die Erhebung der Daten auf die Outcomes und Impacts eines Projekts abzielt. Im Rahmen der wirkungsorientierten Projektsteuerung ist ein weites Verstndnis von Wirkungsanalyse sinnvoll. Denn hier ist es wichtig, nicht nur zu fragen, ob ein Projekt wirkt, sondern auch festzustellen, welches die ausschlaggebenden Faktoren sind, die zu den Wirkungen fhren. Wirkungsanalyse im hier verwendeten, weiten Sinn umfasst daher neben der Analyse der Wirkungen (Outcomes und Impacts) selbst auch die erbrachten Leistungen des Projekts und deren Qualitt. Die Wirkungsanalyse im weiten Sinn hinterfragt auch die Wirkungsannahmen, auf denen das Projekt aufbaut.

Beabsichtigte Wirkungen eines Projekts, die fr Personen, Gruppen, Organisationen oder die Gesellschaft zu physischen, nanziellen, institutionellen, sozialen, kologischen oder sonstigen Verbesserungen beitragen.

Ziele (Wirkungsziele)

Zielgruppe

Personen, Gruppen oder Organisationen, zu deren Gunsten ein Projekt durchgefhrt wird.

Quelle: 1 vgl. OECD Entwicklungsausschuss: Glossar entwicklungspolitischer Schlsselbegriffe aus den Bereichen Evaluierung und ergebnisorientiertes Management, Paris 2009 und Univation: Eval-Wiki: Glossar der Evaluation Kln 2010, unter: www.eval-wiki.org/ glossar/ Eval-Wiki:_Glossar_der_Evaluation
125

WEITERFHRENDE LITERATURHINWEISE
Allgemeine Einfhrungen und berblicke Beywl, Wolfgang (Hrsg.): Evaluation Schritt fr Schritt: Planung von Evaluationen, Band 20/26 der Reihe Weiterbildung des Heidelberger Instituts fr Beruf und Arbeit (hiba), Darmstadt 2007 Herrero, Sonia: Integrated Monitoring. A Practical Manual for Organisations That Want to Achieve Results, Berlin 2012, unter: www. inprogressweb.com/resources Shapiro, Janet: Monitoring and Evaluation, CIVICUS Toolkits, Johannesburg 2001, unter: http://www.civicus.org/new/media/Monitoring%20and%20Evaluation.pdf Stockmann, Reinhard: Handbuch zur Evaluation: Eine praktische Handlungsanleitung, Sozialwissenschaftliche Evaluationsforschung, Mnster 2007 United Way of America: Measuring Program Outcomes: A Practical Approach, Arlington 1996, unter: www.liveunited.org/Outcomes/ Resources/MPO/ Zum Thema Bedarfs- und Umfeldanalyse Altschuld, James W.: The Needs Assessment Kit, Thousand Oaks 2010 IMAS (International mine action standards): Data collection and needs assessment, Genf 2005, unter: http://www.parkdatabase.org/ les/documents/2005_Data-Collection-andNeeds-Assessment_MRE-Best-PracticeGuidebook_IMAS.pdf Rossi, Peter H./ Lipsey, Mark W./ Freeman, Howard E.: Evaluation. A Systematic Approach, Seventh Edition, Thousand Oaks 2004, Kapitel 4 Zum Thema Wirkungsziele setzen Bundesministerium fr Familie, Senioren, Frauen und Jugend (BMFSFJ): Zielndung und Zielklrung ein Leitfaden, QS Nr. 21, Materialien zur Qualittssicherung in der Kinder- und Jugendhilfe, Bonn 1999, unter: http://www.bmfsfj.de/BMFSFJ/Service/Publikationen/publikationsliste,did=3238.html Zum Thema Wirkungslogik Dewson, Sara/Eccles, Judith et al.: Guide to Measuring Soft Outcomes and Distance Travelled, The Institute for Employment Studies, Brighton 2000, http://www.dwp.gov.uk/docs/distance.pdf Innovation Network: Logic Model Workbook, Washington o.J., unter: http://www. innonet.org/client_docs/File/ logic_model_workbook.pdf University of Wisconsin Extension: Enhancing Program Performance with Logic Models, Madison 2003. www.uwex.edu/ces/lmcourse/ Zum Thema Vorbereiten der Wirkungsanalyse Preskill, Hallie/Jones, Natalie: A Practical Guide for Engaging Stakeholders in Developing Evaluation Questions, (Robert Wood Johnson Evaluation Series) , Princeton 2009, unter: http://www.rwjf.org/content/dam/ web-assets/2009/01/a-practical-guidefor-engaging-stakeholders-in-developingevalua Zum Thema Indikatoren: Meyer, Wolfgang Dr.: Indikatorenentwicklung: Eine praxisorientierte Einfhrung (2. Auage), Centrum fr Evaluation, CEval Arbeitspapiere, 10, Saarbrcken 2004 SECO (Hrsg.): Handbuch Indikatorenbildung fr die wirtschaftliche Zusammenarbeit mit Entwicklungs- und Transitionslndern, Zrich 2001, unter: www.seco-cooperation.admin.ch/ United Way of America: Measuring Program Outcomes: A Practical Approach, Arlington 1996, Step 3: Specify Indicators for your Outcomes, S. 59-80 Zum Thema Daten erheben Datenbank mit Informationen zu den verschiedenen Erhebungsmethoden der University of Wisconsin-Extension: http://www.uwex.edu/ces/pdande/ evaluation/evaldocs.html Datenbank zu den verschiedenen Erhebungstools mit Handreichungen und Checklisten von EuropeAid: http://ec.europa.eu/europeaid/evaluation/methodology/index_en.htm Earl, Sarah/Carden, Fred/Smutylo, Terry: Outcome Mapping: Building Learning and Reection into Development Programs, Ottawa 2001, unter: www.idrc.ca/ en/ev-26586-201-1-DO_TOPIC.html Keller-Ebert, Cornelia / Kiler, Mechthild / Schobert, Berthold: Evaluation praktisch! Wirkungen berprfen, Manahmen optimieren, Berichtsqualitt verbessern, Heidelberg 2005. Knig, Joachim: Einfhrung in die Selbstevaluation, Freiburg 2007, 2. Auage Konrad, Klaus: Mndliche und schriftliche Befragung ein Lehrbuch. Landau 2005 Meyer, Wolfgang: Datenerhebung: Befragungen Beobachtungen Nicht-reaktive Verfahren, in: Handbuch zur Evaluation. Reiner Stockmann (Hg.), Mnster 2007, S. 223-277. Online Umfrage Tools: http://surveymonkey.com; http://hostedsurvey.com/home.html Software fr die Erstellung von Fragebgen: http://www.grafstat.de/ Zum Thema Daten analysieren Beywl, Wolfgang (Hrsg.): Evaluation Schritt fr Schritt: Planung von Evaluationen, Band 20/26 der Reihe Weiterbildung des Heidelberger Instituts fr Beruf und Arbeit (hiba), Darmstadt 2007, Kapitel 4 (Daten erheben und auswerten.) und 5 (Schlussfolgern und bewerten): S. 47 70 The Urban Institute: Analyzing Outcome Information Getting the most from Data, Washington 2004. unter: http://www.urban.org/UploadedPDF/ 310973_OutcomeInformation.pdf Zum Thema Lernen und Verbessern Argyris, Chris/Schn, Donald A.: Die lernende Organisation, 3. Auage, 2008 Bono, Maria Laura: Performance Management in NPOs. Steuerung im Dienste sozialer Ziele, Baden-Baden 2010 Stockmann, Reinhard: Qualittsmanagement und Evaluation, in: ders.: Evaluation und Qualittsentwicklung. Eine Grundlage fr wirkungsorientiertes Qualittsmanagement, Sozialwissenschaftliche Evaluationsforschung Band 5, Mnster 2006, S. 22-96 Zum Thema Berichten Bundesministerium fr Familie, Senioren, Frauen und Jugend (BMFSFJ): Zielgefhrte Evaluation von Programmen ein Leitfaden, QS Nr. 29, Materialien zur Qualittssicherung in der Kinder- und Jugendhilfe, Bonn 2000, Kapitel 5. Evaluationsberichte, S. 83-91

126

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

HERZLICHEN DANK
SRS Konsortium: Social Reporting Standard, unter: http://www.social-reporting-standard.de/ Torres, Rosalie T./ Preskill, Hallie/Piontek, Mary E.: Evaluation Strategies for Communicating and Reporting. Enhancing Learning in Organizations, 2. Auage. Thousand Oaks 2005 Zum Thema Skalierung Bertelsmann Stiftung (Hrsg.): Skalierung sozialer Wirkung. Handbuch zu Strategien und Erfolgsfaktoren von Sozialunternehmen, Gtersloh 2013 Bundesverband Deutscher Stiftungen e.V. (Hrsg.): Nachmachen aber richtig! Qualitt im Projekttransfer gestalten, Praxisratgeber Effekt hoch n, Berlin 2011, unter: http://www.stiftungen.org/leadmin/bvds/ de/Projekte/Projekttransfer/ Nachmachen_aber_richtig_online.pdf The Social Enterprise Coalition: The Social Franchising Manual, London 2011, http://www.socialenterprise.org.uk/uploads/ editor/les/Publications/ Social_Franchising_manual.pdf Die PHINEO gAG bedankt sich herzlich bei allen Beteiligten, die an der Erarbeitung des Kursbuchs mitgewirkt haben. Dieses Kursbuch wre ohne ihr kompetentes Feedback nicht in dieser Form mglich gewesen. Fr ihre Teilnahme am Expertenworkshop und den intensiven Austausch danken wir herzlich: Gerald Labitzke, Bertelsmann Stiftung, Gtersloh Claudia Leiner, Auridis GmbH, Neuss Lena-Maria Wrrlein, Fakultt Wirtschafts- und Sozialwissenschaften Universitt Hamburg, Hamburg Fr ihr Feedback und die wertvollen Anregungen zum Manuskript danken wir herzlich: Ina Bisani, Mentoring Ratingen e.V., Ratingen Dr. Michael Mrva und Peter Ullrich, Nachbarschaftshilfe Taufkirchen e.V., Taufkirchen Juliane Metzner, Bundesverband Deutscher Stiftungen, Berlin

Hinweis: Die weiterfhrenden Literaturhinweise wurden whrend der Arbeit an dieser Publikation zusammengestellt und teilweise mit Weblinks angegeben. In der Natur des Internets liegt bestndiger Wandel. Wir knnen dementsprechend keine Garantie dafr bernehmen, da diese Links auch zuknftig noch verfgbar sind.

Kostenfreie Publikationen von PHINEO sowie auch dieses Kursbuch und die dazugehrigen Downloads finden Sie unter www.phineo.org/publikationen

127

LITERATURVERZEICHNIS
Altschuld, James W.: The Needs Assessment Kit, Thousand Oaks 2010 Argyris, Chris/Schn, Donald A.: Die lernende Organisation, 3. Auage, Stuttgart 2008 Beywl, Wolfgang (Hrsg.): Evaluation Schritt fr Schritt: Planung von Evaluationen, Band 20/26 der Reihe Weiterbildung des Heidelberger Instituts fr Beruf und Arbeit (hiba), Darmstadt 2007 Bertelsmann Stiftung (Hrsg.): Skalierung sozialer Wirkung. Handbuch zu Strategien und Erfolgsfaktoren von Sozialunternehmen, Gtersloh 2013 Bono, Maria Laura: NPO-Controlling Professionelle Steuerung sozialer Dienstleistungen, Stuttgart 2006. Bono, Maria Laura: Performance Management in NPOs. Steuerung im Dienste sozialer Ziele, Baden-Baden 2010 Bundesverband Deutscher Stiftungen e.V. (Hrsg.): Nachmachen aber richtig! Qualitt im Projekttransfer gestalten, Praxisratgeber Effekt hoch n, Berlin 2011, unter: http://www.stiftungen.org/leadmin/ bvds/de/Projekte/Projekttransfer/ Nachmachen_aber_richtig_online.pdf Bundeskanzleramt sterreich: Handbuch fr Wirkungsorientierte Steuerung. Unser Handeln erzeugt Wirkung, Wien 2011, unter: http://www.bka.gv.at/ DocView.axd?CobId=42634 Bundesministerium fr Familie, Senioren, Frauen und Jugend (BMFSFJ): Zielgefhrte Evaluation von Programmen ein Leitfaden, QS Nr. 29, Materialien zur Qualittssicherung in der Kinder- und Jugendhilfe, Bonn 2000 Bundesministerium fr Familie, Senioren, Frauen und Jugend (BMFSFJ): Leitfaden fr Selbstevaluation und Qualittssicherung, QS Nr. 19, Materialien zur Qualittssicherung in der Kinder- und Jugendhilfe, Bonn 1998 Bundesministerium fr Familie, Senioren, Frauen und Jugend (BMFSFJ): Zielndung und Zielklrung ein Leitfaden, QS Nr. 21, Materialien zur Qualittssicherung in der Kinder- und Jugendhilfe, Bonn 1999, unter: http://www.bmfsfj.de/BMFSFJ/Service/Publikationen/publikationsliste,did=3238.html DeGEval- Standards fr Evaluation und die Standards fr Selbstevaluation: Standards fr Evaluation: http://www.degeval.de/degevalstandards, Standards zur Selbstevaluation: http://www.alt.degeval.de/calimero/tools/ proxy.php?id=24059
128

Dewson, Sara/ Eccles, Judith et al.: Guide to Measuring Soft Outcomes and Distance Travelled, The Institute for Employment Studies, Brighton 2000, http://www.dwp.gov.uk/docs/distance.pdf Earl, S., Carden, F., and Smutylo, T.: Outcome Mapping: Building Learning and Reection into Development Programs, Ottawa 2001, unter: www.idrc.ca/en/ ev-26586-201-1-DO_TOPIC.html European Venture Philanthropy Association: A Practical Guide to impact Measurement, Brssel 2013, unter: http://evpa.eu.com/ wp-content/uploads/2012/11/ EVPA-Full-Manuel-Final-Version_A4.pdf Grantmakers for Effective Organizations (GEO): Four Essentials for Evaluation, Washington o.J., un-ter: http://geofunders.org/ geo-publications/567-four-essentials Herrero, Sonia: Integrated Monitoring. A Practical Manual for Organisations That Want to Achieve Results, Berlin 2012, unter: www.inprogressweb.com/resources Hoelscher, Philipp: Kredit statt Spende? Venture Philanthropy als Soziale Investition, in: Forschungsjournal Soziale Bewegung Heft 1/2011, S. 32. Hornsby, Adrian: The Good Analyst. Impact Measurement & Analysis in the SocialPurpose Universe, London 2012, unter: www.investingforgood.co.uk/thegoodanalyst Hurt, Karen: Writings within your Organisation, CIVICUS Toolkits, South Africa 2003, http://www.civicus.org/new/ media/Writings%20within%20your% 20organisation.pdf IMAS (International mine action standards): Data collection and needs assessment, Genf 2005, unter: http://www.parkdatabase.org/ les/documents/2005_Data-Collection-andNeeds-Assessment_MRE-Best-Practice-Guidebook_IMAS.pdf International Group of Controlling: Wirkungsorientiertes NPO-Controlling, ICG-Arbeitsgruppe 2008 Innovation Network: Evaluation Plan Workbook, Washington 2006, www.innonet.org Innovation Network: Logic Model Workbook, Washington o.J., unter: http://www.innonet.org/client_docs/File/ logic_model_workbook.pdf International Federation of Red Cross and Red Crescent Societies: Project/programme monitoring and evaluation (M&E) guide, Genf 2011

Jugend fr Europa: Evaluation in der Jugendarbeit Reektieren bewerten lernen (T-Kit Nr. 10), Bonn 2009, unter: https://www.jugendfuereuropa.de/ downloads/4-20-918/T-Kit-10_deutsch.pdf Keller-Ebert, Cornelia / Kiler, Mechthild / Schobert, Berthold: Evaluation praktisch! Wirkungen berprfen, Manahmen optimieren, Berichtsqualitt verbessern, Heidelberg 2005. King Baudouin Foundation: Impact. Managing For Learning And Impact, King Baudouin Foundation Project Management Guide, Brssel 2011, unter: http://docsles. com/pdf_managing_for_impact.html Knig, Joachim: Einfhrung in die Selbstevaluation, Freiburg 2007, 2. Auage Konrad, Klaus (2005) Mndliche und schriftliche Befragung ein Lehrbuch. Landau: Verlag Empirische Pdagogik. Lloyd, Richard / OSullivan, Fionn: Measuring Soft Outcomes and Distance Travelled A Practical Guide, Shefeld oJ, unter: http://www.socialrmsuk.co.uk/resources/ library/measuring-soft-outcomes-anddistance-travelled-practical-guide-andexisting-models Local Livelihoods: Results Based Monitoring and Evaluation, Herfordshire 2009, 2. Auflage, unter: http://www.locallivelihoods.com/ cmsms/uploads/PDFs/Results%20Based%20 Monitoring%20Evaluation%20Toolkit.pdf Marr, Bernard: Managing and Delivering Performance. How government, public sector and not-for-prot organizations can measure and manage what really matters, Oxford 2009 Meyer, Wolfgang Dr.: Indikatorenentwicklung: Eine praxisorientierte Einfhrung (2. Auage), Centrum fr Evaluation, CEval Arbeitspapiere, 10, Saarbrcken 2004 Migros-Kulturprozent und Schweizer Kulturstiftung Pro Helvetia: Evaluieren in der Kultur Warum, was, wann und wie? Ein Leitfaden fr die Evaluation von kulturellen Projekten, Programmen, Strategien und Institutionen, unter: http://www.migros-kulturprozent.ch/Media/ Medien/Leitfaden_Evaluieren_d.pdf Milway Smith, Katie / Saxton, Amy: The Challenge of Organizational Learning, in: Stanford Social Innovation Review, Summer 2011, http://www.ssireview.org/articles/entry/ the_challenge_of_organizational_learning Mulgan, Geoff: In and out of Sync. The challenge of growing Social Innovations, Nesta Research Report, September 2007

PHINEO gAG 2013, www.phineo.org Kursbuch Wirkung

New Philanthropy Capital: Principles of Good Impact Reporting for Charities and Social Enterprises, London 2012, unter: http://www.thinknpc.org/publications/ the-principles-of-good-impact-reporting-2/ New Philanthropy Capital: Talking about Results, NPC perspectives, London 2010, unter: http://www.thinknpc.org/publications/ talking-about-results/ OECD Entwicklungsausschuss: Glossar entwicklungspolitischer Schlsselbegriffe aus den Bereichen Evaluierung und ergebnisorientiertes Management, Paris 2009 PHINEO: Transparenz von gemeinntzigen Organisationen, Positionspapier, Berlin 2011 Preskill, Hallie / Jones, Natalie: A Practical Guide for Engaging Stakeholders in Developing Evaluation Questions, (Robert Wood Johnson Evaluation Series) , Princeton 2009, unter: http://www.rwjf.org/content/dam/ web-assets/2009/01/a-practical-guide-forengaging-stakeholders-in-developing-evalua Probst, G./Raub, S./Romhardt, K.: Wissen managen. Wie Unternehmen ihre wertvollste Ressource optimal nutzen, 6. Auage, Genf 2010 Reade, Nicol: Konzept fr alltagstaugliche Wirkungsevaluierungen in Anlehnung an Rigorous Impact Evaluation, Saarbrcken 2008, unter: http://www.ceval.de/typo3/leadmin/user_upload/PDFs/workpaper14_01.pdf Rossi, Peter H./ Lipsey, Mark W./ Freeman, Howard E.: Evaluation. A Systematic Approach, Seventh Edition, Thousand Oaks 2004 Schacter, Mark: Not a Tool Kit Practitioners Guide to Measuring the Performance of Public Programs, Ottawa 2002, unter: http://www.schacterconsulting.com/ docs/toolkit.pdf Schmidt, Stefan: Regionale Bildungslandschaften wirkungsorientiert gestalten Ein Leitfaden zur Qualittsentwicklung, Gtersloh 2012 SECO (Hrsg.): Handbuch Indikatorenbildung fr die wirtschaftliche Zusammenarbeit mit Entwicklungs- und Transitionslndern, Zrich 2001, unter: www.seco-cooperation.admin.ch/ Shapiro, Janet: Monitoring and Evaluation, CIVICUS Toolkits, Johannesburg 2001, unter: http://www.civicus.org/new/media/ Monitoring%20and%20Evaluation.pdf Shapiro, Janet: Strategic Planning Toolkit, CIVICUS Toolkits, Johannesburg oJ, unter: http://www.civicus.org/new/media/Strategic%20Planning.pdf Shapiro, Janet: Overview of Planning,

CIVICUS Toolkits, Johannesburg oJ, unter: http://www.civicus.org/new/media/ Overview%20of%20Planning.pdf Smart Toolkit for Evaluating Information Projects, Products and Services, 2010, http://www.smarttoolkit.net/?q=toolkit Stockmann, Reinhard: Handbuch zur Evaluation: Eine praktische Handlungsanleitung, Sozialwissenschaftliche Evaluationsforschung, Mnster 2007 Stockmann, Reinhard: Evaluation und Qualittsentwicklung. Eine Grundlage fr wirkungsorientiertes Qualittsmanagement, Sozialwissenschaftliche Evaluationsforschung Band 5, Mnster 2006 The Social Enterprise Coalition: The Social Franchising Manual, London 2011, unter: http://www.socialenterprise.org.uk/uploads/ les/2011/11/social_franchising_manual.pdf The Urban Institute: Key Steps in Outcome Management, Series on Outcome Management For Nonprot Organizations, Washington 2003, www.urban.org The Urban Institute: Finding Out what happened to Former Clients, Washington 2003, unter: http://www.urban.org/ UploadedPDF/310815_former_clients.pdf The Urban Institute: Analyzing Outcome Information Getting the most from Data, Washington 2004. unter: http://www.urban.org/UploadedPDF/ 310973_OutcomeInformation.pdf The World Bank: Ten Steps to a ResultsBased Monitoring and Evaluation System, 2004, unter: http://www-wds.worldbank.org/ servlet/WDSContentServer/WDSP/IB/2004/ 08/27/000160016_20040827154900/ Rendered/PDF/296720PAPER0100steps.pdf Torres, Rosalie T. / Preskill, Hallie / Piontek, Mary E.: Evaluation Strategies for Communicating and Reporting. Enhancing Learning in Organizations, 2. Auage. Thousand Oaks 2005 UNDP: Handbook on Planning, Monitoring and Evaluation for Development Results, New York 2009, unter: http://web.undp.org/ evaluation/handbook/ United Way of America: Measuring Program Outcomes: A Practical Approach, Arlington 1996, unter: www.liveunited.org/Outcomes/ Resources/MPO/ University of Wisconsin-Extension: Enhancing Program Performance with Logic Models, Madison 2003. www.uwex.edu/ces/lmcourse/

University of Wisconsin-Extension: Developing a logic model: Teaching and training guide, Madison 2008, unter: http://www.uwex.edu/ces/pdande/ evaluation/pdf/lmguidecomplete.pdf University of Wisconsin-Extension: Building Capacity in Evaluation Outcomes A Teaching and Facilitating Resource for Community-Based Programs and Organizations, Wisconsin 2008, unter: http://www.uwex.edu/ces/pdande/ evaluation/bceo/pdf/bceoresource.pdf VENRO: Prfen und Lernen. Praxisorientierte Handreichung zur Wirkungsbeobachtung und Evaluation, Bonn 2002, unter: http://www.venro.org/leadmin/ Publikationen/Einzelveroeffentlichungen/Evaluation_und_Wirkungsbeobachtung/ pruefen_lernen.pdf Welthungerhilfe: Leitfaden Wirkungsorientierung in den Projekten und Programmen der Welthungerhilfe. Teil III: Instrumente und Methoden, Bonn 2008 Wilke, Helmut: Systemisches Wissensmanagement, 2. Auage, Stuttgart 2001 W.K. Kellogg Foundation: Evaluation Handbook, Battle Creek 2004, unter: www.wkkf.org ZEWO: Wirkungsmessung in der Entwicklungszusammenarbeit. Zewo-Leitfaden fr Projekte und Programme, unter http://impact.zewo.ch/de/wirkungsmessung

Hinweis: Die Angaben im Literaturverzeichnis wurden whrend der Arbeit an dieser Publikation zusammengestellt. Viele der Quellen verweisen auf Internetseiten, deren Inhalte wir nicht selbst pegen. Wir knnen dementsprechend keine Garantie dafr bernehmen, da diese Links nach Drucklegung oder in der Zukunft noch verfgbar sind.

Links
www.degeval.de www.evalguide.ethz.ch www.evaluation.lars-balzer.name http://evaluationtoolbox.net.au/ www.eval-wiki.org/glossar/ Eval-Wiki:_Glossar_der_Evaluation www.gesis.org/publikationen/gesis-how-to http://www.grafstat.de http://hostedsurvey.com/home.html http://info.zoomerang.com http://www.outcomesstar.org.uk/ www.scalingwhatworks.org/ http://www.social-reporting-standard.de/ http://surveymonkey.com www.univation.org
129

Volle Wirkung voraus! Sie mchten mit Ihrer Arbeit etwas bewegen, etwas bewirken. Wir untersttzen Sie dabei! Wie? Indem wir Ihnen helfen, wirkungsorientiert zu handeln. Wie das funktioniert, erfahren Sie in diesem Kursbuch. Schritt fr Schritt. Wir versprechen verblffende Erkenntnisse und berraschende Einsichten, die von bemerkenswertem Nutzen fr Ihre tgliche Arbeit sein werden. Garantiert! Warum wir Sie untersttzen? Weil wir an die Kraft der Zivilgesellschaft glauben. Wir sind berzeugt, dass Organisationen, die wirkungsorientiert auf Ihre Ziele zusteuern, deutlich mehr fr die Gesellschaft bewegen knnen. Und natrlich auch fr sich selbst denn in Zeiten knapper Kassen erwarten potenzielle Frdermittelgeber klare Wirkungsbelege. Was wirkt wie und warum? Wer hier berzeugende Argumente und Nachweise vorweisen kann, ist eindeutig im Vorteil. Gemeinsam mit dem Bundesverband Deutscher Stiftungen untersttzt die Bertelsmann Stiftung mit dem Projekt Effekt n gemeinntzige Akteure dabei, die eigene Wirkung zu analysieren und zu vergrern. Da PHINEO dasselbe Ziel hat, haben wir unsere gesammelten Erkenntnisse in dieses Kursbuch geschrieben. Es liefert praktische Tipps fr alle, die Gutes noch besser tun wollen. Also: Leinen los und volle Kraft voraus!

Die Schritte der wirkungsorientierten Steuerung: Wirkungsorientierung im Steuerungskreislauf mehr auf S. 6

auf einen blick


ES RB

SERN

VE

TE
Herausforderungen und Bedarfe verstehen

IL

L3 W

ber Wirkung berichten

1
W

IR

IR
KU

NG

Lernen und anpassen

TEI

9 8

1 2 3

Wirkungsziele setzen

PLA

NEN

Daten auswerten und analysieren

7 6 5 4

Wirkungslogik erarbeiten

Daten erheben

Wirkungsanalyse vorbereiten

TE

IL
Vgl. Studie Wirkungsorientierte Steuerung in Non-Prot-Organisationen Wirkung und Transparenz schaffen, PHINEO gAG (2013:8)

IR

KU

Indikatoren entwickeln

Gesellschaft verndern: Das Modell der Wirkungstreppe mehr auf S. 5

NG

A N A LY I E R E N S

Ab dieser Stufe spricht man von Wirkung

1 Aktivitten finden wie geplant statt

Zielgruppen werden erreicht

Zielgruppen akzeptieren Angebote


OUTPUT

Zielgruppen verndern ihre Fhigkeiten

5 Zielgruppen ndern ihr Handeln

Lebenslage der Zielgruppen ndert sich


OUTCOME

7 Gesellschaft verndert sich

IMPACT

Abb Wirkungstreppe.: Eigene Darstellung nach Univation 2007

Transparent berichten: Der Social Reporting Standard (SRS) mehr auf S. 112 oder www.social-reporting-standard.de

PHINEO ist ein unabhngiges Analyse- und Beratungshaus fr wirkungsvolles gesellschaftliches Engagement. Ein breites Bndnis aus Wirtschaft und Zivilgesellschaft hat 2010 die gemeinntzige Aktiengesellschaft PHINEO ins Leben gerufen, um den gemeinntzigen Sektor zu strken. Um dieses Ziel zu erreichen, setzt PHINEO bei allen an, die nicht nur Gutes tun, sondern auch Gutes bewirken wollen. PHINEO empehlt auf Basis der mehrstugen

PHINEO-Analyse gemeinntzige Projekte, die besonderes Potenzial haben, die Gesellschaft nachhaltig zu gestalten. Mit Portrts dieser empfehlenswerten Organisationen, Reports zu ausgewhlten Themenfeldern, Ratgebern zum Wie des Gebens sowie individueller Beratung bietet PHINEO Orientierung fr wirkungsvolles gesellschaftliches Engagement. www.phineo.org

phineo ist ein bndnis starker partner


Hauptgesellschafter

Gesellschafter

Ideelle Gesellschafter

Strategische Partner

CSI Centrum fr soziale Investitionen und Innovationen


Frderer

Deutscher Spendenrat Stiftung Charit

Freshfields Bruckhaus Deringer LLP

Warth & Klein Grant Thornton AG Wirtschaftsprfungsgesellschaft

ISBN 978-3-00-043516-4

WIR BITTEN UM IHRE HILFE: FEEDBACK ZUM KURSBUCH WIRKUNG

Wer wirkungsorientiert arbeiten mchte, ist auf die Untersttzung aller Beteiligten angewiesen dazu gehren auch die Zielgruppen der Angebote. Bitte beantworten Sie uns einige Fragen zu unserem Kursbuch und helfen Sie uns dabei, die Wirkung unserer Arbeit zu erfassen! Mit Ihrem Feedback knnen wir lernen und uns entwickeln, damit wir Ihnen genau die Untersttzung geben knnen, die Sie bentigen. Vielen Dank, dass Sie sich ein paar Minuten Zeit nehmen, um unsere Fragen zu beantworten. Sie knnen den Feedback-Bogen per Post oder per Fax an uns zurcksenden. Selbstverstndlich knnen Sie Ihn auch einscannen und uns per E-Mail zukommen lassen.

1.

Im Thema Wirkungsorientierung bin ich eher


Einsteiger fortgeschritten Pro

2.

Ich nde das Kursbuch


sehr verstndlich eher verstndlich weniger verstndlich nicht verstndlich

3.

Worin besteht aus Ihrer Sicht der Nutzen des Kursbuchs fr Ihre Arbeit?
Ich habe konkrete Anregungen fr meine Arbeit erhalten. Ich konnte mein Wissen zum Thema Wirkungsorientierung erweitern. Das Kursbuch hat mir geholfen, meine Arbeit besser zu reektieren. Das Kursbuch hat dazu beigetragen, dass wir das Thema Wirkung in unserer Organisation strker diskutieren. Sonstiges:

4.

Haben Sie das Kursbuch bereits fr Ihre Arbeit genutzt?


Ja, und zwar in folgenden Bereichen: Nein, aber ich habe vor es zu nutzen, zum Beispiel in folgenden Bereichen:

Nein, aus folgenden Grnden:

FAX 030 52 00 65 403

Seite 2 Feedback zum KURSBUCH WIRKUNG

5.

Wrden Sie das Kursbuch weiterempfehlen?


Ja Nein Ich habe es bereits weiterempfohlen.

6.

Platz fr Ihre Ideen und Anregungen: Hat Ihnen etwas besonders gefallen? Was sollten wir in Zukunft etwas anders machen?

Wunderbar! Sie haben uns und unserer eigenen Wirkungsorientierung gerade krftig unter die Arme gegriffen. Fr diese Untersttzung mchten wir uns ganz herzlich bei Ihnen bedanken! Selbstverstndlich werden all Ihre Angaben vertraulich behandelt. Mehr ber das Thema Wirkungsorientierung und PHINEO erfahren Sie brigens unter www.kursbuch-wirkung.de

Ich mchte mehr ber PHINEO und Wirkungsorientierung wissen. Bitte nehmen Sie mich in Ihren Verteiler auf! Name: E-Mail-Adresse:

Bitte senden Sie diesen Bogen an: oder per Post an:

FAX 030 52 00 65 403


PHINEO gAG Anna-Louisa-Karsch-Strae 2 10178 Berlin kursbuch-wirkung@phineo.org

alternativ via E-Mail an:

PHINEO gemeinntzige AG damit Engagement wirkt Anna-Louisa-Karsch-Strae 2, 10178 Berlin, Germany Telefon: +49 (0) 30 52 00 65-310, Fax: +49 (0)30 52 00 65-403, www.phineo.org