Sie sind auf Seite 1von 20

145

6. Durchführung von Evaluationsstudien

Je sorgfältiger die Planungsarbeiten durchge- führen kann), und die vor allem im wirtschafts-
führt wurden, um so weniger prinzipielle Pro- nahen Bereich sehr elaborierten Darstellungs-
bleme wird die Durchführung des konkreten hilfen (Medien bei Vorträgen, optische Auflok-
Projektes machen. Trotzdem wäre es eine Illu- kerung) werden an der Universität nur selten
sion, außerhalb von sehr kleinen und über- in vergleichbar intensiver Weise gepflegt. Hin-
schaubaren Projekten von einer reibungslosen weise zu solchen Fragen gibt Abschnitt 6.3.
Durchführung auszugehen. Zumindest bei län-
gerfristigen Vorhaben sind Schwierigkeiten im
Bereich der Organisation zu erwarten, typische 6.1 Organisatorische Fragen
Beispiele und Maßnahmen für deren partielle
Behebung werden im Abschnitt 6.1 diskutiert. Die wichtigsten Organisationsprobleme finden
Weniger mit Unsicherheiten behaftet ist die sich im Bereich des Personals – sowohl bei den
sachgerechte Durchführung der Auswertungs- Projektmitarbeitern, als auch bei Auftraggebern
arbeiten, doch muß man auch dort auf eine oder anderen für die Durchführung erforderli-
sorgfältige Fehlerkontrolle und die Einhaltung chen Kontaktpersonen (zum Beispiel Lehrer,
der Vertraulichkeits- bzw. Datenschutzbestim- Verwaltungsbeamte etc.). Zumindest für die ei-
mungen achten. Bei aller Mühe aber nicht ver- genen Mitarbeiter kann man einige Schwierig-
meidbar ist das prinzipielle Problem, daß von keiten vermeiden, wenn man rechtzeitig auch
der unübersehbaren Vielzahl der denkbaren deren Einschulungsbedürfnisse und ihre per-
Auswertungen nur ein kleiner Teil erfolgen sönlichen Interessen, zum Beispiel im Hinblick
kann und diese Auswahl stets mit dem Vorwurf auf ihre weitere berufliche Entwicklung, bei der
von «Manipulation» rechnen muß. Fragen die- Projektplanung und der Personalführung be-
ser Art werden im zweiten Abschnitt dieses Ka- achtet (6.1.1). Darüber hinaus muß man sich
pitels besprochen (6.2). im klaren sein, daß größere Vorhaben nicht
ohne explizite Kontrolltechniken durchgeführt
Am Schluß des Evaluationsprojektes steht meist werden können, wenn man vermeiden will,
eine schriftliche, oft durch eine mündliche Prä- daß sich am Ende einer zum Beispiel zweijähri-
sentation ergänzte Berichtlegung an den Auf- gen Arbeitsphase nicht mehr behebbare Pro-
traggeber, ggf. auch an andere Instanzen (zum bleme auftürmen und u.U. das ganze Projekt
Beispiel Öffentlichkeit, Schulleiter). Die damit ergebnislos abgebrochen werden muß. Einige
verbundenen Darstellungs- und Kommunika- Hinweise, die eine entsprechend sorgfältige Ein-
tionsprobleme werden von Akademikern ohne arbeitung natürlich nicht ersetzen können, fin-
einschlägige Erfahrung oft unterschätzt. Man den sich im Abschnitt 6.1.2.
lebt innerhalb einer universitären Bezugs- Nahezu alle Organisationsprobleme lassen
gruppe in einem für Außenstehende schwer sich lösen, wenn man rechtzeitig an ihr Auftre-
nachvollziehbaren Abstraktionsniveau, einer ten denkt, also eine (in den Evaluations-Begrif-
fachspezifischen Begriffsbildung (die leider fen gemäß Diagramm II/2) «antizipatorische In-
nicht nur manchmal unverständlich ist, son- put-Evaluation» für das eigene Projekt mit
dern auch zu Mißverständnissen bei «Laien» ausreichender Aussagekraft anstellt.
146 Durchführung von Evaluationsstudien

Bei aller Sorgfalt muß trotzdem davon ausge- • Bei befristeten Projekten wird die Situation
gangen werden, daß sich zum Teil vorherseh- noch durch regionale Mobilitätseinschrän-
bare, zum Teil aber völlig überraschende «Kata- kungen erschwert, da viele Interessenten
strophen» ergeben, die ein bei aller Sorgfalt der zögern, für vielleicht nur ein Jahr über grö-
Planung doch sehr flexibles Krisenmanagement ßere Entfernungen hinweg den Wohnort zu
erfordern. Einige Beispiele finden sich in 6.1.3. wechseln.

Eine Lösung wäre die rechtzeitige Einstellung


6.1.1 Fragen der Personalführung und vorbereitende Einschulung von Anfän-
gern. Es können sich aber nur wenige private
Die Verhältnisse gestalten sich natürlich unter-
Institute eine solche langfristige Personalpla-
schiedlich, je nachdem, ob ein Evaluations-
nung finanziell leisten, und überdies wird die
projekt firmen- oder klinikintern, durch Mitar-
praktische Leistungsfähigkeit von Bewerbern
beiter eines Ministeriums, im Rahmen der
unmittelbar nach Abschluß der akademischen
Aufgaben eines Universitätsinstituts oder als
Ausbildung skeptisch beurteilt, vielleicht nicht
Auftrag an ein privatwirtschaftlich organisier-
immer zu recht.
tes Institut durchgeführt wird (vgl. Diagramm II/
Spezialisten unter den Mitarbeitern (insbe-
5). In großen Firmen und bei öffentlichen Ar-
sondere im EDV-Bereich) können bei längerfri-
beitgebern gibt es meist bewährte, langfristig
stigen Projekten eine erhebliche informelle
festgelegte Formen der Personalführung, so daß
Machtstellung erlangen, und zwar dann, wenn
dort keine besonderen Probleme zu erwarten
ihre Detailkenntnisse (zum Beispiel über die
sind. Anders ist die Situation bei privaten
Datenorganisation) oder ihre persönlichen Be-
(Klein-)Instituten, die zwar einen erheblichen
ziehungen zu externen Stellen (zum Beispiel bei
Arbeitsmarkt bieten (es gibt in der Bundesrepu-
der Organisation einer Untersuchung mit zahl-
blik Deutschland einige hundert angewandt-
reichen Kontaktpartnern aus wichtigen Klini-
forschende, sozialwissenschaftliche Institute),
ken) entweder aus Zeit- oder Kostengründen
aber bezüglich der Personalführung schon we-
nicht mehr von anderen übernommen werden
gen des größenbedingten Fehlens entsprechen-
können (vor allem nicht im Konfliktfall).
der Spezialisten (kein Institut mit vielleicht 5
Noch schwieriger als fachlich-wissenschaft-
bis 10 Mitarbeitern kann sich einen eigenen
lich gut ausgebildete Mitarbeiter sind Bewerber
Personalfachmann leisten) auf diesem Gebiet
zu finden, die darüber hinaus auch Projekt-Ma-
nicht das professionelle Niveau größerer Insti-
nagementaufgaben (Abstimmung und Kontrolle
tutionen erreichen. Gleichzeitig sind bei klei-
der Teilarbeiten, Kontakte mit dem Auftrag-
nen Instituten die Folgen von Fehlern beson-
geber und den anderen kooperierenden Stellen,
ders gravierend, da Ausfälle kaum durch andere
flexible Anpassung der Projektarbeit an geän-
Mitarbeiter abgedeckt werden können.
derte Situationen) eigenständig übernehmen
können. Dies gilt ganz besonders zu den Kon-
Aus der Sicht des Arbeitgebers lassen sich die
ditionen befristeter Projektstellen und der oft
störendsten Punkte wie folgt beschreiben:
an die Vergütung im Öffentlichen Dienst ange-
• Es besteht ein außerordentlicher Mangel an glichenen Bezahlung. Eine Einschulung auch
fachlich qualifiziertem Personal, das zum begabter Nachwuchskräfte für solche Aufgaben
Zeitpunkt der Übernahme eines neuen Pro- ist kurzfristig schwierig, so rechnet man etwa
jektes auch tatsächlich zur Verfügung steht. in der Marktforschung häufig mit etwa zwei
• Der Arbeitsmarkt für solche Spezialisten ist Berufsjahren, bis vom Mitarbeiter selbständig
relativ klein, ein «Abwerben» von anderen auch die Kontakte nach außen übernommen
Instituten während dort laufender Projekte werden können. Aus der Sicht der Bewerber
problematisch, und arbeitslose berufserfah- mag diese Zeitvorstellung übertrieben vorsich-
rene Kräfte sind selten (umgekehrt kann es tig erscheinen; man muß aber auch sehen, daß
wegen dem kleinen Stellenmarkt aber durch- der Vorgesetzte bzw. Institutsinhaber bei einer
aus sein, daß auch gute Spezialisten einige «Verärgerung» eines wichtigen Auftraggebers
Zeit brauchen, um eine neue Stelle zu fin- ein erhebliches Risiko eingeht, das bei kleine-
den). ren Instituten auch die eigene wirtschaftliche
Durchführung von Evaluationsstudien 147
Existenz gefährden kann. Es mag aber auch un- tigung über das Projekt hinaus unwahr-
sachliche Gründe für diese Skepsis geben; so scheinlich – es sei denn, man ist so gut, daß
wertet die Betonung der besonderen Schwierig- es aufgrund der eigenen Projekt-(Akquisi-
keit des Projekt-Managements die Leistung der tion-) Fähigkeit zu einer erheblichen Umsatz-
«erfahrenen» Kräfte gegenüber den Anfängern erweiterung kommt.
auf, was in Anbetracht der eher zunehmenden • Es gibt wenig Unterstützung durch den Ar-
fachlich-wissenschaftlichen Kompetenz der beitgeber im Hinblick auf Weiterbildungs-
Universitätsabsolventen die erheblichen Ein- möglichkeiten, die nicht unmittelbar für das
kommensunterschiede zwischen diesen beiden konkrete Projekt relevante Kompetenzsteige-
Gruppen subjektiv rechtfertigt. Ob sachlich voll rungen erbringen.
berechtigt oder übertrieben, in jedem Fall muß
man mit dem Bestehen dieser Leistungs-
einschätzung durch potentielle Arbeitgeber Positive Aspekte
rechnen und bei der eigenen Stellensuche und
Bei diesen Aufstellungen wurden jeweils nur die
Karriereplanung beachten.
Negativaspekte betont. Es gibt auch erhebliche
Plötzliche Kündigungen der Projektmitarbei-
positive Anreize durch die Art der Aufgaben-
ter können die gesamte Zeitplanung und auch
stellung, zum Beispiel
den Kostenrahmen (durch die dann erforderli-
chen Einschulungsmaßnahmen) sprengen; ver- • Hohe Identifikationsmöglichkeit mit der ei-
tragliche Vereinbarungen sind dagegen nur be- genen Arbeit als Folge eines überschaubaren
dingt wirksam, da ein an seiner Arbeitsstelle Projektes mit erkennbarer eigener Teillei-
nicht mehr tätig sein wollender Mitarbeiter zu stung;
einer massiven Störquelle des gesamten Projek- • Vor allem für Anfänger oft Tätigkeitsanfor-
tes werden kann. derungen, die deutlich über den bei Studien-
abschluß erreichten Fachkompetenzen lie-
gen und entsprechend fordern;
Organisationsaufgaben • Die oft hohe Identifikation aller Beteiligten
mit den Projektaufgaben und das Wissen,
Aus der Sicht der Projektmitarbeiter ist die Ar-
nur bei gemeinsamer Anstrengung wirk-
beitssituation an kleinen Instituten oft proble-
lichen Erfolg erreichen zu können, führen
matisch:
unter günstigen Voraussetzungen (soziale
• Der Arbeitsplatz wird als unsicher empfun- Kompetenz der Beteiligten, Führungsstil) zu
den, vor allem bei befristeten Arbeitsverträ- einem sehr angenehmen Betriebsklima in-
gen; Stellenangebote von außen auch wäh- nerhalb des Teams.
rend laufender Projekte erscheinen daher • Bei guter persönlicher Kompetenz nicht ge-
besonders attraktiv; ringe Chancen, allmählich immer selbstän-
• Die Beschäftigungsdauer sowie die häufige digere Bereiche zugewiesen zu bekommen
Beschränkung der Arbeit auf typische Spe- und schließlich selbst Leistungsaufgaben zu
zialistentätigkeit beschränken die Chance zur übernehmen; diese Chance wird aber mei-
persönlichen Weiterqualifikation und redu- stens nicht vom Vorgesetzten an den Mitar-
zieren die Möglichkeiten der Befriedigung beiter herangetragen, sondern muß von die-
von Gestaltungsbedürfnissen; sem (manchmal mühsam) erarbeitet werden
• Es gibt wenig bzw. keine Aufstiegsmöglich-
keiten innerhalb des Projektes und später (ge- Für die Personalführung selbst werden spezielle
nerell bei kleineren Instituten). Bei Projekten Instrumente wie sie etwa für Großunterneh-
an Universitäten oder vergleichbaren Ein- men entwickelt wurden (siehe dazu etwa Gabele
richtungen kann die Projektstelle ein guter und Oechsler, 1984; Zander, 1982; Stroebe und
Einstieg in ein längerfristig angelegtes Be- Stroebe, 1984) kaum relevant werden, da der
schäftigungsverhältnis sein, ebenso bei grö- unmittelbare persönliche Kontakt formalisierte
ßeren privaten Firmen. Hat aber das beschäf- Instrumente (zum Beispiel schriftliche Personal-
tigende private Institut nur zwei oder drei beurteilungen) ersetzt. Man sollte sich aber
Akademiker als Mitarbeiter, ist eine Beschäf- wechselseitig bemühen, die berechtigten Be-
148 Durchführung von Evaluationsstudien

dürfnisse des Partners zu erkennen, auch emo- des jeweiligen Projektbudgets, also ohne Be-
tional zu akzeptieren und bei der Durchsetzung rücksichtigung der zugeschlüsselten Gemeinko-
der eigenen Ziele so weit wie möglich zu be- sten, gar nicht so seltene Fehler sind:
rücksichtigen. Die besonderen Arbeitsbedin-
gungen an kleinen privaten Instituten sollte
• Keine Berücksichtigung der Lohnneben-
kosten (vgl. Kapitel V, Einleitung)
man bei der persönlichen Stellensuche stark
beachten. Viele Absolventen, die in einer stark
• Kalkulation der Projektarbeiten auf der Basis
eines 52-Wochen-Jahres; im Durchschnitt ist
formell gegliederten großen Organisation sich
wegen Urlaubs- und anderen Ausfallzeiten
zu sehr eingeschränkt und zu wenig in ihrer
der deutsche Arbeitnehmer nur 43 Wochen
Individualität beachtet fühlen, können bei sol-
im Jahr produktiv tätig; werden etwa Ur-
chen kleinen Arbeitgebern mehr Entfaltungs-
laubszeiten bei der Planung nicht beachtet,
möglichkeiten finden. Wer Sicherheit, starke
kann dies zu einem ganz erheblichen Kosten-
Arbeitsteilung oder hierarchischen Aufstieg
faktor (Ablösung des Urlaubsanspruches
sucht, fühlt sich vermutlich in großen Institu-
bzw., sofern überhaupt möglich, die Bezah-
tionen wohler.
lung von Ersatzkräften) werden;
• Keine Reserven für die Überbrückung von
Ausfällen (vorzeitige Kündigungen, Mutter-
6.1.2 Kontrolltechniken des
schaftsurlaub, längere Erkrankungen);
Projektverlaufes und des
• Keine rechtzeitige Einplanung von (inflati-
Konfliktmanagements onsbedingten) Lohn- und Preissteigerungen.;
Größere Evaluationsprojekte mit längerer Lauf-
Besondere Probleme können auftreten, wenn
zeit können auch von «genialen» Projektleitern
mit dem Auftraggeber kein Festpreis, sondern
nicht ohne eine regelmäßige Rückmeldung
zumindest in Teilen der Ersatz der tatsächlichen
über die Einhaltung von
Aufwendungen verabredet wurde. Dies kann
• Zeitplanung zum Beispiel dann erforderlich sein, wenn sich
• Kostenrahmen die Kosten mancher Arbeitsschritte in der
• Vereinbarte Qualitätsstandards Planungsphase nicht realistisch abschätzen las-
sen oder wesentlich von dem späteren Verhal-
durchgeführt werden.
ten des Auftraggebers selbst abhängen. Beispiele
sind etwa die teilweise mühevollen und mit
Relativ einfach ist dies bzgl. des Zeitablaufes,
Dienstfahrten verbundenen Einholungen von
wenn bei der Projektplanung ein detaillierter
Zustimmungen von Eltern, Lehrern und Schü-
Zeitplan (vgl. Diagramm V/6) erarbeitet wurde. In
lern bei Schuluntersuchungen, oder die u.U.
diesem Fall muß man nur sicherstellen, daß die
langwierigen Kommunikationsprozesse zwi-
einzelnen Teilschritte nicht über Gebühr über-
schen der technischen Entwicklungsabteilung
zogen und dadurch die Pufferzeiten zu früh auf-
und den Projektmitarbeitern bzgl. der Erarbei-
gebraucht werden. Ein wenig schwieriger ist es
tung einer neuen Produktvariante auf der Basis
für den «nur-sozialwissenschaftlich» ausgebil-
vorläufiger Projektergebnisse im Falle einer for-
deten Projektleiter, sich auch ein sachgerechtes
mativen Produktevaluation. In solchen Fällen
Bild über die tatsächlich entstandenen Kosten
müssen die Bestimmungen des Auftraggebers
zu erarbeiten. Zwar wird es im Regelfall nicht
(zum Beispiel Höchstbeträge für Übernach-
notwendig sein, umfangreiche formalisierte
tungs- und Verpflegungsspesen, Kilometergeld,
Kontrolltechniken wie bei Wirtschaftsprojekten
anzurechnendes Stundenhonorar) zusätzlich zu
üblich (vgl. dazu Ziegenbein, 1984; Bramse-
der eigenen Kalkulation beachtet werden.
mann, 1978; Wöhe, 1982) einzusetzen, aber
eine regelmäßige (evtl. wöchentliche) Gegen-
überstellung der bis zum jeweiligen Arbeits- Die laufende Kontrolle der dem Auftraggeber
schritt geplanten Ausgaben, der durch Verträge zugesicherten Qualitätsstandards kann in for-
eingegangenen Zahlungsverpflichtungen und malisierter Form nur für die eher quantitativen
den bereits tatsächlich verausgabten Beträgen Teile der Projektarbeit (Rücklauf von Fragebö-
sollte selbstverständlich sein. Selbst innerhalb gen, Verweigerungsraten von mündlichen In-
Durchführung von Evaluationsstudien 149
terviews, Ausfälle durch fehlende Zustimmung 48-Stunden-Dauerschlafes; eine andere Institu-
von zum Beispiel Schulen und Kliniken) durch- tion hat die Kooperation mit einem Institut ein-
geführt werden. Hinweise auf entsprechende gestellt, nachdem alle an einem Experiment zur
Verfahren gibt etwa der Bundesminister für For- Optimierung von Beipack-Zetteln beteiligten
schung und Technologie, 1977. Die Sicherung weibliche Versuchspersonen am nächsten Tag
der eher qualitativen Anforderung wie Erfolg wegen Übelkeit arbeitsunfähig waren, obwohl
der Interviewerschulung, Informationsaus- die verschiedenen Beipack-Varianten aus-
schöpfung, sicherstellende Kodierung offener schließlich mit einem Placebo kombiniert ge-
Antworten oder umfassend aussagekräftige geben wurden und damit tatsächliche Medi-
Datenauswertung bleibt während der Projekt- kamentenfolgen ausgeschlossen waren.
arbeit meist dem subjektiven Eindruck des
Leiters, der auf der Basis seiner persönlichen Nicht-vorhersehbare Reaktanz; so mußte etwa die
Erfahrung das laufende mit erfolgreich abge- empirische Evaluation eines Studienganges ei-
schlossenen Projekten vergleichen kann, über- ner Hochschule abgebrochen werden, weil sich
lassen. die Studenten des Fachbereiches geschlossen
weigerten, als Interviewpartner zur Verfügung
Eine Übersicht über einige Kontrolltechniken zu stehen. Die Ursache war, daß der Unter-
findet sich im Diagramm V/3 (vgl. Abschnitt suchungsleiter als Finanzier des Evaluations-
5.1.3). projektes das zuständige Landes-Wissenschafts-
ministerium (für die Studenten damals ein
Feindbild) und nicht, wie es auch faktisch rich-
6.1.3 Unerwartete Störfälle tig gewesen wäre, die Hochschule selbst als Auf-
traggeber genannt hatte.
Prinzipiell muß man davon ausgehen, daß na-
hezu jede denkbare Katastrophe im Verlaufe ei- Überlappung des Untersuchungsdesigns mit ande-
nes längerfristigen Evaluationsprojektes auch ren Zielsetzungen; so fanden sich in einer auf
tatsächlich eintreten kann. Typische Beispiele: zwei Jahre geplanten Evaluation verschiedener
Formen von Arbeitsgestaltung am Ende der Pro-
Änderung der Zielsetzung des Projektes; Ursachen jektphase nur noch zwei Personen in der Be-
dafür kann ein anderer Verwertungszusammen- dingungskombination, in der sie aufgrund der
hang sein (vgl. dazu etwa die Szenario-Technik, Untersuchungsplanung hätten sein sollen, die
Diagramm IV/3), ein Personalwechsel beim Auf- übrigen waren entweder auf eigenen Wunsch
traggeber mit entsprechend unterschiedlicher (Schichtwechsel, bevorzugte Zusammenarbeit
Schwerpunktsetzung (als konkretes Beispiel: mit bestimmten Kollegen, vielleicht auch Ab-
Plötzliche Aufgabe des vorher als unverzichtbar lehnung der zufällig zugeteilten Arbeitsform)
bezeichneten Grundsatzes, alle Unternehmens- oder aufgrund von gemäß Erfordernissen der
teile als Einheit im Hinblick auf die «cooperate Arbeitsorganisation erfolgten Änderungen
identity» aufzufassen und die PR-Maßnahmen nicht mehr in der entsprechenden Design-
auf dieser Grundlage zu optimieren) oder Ent- Zelle.
fallen der eigentlichen Untersuchungsgrund-
lage (etwa bei der formativen Evaluation einer Das Auftreten inakzeptabler Methodenartefakte; so
Werbekonzeption, wenn von der Konkurrenz wurden in einer Studie zu verschiedenen Mög-
ein in jeder Hinsicht überlegenes Produkt über- lichkeiten der Wohnungsgestaltung auch un-
raschend auf den Markt gebracht wird). tersucht, wie hoch die vermutliche Verweil-
dauer in den einzelnen Wohnungsformen für
Plötzliches Auftreten nicht bekannter oder zu- Personen mit verschiedenem Alter, Lebenslauf-
mindest vom Auftraggeber verschwiegener zyklus und dgl. sein würde; als Folge des ver-
«Nebenwirkungen»; als ausschließlich der Praxis wendeten multipel-linearen Regressionsan-
entnommene Beispiele: Versäumen einer satzes ergab sich für alle Personen mit einem
Staatsprüfung einer studentischen Versuchsper- Einzugsalter von über 55 eine negative progno-
son bei der Erprobung der therapeutischen Wir- stizierte Verweildauer, was infolge des Fehlens
kung eines Psychopharmakons als Folge eines rechtzeitiger Qualitätskontrollen erst sehr
150 Durchführung von Evaluationsstudien

knapp vor dem endgültigen Abgabetermin des 6.2 Auswertungsarbeiten


Schlußberichtes erkannt wurde.
Gegenüber den aus dem Studium vertrauten Se-
Auch absolut Unvorhersehbares passiert. So wur- minar- bzw. Diplomarbeiten haben größere
den etwa Teile der Daten einer Schulsystem- Evaluationsprojekte den Nachteil, daß sehr viele
evaluation durch einen Brand vernichtet (Aurin, Detailarbeiten nicht vom Untersuchten selbst
1986). In einem anderen Projekt verweigerte ein durchgeführt oder auch nur annähernd ausrei-
befristet Beschäftigter (und aus anderen Grün- chend supervisiert werden können. Es sind da-
den in eine Konfliktkonstellation gedrängter) her für solche Tätigkeiten Kontrollen erforder-
Mitarbeiter die Herausgabe der von ihm erhobe- lich, die gleichzeitig auch eine weitere
nen Patienteninterviews innerhalb einer The- Motivationshilfe für sorgfältiges Arbeiten sein
rapieevaluation mit der Begründung, er sehe den können (6.2.1). Für viele, gerade vom Inhalt
Vertraulichkeitsschutz der Patientenangaben her besonders interessante Evaluationsprojekte
durch ungenügende Anonymisierung gefährdet, stellt sich auch in besonderem Maße die Frage
was zu erheblichen Zeitverzögerungen bei der der Vertraulichkeit, und zwar sowohl im Hin-
Projektdurchführung führte. blick auf die Interessen der befragten bzw. be-
obachteten Probanden als auch des jeweiligen
Unerklärliches; so mußte etwa bei einer Ver- Auftraggebers. Hierbei sind neben einer an sich
gleichsuntersuchung über die kognitive Lei- selbstverständlichen professionellen Ethik auch
stungsfähigkeit der Studenten verschiedener die Rechtsbestimmungen zu beachten (6.2.2).
Universitäten ein bestimmter Teilbereich bei Prinzipiell nicht lösbar ist das Problem, daß
der Auswertung unberücksichtigt bleiben, da durch die spezifizierte Festlegung der Aus-
die Studenten einer großen süddeutschen Uni- wertungspläne immer nur ein Teil der denkba-
versität gerade in diesem Bereich so extrem ren Vielfalt an Ergebnissen erarbeitet werden
schlechte Werte zeigten, daß diese Ergebnisse kann, was zumindest bei emotional heftig ab-
ganz einfach nicht stimmen konnten; die Ursa- gelehnten Ergebnissen leicht zum Vorwurf be-
chenforschung (u. a. Fehlverhalten des Ver- wußter Manipulation führen kann (6.2.3.).
suchsleiters, bewußte Sabotage der Untersu-
chung durch Studenten etc.) erbrachte keine
akzeptable Erklärung; 6.2.1 Kontrolle der Datenqualität

Keines der hier genannten Beispiele ist erfun- Fehler können sich in jeder Phase der Projekt-
den, sofern kein Literaturzitat angegeben ist, arbeit mit Daten einschleichen:
kommen sie aus der persönlichen Projektarbeit
• Bei der Erhebung: zum Beispiel Probleme mit
der Verfasser oder wurden von absolut zuver- Interviewern bei mündlicher Befragung oder
lässigen Kollegen mündlich berichtet. Man hohe systematische Antwortverweigerungen
sieht daran vielleicht die Vielfältigkeit der auf- bei schriftlichen (postalischen) Erhebungen
tretenden Störungen, vielleicht auch einige
• Bei der Datenaufbereitung: Kodierfehler, fal-
Strategien zu ihrer Begrenzung. Das Problem sche EDV-Eingabe
ist, daß die Kombination aller denkbaren
• Bei der Auswertung: Verwechseln von
Verhinderungsmaßnahmen für Störfälle jede Variablennummern oder Codes, falsche
Untersuchung wesentlich verteuern und u.U. (Sub-) Dateien
so aufwendig machen würde, daß sie nicht
mehr in Auftrag gegeben werden könnte. Man Eine völlige Sicherheit gegen alle solche
wird «Katastrophen» nie voll ausschließen kön- projektbedingten Fehler kann nicht garantiert
nen, was es um so wichtiger macht, mit dem werden, vieles läßt sich aber durch organisato-
Auftraggeber ein möglichst positives Verhältnis rische Maßnahmen erreichen.
herzustellen. Korrektes, entgegenkommendes
und auch gegenüber Verhaltensweisen des Auf- Datenerhebung durch Interview
traggebers «fehlerfreundliches» Verhalten kann
viel dazu beitragen, im Notfall dessen Verständ- Interviewer sollten Arbeitsbedingungen erhal-
nis für unvorhergesehene Störungen zu finden. ten, die eine ehrliche Datenerhebung nahele-
Durchführung von Evaluationsstudien 151
gen und Verfälschungen zumindest nicht pro- die Testung bzw. Befragung der Schüler ein-
vozieren. Neben einer als zu niedrig empfunde- gesetzten Studenten in den von ihnen sub-
nen Bezahlung können sich vor allem folgende jektiv bevorzugten Schulformen gezielt Hin-
Bedingungen negativ auswirken: weise für das optimale Ausfüllen gegeben
haben sollen).
• Bezahlung der Interviewer nach «erfolgreich»
durchgeführtem Interview ohne faires Ent- Neben der Vermeidung solcher organisatori-
gelt für erfolglose Besuche (Proband nicht scher Mängel (wobei man auch die Position
angetroffen, Antwort verweigert) «sparsamer» Projektleiter sehen muß: häufig
• Keine Vorgabe von Namen und Adressen von werden Projekte auf der Basis von Ausschrei-
zu befragenden Personen (da dann der Inter- bungen vergeben, was zu knapper Kalkulation
viewer weiß, daß kein nachträgliches Kon- zwingt!) sollte man sich um eine gute
trollieren des Stattfindens des Interviews Interviewerschulung bemühen, die meist von
möglich ist); sofern sich dies nicht vermei- den Projektmitarbeitern selbst zu gestalten ist.
den läßt, ist eine Lösungsmöglichkeit das Diese sollte die Problematik gefälschter Daten
nachträgliche Notieren dieser Daten (aus im Hinblick auf die Aussagekraft des gesamten
Vertraulichkeitsgründen unabhängig vom ei- Ergebnisses deutlich machen und versuchen,
gentlichen Interviewbogen), dies stößt aber bei den Interviewern auch intrinsische Motiva-
häufig auf erhebliche Reaktanz bei den Be- tion und Identifikation mit dem Gesamtprojekt
fragten (man kann zum Beispiel kaum je- zu erreichen. Auch sollte man die Interviewer
mand auf der Straße ansprechen und ihn auf die Durchführung von Kontrollen hinwei-
über seine Meinung etwa zu einer politisch sen.
relevanten Maßnahme fragen, ihm Anony- Ein auch bei massiver Schulung nicht völlig
mität zusichern, und anschließend Name ausschließbares Problem sind Interviewerein-
und Adresse aufschreiben). flüsse (für die dadurch ausgelösten Effekte vgl.
• Quotenvorgaben; wenn der Interviewer je- etwa König, 1972; Roth, 1984, S. 150 ff.). Wenn
weils bestimmte Prozentsätze von zum Bei- es die Größe des Projektes zuläßt, kann man
spiel Geschlecht, Alter und Berufsgruppe durch ein bewußte Streuung der Interviewer-
befragen muß, kann leicht die Situation ent- merkmale einen Ausgleich der einzelnen Stör-
stehen, daß er gegen Ende seiner Daten- effekte anstreben, jedenfalls ist es ungünstig,
sammlung verzweifelt einen 20jährigen einen einzelnen Interviewer zu große Fall-
männlichen Altersrentner benötigt. Findet er zahlen zuzuordnen (in der Praxis relativ be-
einen solchen nicht, muß er entweder auf währt haben sich etwa 10, bei größeren Studi-
einen Teil der bereits durchgeführten Inter- en ausnahmsweise auch 15 Interviews als
views verzichten (die er dann auch nicht ab- Höchstgrenze). Daraus ergeben sich natürlich
rechnen kann) oder einen Lösungsweg wäh- erhöhte Aufwendungen für Interviewer- Suche
len, den man nicht mehr als «empirische und Schulung, die man aber in Kauf nehmen
Datenerhebung» bezeichnen kann. sollte.
• Unbefriedigende Arbeitskonditionen, fehler-
behaftete Adressenvorgabe (ein hoher Anteil
von nicht auffindbaren Personen), schlecht Interviewerkontrolle
aufgebaute Fragebögen (zum Beispiel mit vie-
len Verweigerungen aufgrund unverständ- Besonders aussagekräftig sind nachfassende
lich formulierter oder in der Reihenfolge un- Kontrollen bei den Probanden. Dies sollte nicht
günstig positionierter Fragen) oder fehlender unbedingt als «Kontrollanruf» erkennbar sein,
Spesenersatz für erfolglose Fahrten. günstiger ist ein Anruf bei einer (angeblich) be-
• Massive Interviewer- bzw. Untersuchungs- fragten Person mit der Bitte um Aufklärung ei-
leitereffekte sind zu erwarten, wenn sich die- nes Details oder einer Beurteilung des
ser Personenkreis mit bestimmten Evalua- Interviewerverhaltens. Ein solches Vorgehen ist
tionsergebnissen identifiziert (ein Beispiel natürlich nur bei Interviews mit bekannten Pro-
dafür sind etwa die Gerüchte, daß bei man- banden, etwa bei vorgegebenen Adressen aus
chen Schulvergleichsuntersuchungen die für einer Stichprobe, möglich.
152 Durchführung von Evaluationsstudien

Eine zumindest heuristisch wertvolle Hilfe Einige Lösungsmöglichkeiten:


kann auch die Datenanalyse der abgegebenen
Interviews sein. Neben Plausibilitätskontrol-
• Die angeschriebenen Personen werden gebe-
ten, bei absoluter Zusicherung der Anonymi-
len (siehe weiter unten) kann auch die Prü-
tät der Auswertung den Absender auf dem
fung der Homogenität (erfaßt durch die
Couvert (nicht auf dem Fragebogen) zu ver-
Varianz) der von einem Interviewer geliefer-
merken.
ten Daten im Vergleich zur Gesamtstichprobe
(bzw. nach strukturellen Merkmalen ähnli-
• Bei schriftlichen Befragungen in Organisatio-
nen wie zum Beispiel Unternehmen werden
chen Datensätzen) interessante Hinweise ge-
auf den Fragebögen gerne vor dem Austeilen
ben. Ist die Datenvarianz deutlich geringer,
Code-Nummern vermerkt, die eine Identifi-
liegt zumindest den Verdacht nahe, daß der
kation der jeweiligen Abteilung ermöglichen;
Interviewer relativ häufig seine eigene Vor-
selbstverständlich muß dies offiziell gesche-
meinung (unmittelbar oder durch Interview-
hen und mit dem Betriebsrat geklärt sein!
einflüsse) in die Ergebnisse hat einfließen las-
sen oder entgegen den üblichen Anweisungen
• Bei manchen schriftlichen Befragungen fin-
det sich auf dem Rückantwortcouvert eine
bevorzugt seinen engeren Bekanntenkreis be-
Adresse, die eine «Projektnummer» enthält;
fragt hat, was ebenfalls leicht zu relativ homo-
diese Projektnummer ist individuell für jede
genen Antworten führt. Solche Befunde sind
befragte Person (ein entsprechender Aus-
aber selbstverständlich nur Hinweise, die
druck, zum Beispiel auf Klebeetiketten oder
nicht zu einem (möglicherweise ungerechtfer-
Endlos-Couverts ist EDV-mäßig unproblema-
tigten) Vorwurf führen sollten, sondern viel-
tisch) und ermöglicht somit eine Identifika-
leicht zu einer gezielten Nachfrage.
tion der antwortenden Personen. Allerdings
ist ein solches Vorgehen rechtlich proble-
matisch. Auch fördert es nicht gerade das
Schriftliche Befragung
Vertrauen der Befragten in die Anonymitäts-
garantie, wenn mehrfach mit der Begrün-
Bei der postalischen Befragung sind einige Stör-
dung «sie haben noch nicht geantwortet»
effekte noch massiver als beim persönlichen
nachgefragt wird, ohne daß den Betroffenen
Interview; so weiß man etwa nie genau, wer
der Kontrollmechanismus für die eingegan-
den Fragebogen tatsächlich ausfüllt, ob es sich
gene bzw. fehlende Antwort ersichtlich ist.
um eine «Gruppenarbeit» der ganzen Familie
Wertvolle Hinweise für eine rechtlich saube-
handelt, und ob nicht einige Fragen mißver-
re, allerdings manchmal auch umständliche
ständlich formuliert waren. Aus dem letzteren
Regelung finden sich in Lecher, 1988.
Grund muß man bei der Fragebogenkonstruk-
tion besonders sorgfältig vorgehen.
Fehler bei der Datenaufbereitung
Das Hauptproblem der postalischen Befragung
ist sehr häufig die Rücklaufquote. Es gibt einige Codierarbeiten sind lästig, erfordern aber oft
Tricks, um schon durch die Gestaltung des Ma- eine erhebliche allgemeine Intelligenz, so daß
terials diese zu erhöhen (zum Beispiel das man neben speziell mit solchen Tätigkeiten be-
Antwortcouvert nicht freistempeln lassen, son- schäftigen Büropersonal bei unregelmäßigem
dern mit einer Briefmarke versehen), doch wird Anfall von Arbeiten auf gutes Aushilfspersonal
man trotzdem häufig darauf angewiesen sein, zurückgreifen muß. Von Mitarbeitern, die nur
bei den nicht antwortenden Befragten nachzu- kurzfristig, ohne Kenntnis der Projektzusam-
fassen. Dies wird wesentlich dadurch erleich- menhänge und oft auch ohne soziale Bindun-
tert, wenn man am Posteingang erkennen gen an das Projektteam beschäftigt werden,
kann, welche Personen aus der ursprünglichen kann man keine ausgeprägte intrinsische Moti-
Adressenliste geantwortet haben. Diese Identi- vation für die Durchführung der (ohnedies
fikationsarbeit kann aber erhebliche Schwierig- meist sehr langweiligen) Codierarbeiten erwar-
keiten machen, wenn die Fragebögen aus Grün- ten. Leider ist oft eine erhebliche Fehlerquote
den der Anonymität keine Namensangaben zu beobachten, vor allem bei (niedriger) Bezah-
tragen. lung pro durchgearbeitetem Fragebogen. Aus
Durchführung von Evaluationsstudien 153
diesem Grund müssen zur Fehlerkorrektur ter Antwortalternativen wie etwa immer eine
unbedingt Kontrollen erfolgen. Ideal, aber nur Extremkategorie oder die Unentschlossen-Mög-
selten finanzierbar sind Doppelarbeiten (das lichkeit).
gleiche Ausgangsmaterial wird von zwei Hilfs-
kräften codiert, die Ergebnisse werden vergli- Solche Programme mit Plausibilitätsüberlegun-
chen). Eher realisierbar ist eine die Sorgfalt un- gen erkennen Interviewer- , Aufbereitungs- oder
terstützende Entlohnung, insbesondere die Eingabefehler um so besser, je umfangreicher
Bezahlung nach Zeit anstatt nach Stück (wo- das entsprechende Programm gehalten wird.
raus ein gewisses Eigeninteresse entsteht, die Allerdings steigt gleichzeitig auch die Wahr-
Arbeit nicht allzu schnell zu erledigen) sowie scheinlichkeit, ohne Vorliegen eines Fehlers
Kontrollen mit einer entsprechenden (auch fi- auffällige Datenkombinationen auszuwerfen
nanziellen) Verrechnung gefundener Fehler. (schließlich kann es ja tatsächlich den 23jähri-
Prinzipiell Gleiches gilt für Dateneingabe- gen Promovierten geben, der «Rentner» als Be-
arbeiten an die EDV. Hier ist der Leistungsun- ruf angegeben hat, da seine Waisenrente die
terschied zwischen professionellen Mitarbeitern finanzielle Haupteinnahmequelle darstellt).
und Aushilfspersonal besonders gravierend (ge- Solche «auffälligen» Personen dürfen daher
schulte Kräfte haben etwa die doppelte Ge- nicht sofort ausgeschieden werden, sondern die
schwindigkeit von ungeschulten), auch die Ursache für die auffallenden Kombinationen ist
Sorgfalt ist bei Spezialisten höher. über den Vergleich der Dateneingabe mit den
Die früher vor allem im kommerziellen Be- schriftlichen Unterlagen, die richtige Codie-
reich übliche Gewohnheit, zumindest alle rung der Unterlagen und schließlich im Ex-
wichtigen Daten über einen «Prüflocher» dop- tremfall durch Nachfrage zur Kontrolle des
pelt einzugeben, ist im Zusammenhang der un- Interviewverhaltens nachzuvollziehen. Da dies
mittelbaren Bildschirmeingabe zumindest bei sehr aufwendig ist, steht man vor dem Dilem-
sozialwissenschaftlichen Projekten deutlich zu- ma, daß mit steigernder Sicherheit der Identifi-
rückgegangen. Ein leider nur partieller Ausweg kation von Inplausibilitäten der Arbeitsauf-
sind die unten besprochenen Plausibilitätskon- wand für die Klärung der einzelnen Befunde
trollen an der EDV. ansteigt. Im allgemeinen wird man sich mit um
Leider werden die durch Codier- und Daten- so gröberen Plausibilitätskontrollen zufrieden
eingabefehler verursachten Verzerrungen der geben können, je sorgfältiger die Kontrolle der
Ergebnisse von akademisch gebildeten Anfän- einzelnen Arbeitsschritte vorher erfolgt ist.
gern meist unterschätzt.
Plausibilitätskontrollen gehen heute nach Datenauswertung
den professionellen Standards jeder Datenana-
lyse voraus. Das Grundprinzip ist, daß man sich Die typischen Fehler hier (insbesondere Ver-
zunächst überlegt, welche Konfigurationen in wechslungen von Variablennummern, was be-
den Daten einzelner Personen außerordentlich sonders leicht geschehen kann, wenn verschie-
unwahrscheinlich sind. Meist nimmt man dazu dene Projektmitarbeiter Aufträge an die EDV
objektive Merkmale, wie Alter, Geschlecht, Art mit unterschiedlichen Variablen-Ordnungen
und Dauer der Ausbildung u. ä. Für Evaluations- geben) treten seltener auf als bei der Datenein-
studien außerhalb des allgemeinen sozialwis- gabe, können dann aber um so gravierender
senschaftlichen Bereiches wichtig sind auch die sein. Neben sorgfältiger Arbeit – wozu auch
Möglichkeiten, unplausible Testergebnisse zu gleich bezeichnete Unterlagen und das «Wegs-
identifizieren (massive Abweichungen zwi- perren» von Vorlagen mit nicht mehr gültiger
schen einzelnen Subtests der gleichen Person, Numerierung der Variablen gehört – ist die «se-
höhere Beantwortungsraten für «schwierige» mantische» Plausibilitätskontrolle zu empfeh-
als für leichte Items) oder auf wahrscheinlich len. Jedem (wirklich jedem!) Widerspruch in
verfälschendes Antwortverhalten zu schließen den Ergebnissen ist nachzugehen, auch wenn
(Anlegen von «Strickmustern» auf den Ant- dies viel Zeit kostet und rückblickend unnötig
wortblättern, in dem zum Beispiel immer in erscheint. So kann es ja wirklich sein, daß es
der Reihenfolge der Antwortalternativen A, B, zwischen Teilgruppen extreme Varianzunter-
C, D etc. geantwortet wird; Auswahl bestimm- schiede gibt, die Einteilung nach der Kinder-
154 Durchführung von Evaluationsstudien

zahl die Zusammenhänge zwischen der Beur- Beispiel im Öffentlichen Dienst können aus ei-
teilung von Sach- und Personalausstattung von ner irrtümlichen oder wegen seiner persönli-
Leitenden Angestellten völlig verändert (kon- chen Einschätzung «zu großzügigen» Geneh-
kret in einem Projekt passiert) oder gegenüber migung von Vorhaben deutliche Nachteile
der Erwartung völlig entgegengesetzte empiri- entstehen, die Verhinderung von Projekten
sche Befunde auftreten. Trotzdem sollte man in bleibt für ihn selbst meist völlig folgenlos. Bei
allen solchen und ähnlichen Fällen die Aus- einer solchen Reinforcementstruktur führen
wertung kontrollieren, ggf. von einem damit schon einfachste subjektive Nutzenüberlegun-
noch nicht befaßten Mitarbeiter unabhängig gen (ausführlicher bei Wottawa und Hossiep,
von den bisherigen Eingaben neu durchführen 1987, S. 48ff.) zu einer Bevorzugung restrikti-
lassen. ver Auffassungen.
Ein besonderes Problem sind «selbstgestrick-
te» Programme für die Auswertung. Zwar hat Bei Laien bestehen zum Teil erheblich Mißver-
die weite Verfügbarkeit publizierter, ausgeteste- ständnisse bezüglich des Begriffes «Daten-
ter Programme die projektspezifische Program- schutz».
mierarbeit eingeschränkt, doch ist auch die Pu- Wesentlicher Gesetzesinhalt des Bundesda-
blikation keine Garantie für Fehlerfreiheit. Ein tenschutzgesetzes (BDSG) ist der Schutz des ein-
negatives Beispiel ist etwa bei Härtner et al., zelnen vor den Gefahren der Verbreitung von
(1979) zu finden, der Programmfehler wurde Daten, die sich auf Personen beziehen. Dabei
erst wesentlich später entdeckt (s. Baumert et bezieht es sich, ohne zwischen verschiedenen
al, 1988). Allerdings ist bei «eigenen» Program- Arten von Daten zu unterscheiden, auf alle per-
men die Fehlerchance im Regelfall besonders sonenbezogenen Daten und regelt die Daten-
hoch, weil weniger Zeit für das Austesten (und verarbeitung von Behörden und Privatunter-
manche Fehler zeigen sich nur in seltenen Si- nehmen.
tuationen) verbleibt. In einem konkreten Fall Im ersten Abschnitt des Gesetzes werden Be-
(Überprüfung der Nebenwirkungen eines griffsbestimmungen, Zuverlässigkeitsvorausset-
Pharmakons unter Benutzung eines seltenen zungen für die Datenverarbeitung und Rechte
statistischen Verfahrens) wurde ein Programm- der Betroffenen geregelt (§1–§6 BDSG).
fehler nur dadurch entdeckt, daß die «Sig- Der zweite Abschnitt befaßt sich mit Daten-
nifikanzen» so massiv waren, daß diese Un- verarbeitung durch öffentliche Verwaltungen
glaubwürdigkeit zu einem Nachrechnen von (§7–§21 BDSG). Als Überwachungseinrichtung
Hand führte (es war bei Korrekturarbeiten im ist der Bundesbeauftragte für den Datenschutz
Programm ein Statement mit einer Divisions- vorgesehen.
anweisung irrtümlich gelöscht worden). Klei-
ne Ursachen können erhebliche Auswirkun- Für die Datenverarbeitung im privaten Bereich,
gen haben! insbesondere im Verhältnis zwischen Arbeitge-
ber und Arbeitnehmer, gilt der dritte Abschnitt
(§22–§30 BDSG), während der vierte Abschnitt
6.2.2 Datenschutz Sondervorschriften für solche Unternehmen
enthält, die Daten für Dritte verarbeiten (§31–
Der gerade für den EDV-Einsatz in Behörden §40 BDSG). Der fünfte und sechste Abschnitt
und anderen Verwaltungen potentiell beson- des Gesetzes enthalten die Regelungen von
ders gefährdete Schutz der «Privatsphäre» hat Sanktionen sowie Übergangs- .und Schlußvor-
eine massive öffentliche Diskussion verursacht, schriften (§41–§47 BDSG). Einige für die
die auch die Möglichkeiten in Forschungs- Evaluationsarbeit besonders wichtige Paragra-
projekten wesentlich beeinflußt. Die Wahrung phen finden sich im Diagramm VI/1.
des Persönlichkeitsschutzes ist ein wichtiges
Anliegen, gerade auch in sozialwissenschaftli- Die Problematik «Datenschutz» dürfte an sich
chen Evaluationsprojekten, sollte aber nicht zu für die meisten Evaluationsprojekte keinerlei
einer sachlich nicht nachvollziehbaren Behin- Schwierigkeiten bereiten, da eine personenbe-
derung der Projektarbeit führen, was leider ge- zogene Datenauswertung im Regelfall nicht er-
legentlich vorkommt. Für einen Juristen zum forderlich ist.
Durchführung von Evaluationsstudien 155

Diagramm VI/1
Auszug aus dem Bundesdatenschutzgesetz (BDSG) (vgl. Kittner, 1987)

§2: Begriffsbestimmung 2. der Betroffene eingewilligt hat. Die Einwilli-


gung bedarf der Schriftform, soweit nicht we-
(1) Im Sinne dieses Gesetzes sind personenbezo- gen besonderer Umstände eine andere Form
gene Daten Einzelangaben über persönliche oder angemessen ist, wird die Einwilligung zusam-
sachliche Verhältnisse einer bestimmten oder be- men mit anderen Erklärungen schriftlich er-
stimmbaren natürlichen Person (Betroffener). teilt, ist der Betroffene hierauf schriftlich be-
(2) Im Sinne dieses Gesetzes ist sonders hinzuweisen.
1. Speichern (Speicherung) das Erfassen, Aufneh-
men oder Aufbewahren von Daten auf einem
Datenträger zum Zweck ihrer weiteren Verwen- §10: Datenübermittlung innerhalb des öffent-
dung, lichen Bereichs
2. Übermitteln (Übermittlung) das Bekanntgeben
gespeicherter oder durch Datenverarbeitung (1) Die Übermittlung personenbezogener Daten
unmittelbar gewonnener Daten an Dritte in der an Behörden und sonstige öffentliche Stellen ist
Weise, daß die Daten durch die speichernde zulässig, wenn sie zur rechtmäßigen Erfüllung der
Stelle weitergegeben oder zur Einsichtnahme, in der Zuständigkeit der übermittelnden Stelle
namentlich zum Abruf bereitgehalten werden, oder des Empfängers liegenden Aufgaben erfor-
3. Verändern (Veränderung) das inhaltliche Um- derlich ist. Unterliegen die personenbezogenen
gestalten gespeicherter Daten, Daten einem Berufs- oder besonderem Amtsge-
4. Löschen (Löschung) das Unkenntlichmachen heimnis (§45 Satz 2 Nr.1, Satz 3) und sind Sie der
gespeicherter Daten, ungeachtet der dabei ab- übermittelnden Stelle von der zur Verschwiegen-
gewendeten Verfahren. heit verpflichteten Person in Ausübung ihrer Be-
rufs- oder Amtspflicht übermittelt worden, ist für
(3) Im Sinne dieses Gesetzes ist die Zulässigkeit der Übermittlung ferner erforder-
1. speichernde Stellen jede der in §1 Abs. 2 Satz 1 lich, daß der Empfänger die Daten zur Erfüllung
genannten Personen oder Stellen, die Daten für des gleichen Zweckes benötigt, zu dem Sie die
sich selbst speichert oder durch andere spei- übermittelnde Stelle erhalten hat.
chern läßt,
2. Dritter jede Person oder Stelle außerhalb der
speichernden Stelle, ausgenommen der Betrof- §36: Verarbeitung personenbezogener Daten
fene oder diejenige Personen und Stellen, die zum Zweck der Übermittlung in anonymisierter
in den Fällen der Nummer 1 im Geltungsbe- Form
reich dieses Gesetzes im Auftrag tätig werden,
3. eine Datei eine gleichartig aufgebaute Samm- (1) Die in §31 Abs. 1 Satz 1 Nr. 2 genannten Per-
lung von Daten, die nach bestimmten Merk- sonen, Gesellschaften und andere Personen-
malen erfaßt und geordnet, nach anderen vereinigungen sind verpflichtet, die gespeicher-
bestimmten Merkmalen umgeordnet und aus- ten personenbezogenen Daten zu anonymisieren.
gewertet werden kann, ungeachtet der dabei Die Merkmale, mit deren Hilfe bestimmte ano-
angewendeten Verfahren. Nicht hierzu gehö- nymisierte Daten derart verändern verändert wer-
ren Akten und Aktensammlungen, es sei denn, den können, daß Sie sich auf eine bestimmte Per-
daß Sie durch automatisierte Verfahren umge- son beziehen oder eine solche erkennen lassen,
ordnet und ausgewertet werden können. sind gesondert zu speichern. Diese Merkmale dür-
fen mit den anonymisierten Daten nicht zusam-
mengeführt werden, es sei denn, daß die dadurch
§3: Zulässigkeit der Datenverarbeitung ermöglichte Nutzung der Daten noch für die Er-
füllung des Zweckes der Speicherung oder zu wis-
Die Verarbeitung personenbezogener Daten, die senschaftlichen Zwecken erforderlich ist.
von diesem Gesetz geschützt werden, ist in jeder
in §1 Abs. 1 genannten Phasen zulässig, wenn (2) …
1. dieses Gesetz oder eine andere Rechtsvorschrift (3) Bei automatischer Datenverarbeitung ist die
Sie erlaubt oder Durchführung der in Absatz 1 vorgesehenen
Maßnahmen durch entsprechende Vorkehrungen
sicherzustellen.
156 Durchführung von Evaluationsstudien

Die European Science Foundation hat bestimmte wandfreieste Methode in der Einholung der Zu-
Grundsätze und Richtlinien für die Verwen- stimmung der Befragten, doch kann diese in
dung personenbezogener Daten zu Forschungs- Folge von Befürchtungen der Probanden die
zwecken herausgegeben. Einige Hauptpunkte Verweigerungsraten deutlich erhöhen.
sollen an dieser Stelle extrakthaft wiedergege-
ben werden (nähere Erläuterungen bei Lecher,
1988, S. 28 ff.): Schutz der Privatsphäre
• Jede Verarbeitung personenbezogener Daten Im Gegensatz zu den Datenschutzbestimmun-
für Forschungsziele setzt eine ausdrücklich
gen im engeren, gesetzlichen Sinn kann der
gesetzliche Ermächtigung oder die informier-
Schutz der Intimsphäre sowie das Problem des
te Einwilligung des Betroffenen voraus.
«Geheimnisverrates» in Evaluationsstudien
sehr relevant werden. Wie man an der Darstel-
• Eine informierte Einwilligung liegt vor, wenn lung einiger wichtiger Rahmenbedingungen in
die Betroffenen ausdrücklich und eindeutig Diagramm VI/2 entnehmen kann, ist die Situa-
darüber aufgeklärt worden sind: tion für «Berufspsychologen mit abgeschlossener
a) daß die Datenerhebung freiwillig ist; Ausbildung» und andere Sozialwissenschaftler
b) daß die Weigerung der Datenerhebung kei- verschieden. Dies kann zu der etwas paradoxen
nerlei Konsequenzen hat Situation führen, daß ein als Interviewer einge-
c) welchen Zweck das Forschungsprojekt ver- setzter Sozialwissenschaftler dann unter §203
folgt; StGB fällt, wenn der Leiter des Evaluations-
d) wer Auftraggeber der Erhebung ist bzw. projektes ein Diplom-Psychologe ist, diese zu-
wer erhebt; sätzliche Strafbewährung des Schutzes der In-
timsphäre aber nicht besteht, wenn der
• Die für Forschungszwecke zur Verfügung ge- Projektleiter eine andere Vorbildung hat. Dies
stellten personenbezogenen Daten sollten entspricht in keiner Weise der Intention des
nicht für andere Zwecke verarbeitet werden, Gesetzes, mit diesem Paragraphen sollte an sich
insbesondere nicht für solche, die später für die Arbeit der genannten Berufsgruppen er-
den Betroffenen Konsequenzen haben. leichtert werden, da es zum Beispiel im Rah-
men psychologischer Therapien sicher leichter
• Die Leiter von Forschungsprojekten, die mit fällt, eine offene Gesprächsatmosphäre zu er-
der Verarbeitung personenbezogener Daten zeugen, wenn der Klient zusätzlich zum per-
verbunden sind, sollten die Verantwortung sönlichen Vertrauen auch noch auf eine recht-
dafür tragen, daß die gemachten Angaben liche Absicherung der Vertraulichkeit der
den aktuellen Datenschutz-Vorschriften Gesprächsinhalte bauen kann.
auch dem momentan herrschenden Technik-
stand entsprechen.
Datenschutz auch bei Änderung der
Es darf aber nicht übersehen werden, daß Rahmenbedingungen!
es auch datenrechtlich problematische For-
schungsstrategien gibt. In der Psychologie gibt Die Vertraulichkeit von Informationen ist auch
es Projekte, bei denen eine volle Aufklärung der ohne böse Absicht besonders dann gefährdet,
Beteiligten erst nach ihrem Abschluß erfolgen wenn die befragte bzw. beobachtete Person und
kann. In solchen Fällen muß diese Bedingung, der Projektmitarbeiter untereinander verbunde-
in Verbindung mit dem Angebot des jederzeit nen Sozialnetzen angehören (zum Beispiel Be-
möglichen Rücktritts, den Betroffenen ausdrück- fragung von Studenten durch Studenten des
lich erklärt und von ihnen akzeptiert werden. gleichen Faches, Befragungen in räumlicher
Probleme können auch entstehen, wenn Nachbarschaft). Der Versuchung zur Verbrei-
zum Beispiel aus Gründen einer Längsschnitt- tung personenbezogener «Anekdoten» sollte
untersuchung (mehrfache Befragungen bei der man stets mit dem Hinweis auf die Rechtslage
gleichen Person) eine Identifikation der Daten- gemäß Diagramm VI/2 schon bei der Schulung
sätze gesichert werden muß. Hier liegt die ein- der Mitarbeiter entgegentreten.
Durchführung von Evaluationsstudien 157

Diagramm VI/2
Wichtige rechtliche Rahmenbedingungen für Psychologen

Beachtung der Persönlichkeitsrechte der Erhebung im Rahmen eines Dienstvertrages


Probanden • Verletzungen der Haupt- und Neben-
pflichten des Dienstvertrages führen all-
gemein zu zivilrechtlichen Sanktionen (z.B.
Grundgesetz (GG) Schadensersatzansprüche)

Artikel 1: Schutz der Menschenwürde Zu beachten sind weiterhin


Artikel 2: Freiheitsrechte • Berufsgeheimnis §53 StPO
Artikel 5: Recht der freien Meinungs- • Geheimnisverletzung §203 StGB
äußerung
Artikel 12: Freiheit der Berufswahl
Rechtliche Situation des Beurteilens und
Bewertens in der Berufsausbildung, hierzu:
Psychologische Untersuchungen dürfen in Betriebsverfassungsgestz (BetrVG)
dem Umfang geschehen, wie Sie der Würde • Mitbestimmungsrechte des Betriebsrates
des Menschen angemessen sind. Das Eindrin- beim Beurteilen und Bewerten im Betrieb:
gen in den persönlichkeitsrechtlichen Bereich §94, §95, §98 BetrVG, §85 BetrV
ist immer dann unproblematisch, wenn es • Mitwirkungsrecht der Jugendvertretung
durch die freie Selbstbestimmung des Proban- über Beurteilungsbögen: §66–68, §70, §80
den ermöglicht wird. BetrVG

Relativ schwer zu lösen ist das Problem verän- lagen. Es erfordert ein sehr hohes Maß der Ver-
derter Zugangsberechtigungen zu Aktenmate- innerlichung abstrakter Normen, nicht in den
rial. Typisch ist hier etwa die Situation in Uni- die eigenen Person betreffenden Vorgängen zu
versitäten, wo in Zusammenhang mit der schmökern. Strukturell Gleiches gilt für den
Besetzung von Professorenstellen externe Gut- hierarchischen Aufstieg in Verwaltungen, Schu-
achten eingeholt werden müssen, die nur dann len, Kliniken und Unternehmen. Für Evalua-
wirklich aussagekräftig sind, wenn der Gut- tionsprojekte wichtig kann dieses strukturelle
achtenersteller von vertraulicher Behandlung Problem werden, wenn die Bewertung von
ausgehen kann (bei allen anderen Regelungen Maßnahmen eng mit Personen verknüpft ist.
würde eine erhebliche Gefahr von Gefälligkeits- Dies trifft zum Beispiel bei Untersuchungen zur
gutachten, evtl. auf wechselseitiger Basis, ent- Bewertung verschiedener Weiterbildungssemi-
stehen). Dieses Material wird gemeinsam mit nare zu, wo es bei unzureichender Anonymisie-
den anderen Personalunterlagen üblicherweise rung der Unterlagen durchaus passieren kann,
im Dekanat gespeichert, die Bewerber haben daß nach einem beruflichen Aufstieg einer der
dazu keinen Zutritt. Nach Ernennung durch bewerteten Seminaranbieter mit Interesse liest,
den Minister (es kann ohne weiteres sein, daß was seine jetzigen Untergebenen damals an
nicht der in den Gutachten besonders gut ab- Kritikpunkten genannt haben. Überlegungen
schneidende Erstplazierte, sondern vielleicht dieser Art sprechen übrigens dafür, in Zweifels-
ein gerade noch akzeptabel erscheinender Kan- fällen eher externe Evaluatoren heranzuziehen,
didat schließlich die Position erhält) dauert es als die entsprechenden Informationen firmen-
oft nicht lange, bis der oder die «Neue» zum intern auszuwerten.
Dekan gewählt wird oder eine andere, Zugang Ein theoretisch bestehendes, nach den ver-
zu den Dekanatsunterlagen bedingende Funk- fügbaren allgemeinen Informationen aber
tion in der akademischen Selbstverwaltung nicht allzu gravierendes Problem dürfte der
übernimmt. Damit automatisch verbunden ist Geheimnisverrat in Kombination mit finanzi-
die Zugangsmöglichkeit auch zu Personalunter- ellen Interessen sein. Man muß an diese Mög-
158 Durchführung von Evaluationsstudien

lichkeit aber bei wirtschaftsorientierten Eva- die Anzahl der statistischen Ergebnisse über-
luationsstudien (etwa formative Produkt- schritten. Selbst wenn man den unter metho-
evaluation, alle im Zusammenhang mit Mar- dischen Gesichtspunkten natürlich unsinnigen
keting-Maßnahmen durchgeführten Studien) Trick wählt, an der EDV nur die «sehr signifi-
denken. Man kann trotz dem Fehlen entspre- kanten» Resultate ausdrucken zu lassen, erhält
chender fundierter Gerüchte nicht ausschlie- man auch bei rein zufälligem Datenmaterial in
ßen, daß Dinge dieser Art vorkommen (vermut- diesem Fall ca. 10 000 «statistisch auffällige»
lich hätten im konkreten Fall alle Beteiligten Einzelbefunde. Es ist selbstverständlich, daß
ein erhebliches Interesse, den Vorgang mög- eine solche Auswertungsstrategie absolut unsin-
lichst nicht allzu publik werden zu lassen). An- nig wäre.
dererseits kann aber angenommen werden, daß
das bei sozialwissenschaftlich gestützter Evalua-
tion erhobene Material selten einen so hohen Rechtzeitige Auswahl der
Wert hat, daß sich das Risiko lohnt. Die effekti- Auswertungsdetails
ven informellen Kommunikationskanäle zwi-
schen den Unternehmen machen eine mittel- Die einzige Alternative zu einer allumfassen-
fristige Aufdeckung eines solchen Verhaltens den Auswertung ist, von Anfang an gezielt eini-
sehr wahrscheinlich, und selbst bei Vermei- ge der nahezu unendlich vielen Auffälligkeiten
dung einer Strafanzeige dürfte es sehr schwierig als potentiell erwartbar auszuwählen. Dies hat
sein, in diesem Berufsfeld später noch Karriere zur Folge, daß man:
zu machen.
• Nur jene Variablen in der Auswertung be-
rücksichtigt, die man subjektiv für «wichtig»
hält.
6.2.3 Auswertungspläne
• Vorher mit dem Auftraggeber abklären muß,
ob es bzgl. der vermuteten Wichtigkeit von
Es ist bei einem realistisch großen sozialwissen-
Effekten die gleichen Meinungen hat.
schaftlichen Evaluationsprojekt so gut wie aus-
geschlossen, sämtliche denkbaren Auswertun-
• Sehr sorgfältig prüft, ob man mit dieser Stra-
tegie nicht anstelle einer objektiven Befund-
gen durchzuführen. Nimmt man als Beispiel
erhebung nur die eigenen Vorurteile bestär-
eine Arbeit mit 40 berücksichtigten Variablen
ken möchte.
(was vor allem bei Verwendung von Codie-
rungsschemata für Interviews oder Verhaltens-
• Stets der Gefahr ausgesetzt ist, daß anders-
denkende Leser des Evaluationsberichtes die
beobachtungen, noch stärker als bei Fragebö-
gezielte Manipulationsabsicht bei der Daten-
gen, eine sehr kleine Zahl ist), ergeben sich
auswertung unterstellen, auch wenn dies im
bereits 780 mögliche, an der EDV mit geringem
Einzelfall nicht gegeben sein sollte.
Zeitaufwand berechenbare Korrelationen. Da
man jetzt aber jede Variable (als mindestens
zweistufigen) Moderator nehmen kann, was im Die Gefahr der Bestätigung der Vormeinung
übrigen auch für die wichtige Identifikation entsteht dadurch, daß man eben nur jene Ef-
von Wechselwirkungen sehr sinnvoll sein fekte ausweist, die man von Anfang an vermu-
kann, bekommt man selbst bei nur einer zwei- tet hat. So kann man zum Beispiel bei einer
stufigen Einteilung potentieller Moderatoren Schulsystemuntersuchung die Klassengröße,
weitere 29 640 Korrelationen. Geht man gar Details des Lehrerverhalten etc. erheben, aus-
dazu über, mehrere Variablen gleichzeitig als schließlich mit dem Ziel, diese Variablen als
Moderatoren zu verwenden (zum Beispiel die Kovariate zur präziseren Herausarbeitung des
Untersuchung der Fragestellung, ob die Kom- «eigentlich wichtigen» Systemunterschiedes
bination einer bestimmten Alters- und Be- heranzuziehen. Man wird in Anbetracht der bei
rufsgruppe einen von der Gesamtstichprobe ausreichender Trennschärfe stets widerlegbaren
verschiedenen korrelativen Zusammenhang Nullhypothese (vgl. dazu Abschnitt 5.3.1) auf
zwischen einer bestimmten Form der Arbeits- diese Weise auch mit guter Chance einen stati-
gestaltung und der Arbeitszufriedenheit zeigt), stisch bedeutsamen Systemunterschied ermit-
wird mit Leichtigkeit die Millionengrenze für teln. Ebenso gut könnte man aber auch umge-
Durchführung von Evaluationsstudien 159
kehrt vorgehen und prüfen, ob nicht die aus das geplante Auswertungsprogramm über-
der subjektiven Sicht nur als Störeffekte aufzu- nommen werden, so daß man deren relative
nehmenden Variablen um vieles bedeutsamer Bestätigung oder Widerlegung bereits mit in
sind als die eigentlich für wichtig gehaltenen, den Abschlußbericht aufnehmen kann.
was man entweder direkt (dann aber in Kon- • Vor allem bei öffentlichkeitswirksamen Eva-
fundierung mit dem Systemeffekt) oder unter luationsvorhaben nach Möglichkeit rechtzei-
Auspartialisierung des Beitrages der System- tig klären, welche Auswertungslücken vor
unterschiede machen kann. Schon aufgrund dem Hintergrund aktueller politischer Aus-
dieser geänderten Reihenfolge der Aufnahme einandersetzungen in der Öffentlichkeit, also
von Erklärungsvariablen in lineare Modell- insbesondere bei betroffenen Verbänden und
ansätze (s. Abschnitt 5.3.2) sind entsprechende Parteien, auf der Basis des vorläufigen Planes
Ergebnisunterschiede zu erwarten, die dann gesehen werden; dies setzt allerdings die
interpretativ entsprechend der eigenen Vor- Schaffung eines ausreichend dichten Netzes
meinung besonders herausgearbeitet werden informeller Kontakte voraus und sollte im
können. übrigen niemals ohne Abstimmung mit dem
Auftraggeber durchgeführt werden.
Antizipatorische Konsensfindung Nach Durchführung solcher Vorarbeiten hat
man zwar einen vertretbaren Auswertungsrah-
Eine theoretisch denkbare Lösung wäre, die
men, aber meist auch das Problem, daß die Viel-
Auswahl der ausgewerteten Effekte auf wissen-
zahl der untersuchten Einzelergebnisse kaum
schaftliche Erkenntnisse zu gründen, zum Bei-
noch rezipierbar ist. Dies macht dann eine
spiel dann, wenn bereits aus Vorstudien das
nachträgliche Beschränkung bei der Bericht-
Auftreten mancher Zusammenhänge besonders
legung erforderlich, in deren Verlauf vieles an
plausibel erscheint. Dieser Weg scheitert bei den
guten Vorarbeiten verlorengehen kann.
meisten Evaluationsstudien aber daran, daß
sich aus wissenschaftlich-theoretischen Überle-
gungen oder auch aus der Fülle der Detail-
ergebnisse von Vorstudien für praktisch jede
Zusammenhangsanalyse eine zumindest nach-
6.3 Berichtlegung
träglich sehr plausibel klingende Begründung
Das letztlich für die Praxis relevant werdende
geben läßt. Es dürfte daher zweckmäßiger sein,
Ergebnis einer Evaluationsstudie ist nicht das,
die Auswertungsstrategie vorwiegend nutzen-
was im Laufe des Projektes von den dort Betei-
bezogen (natürlich nicht unter völligem Ver-
ligten erfahren wurde, auch nicht das, was in
zicht auf die Kenntnis von wissenschaftlichen
den entsprechenden schriftlichen und mündli-
Vorergebnissen) aufzubauen und nach Mög-
chen Berichten enthalten ist; relevant werden
lichkeit rechtzeitig folgende Schritte einzulei-
höchstens jene Informationen, die bei den
ten:
Adressaten der Berichte ankommen.
• Versuch einer Konsensbildung vorwiegend Wie groß die Unterschiede zwischen «gesen-
mit Wissenschaftlerkollegen, die eine gegen- deter» und «empfangener» Information sein
über den evaluierten Maßnahmen gegentei- können, zeigt etwa die Arbeit von Czerwenka
lige Voreinstellung haben und/oder anderen et al. (1988) zur Bewertung der Schule durch
wissenschaftlichen «Schulen» angehören. Schüler. Grundlage waren Aufsätze, in denen
• Mit den von den Evaluationsergebnissen be- Schüler verschiedener Klassenstufen und Schul-
troffenen Praktikern denkbare Auswertungs- formen in der Bundesrepublik Deutschland ei-
ergebnisse durchspielen (im Prinzip analog nem «Wesen von einem anderen Stern» schil-
zur Szenariotechnik bzw. Planspielen, vgl. dern sollten, was «Schule» ist. Diese Aufsätze
4.1.3), und mit diesen diskutieren, welche wurden dann unter anderem dahingehend aus-
Einwände sie gegen die aus ihrer Sicht uner- gewertet, ob Hinweise für ein eher positives
wünschten Ergebnisse vorbringen würden. oder negatives Lehrerbild enthalten waren, ob
Diese Hinweise auf denkbare alternative Er- die Schule eher Freude oder keine Freude macht
klärungsansätze können gesammelt und in usf. Die Resultate, die auch in den schriftlichen
160 Durchführung von Evaluationsstudien

Pressemitteilungen erläutert wurden, zeigten • Die nahezu selbstverständliche Verwendung


u.a. ein Überwiegen von «wenig Freude» an der von Fachausdrücken, wobei weniger das
Schule gegenüber «Freude» (besonders deutlich «Fremdwort» für die Berichtlegung an anders
etwa in der 11. Klassenstufe, wo insgesamt 13% vorgebildete Berufsgruppen stört, sondern
positiv und 27% negativ waren). Ähnliche das hohe Abstraktionsniveau und die jeweils
Ergebnisse erbrachten die Aussagen in diesen definitionsabhängige Bedeutung der verwen-
Aufsätzen über die Lehrer. Die Aufregung über deten Begriffe und Konzepte.
diese Arbeit war vor allem bei den Lehrerver- • Der häufige Gebrauch von einschränkenden
bänden enorm, was bei bloßer Durchsicht des Nebenbemerkungen und Konjunktiven; For-
Abschlußberichtes für den Wissenschaftler ei- mulierungen wie «… es könnte sein, wenn
gentlich unverständlich bleibt. Erklärbar wird das nicht wäre, vielleicht stimmt es doch!»
die Aufregung, wenn man die Rezeption dieser entsprechen meist der wissenschaftlichen
Ergebnisse in der Presse liest. Beispiele für (meist Redlichkeit, sind aber für den Laien wegen
groß und fett gedruckte) Überschriften: «Schü- mangelnder Handlungsrelevanz inakzepta-
ler klagen über Leistungsdruck», «Schlechte bel.
Noten für das Bildungssystem: Deutsche Schü- • Eine unzureichende Beachtung wertender
ler haben größten Frust» oder gar «Die Lehrer Nebenbedeutungen; so ist eine «negative
stellen häufig Feindbild dar» (die letzteren Bei- Schüleräußerung über Lehrer» für den Wis-
spiele übrigens aus dem angesehenen «Mün- senschaftler eine bestimmte Auswertungs-
chener Merkur»). Noch krasser formulierte die kategorie, für den Laien ist «negativ» mit ei-
«Abendzeitung»: «Bayerns Schüler: Unsere Leh- ner Note von Fünf oder Sechs gleichzusetzen.
rer sind Versager!». Solche Beispiele zeigen viel-
leicht, welchen (absichtlichen oder tatsächlich Lösbar ist die Abstimmung der Berichtlegung
auf die Rezeption zurückführbaren) Mißver- auf den Adressaten am einfachsten dann, wenn
ständnissen die Berichtlegung von Evaluations- der Evaluationsbericht nur an eine ganz be-
studien ausgesetzt sein kann. stimmte Personengruppe gerichtet ist, zum Bei-
spiel an die Weiterbildungsabteilung eines Un-
Im Abschnitt 6.3.1 wird zunächst darauf einge- ternehmens oder an die verantwortlichen
gangen, daß jeder Berichtlegung eine sorgfäl- Produktmanager bei einem Packungstest. Wenn
tige Zielgruppenanalyse vorausgehen sollte. man in solchen Situationen
Dann anschließend (6.3.2) werden Probleme • die auch «unsachlichen», emotionalen Kom-
der Informationsverdichtung behandelt, die ei- ponenten des Auftrages
nerseits unvermeidlich, andererseits aber gera- • den Verwertungs- bzw. Entscheidungszusam-
de wegen der üblichen «projektinternen Spra- menhang
che» leicht manipulativ wirken können. Im • den «Sprachstil» der Adressatengruppen, ins-
letzten Abschnitt (6.3.3) wird auf einige Fragen besondere deren Fachtermini
bei mündlicher Präsentation verwiesen.

beachtet, sollte der Bericht ein Erfolg werden.


6.3.1 Zielgruppenanalyse Selbstverständlich ist, daß man bei der äußeren
Form die dortigen Standards einhält; diese sind
Während des Studiums ist es üblich, daß man vor allem in der Wirtschaft bzgl. der optischen
Berichte ausschließlich für ähnlich vorgebildete und (druck-)technischen Gestaltung um vieles
Personen verfaßt. Typische Konsequenzen sind: anspruchsvoller als im universitären Bereich.
Bei sehr heterogenen Adressatengruppen, wie
• Ein sehr komplexer, durchschnittliche kogni- sie vor allem bei größeren, öffentlich finanzier-
tive Fähigkeiten der Sprachverarbeitung weit ten Evaluationen üblich sind (etwa bei einer
überfordernder Satzbau. Für wissenschafts- Untersuchung im Schulbereich: Ministerium,
interne Kommunikation ist eine solche Lehrerschaft, allgemeine Öffentlichkeit, viel-
Struktur oft sinnvoll, für andere Zielgruppen leicht auch noch Wissenschaftler) ist die
und insbesondere für Konsumenten von zielgruppenorientierte Berichtlegung besonders
Massenmedien aber dysfunktional. schwierig. Man wird natürlich verschiedene
Durchführung von Evaluationsstudien 161
Varianten erarbeiten, muß aber darauf achten, der Möglichkeit, daß auch Laien das Material
daß sich dabei nicht scheinbare Widersprüche lesen) zusätzlich relativ ausführlich interpretiert
ergeben. Generelle Erfolgsregeln gibt es nicht; werden. Man kann nun von keinem an der Ent-
in jedem Fall sollte man aber bei den einzelnen scheidung interessierten Auftraggeber, schon
Formulierungen oder Bezeichnungen sorgfältig gar nicht von einem unter Zeitdruck arbeiten-
auf mögliche Mißverständnisse achten und je- den Journalisten oder Laien erwarten, dieses
des Konzept von wenigstens einem Angehö- umfangreiche Material durchzuarbeiten. Außer
rigen der relevanten Teilgruppen (ersatzweise der Zeitproblematik fehlen oft die Detailkennt-
von Kollegen, die in diesen Bereichen beson- nisse, und praktisch immer das Interesse (eine
dere Erfahrung haben) vor der Publikation hin- Ausnahme findet sich bei advokatorischer Re-
sichtlich dieses Aspektes prüfen lassen. zeption von Evaluationsergebnissen, siehe un-
ten).
Beispiele für Präsentationsformen gibt Diagramm
VI/3. Um überhaupt vom Auftraggeber rezipiert zu
werden, muß dieses Material in einen kurz les-
baren Bericht zusammengefaßt werden, der –
Diagramm VI/3 solange man ihn als Wissenschaftler noch ir-
Mögliche Präsentationsformen von gendwie vertreten möchte – meist zwischen 80
Evaluationsergebnissen und 100 Druckseiten aufweist. Da dies noch
immer zuviel ist, muß diesem Bericht eine Zu-
• Fachbericht sammenfassung beigelegt werden, die aber mit
ca. 3 bis 6 Seiten für jemand, der nur wissen
• kommentierte Zusammenfassung
möchte, welche von zwei denkbaren Maß-
• Veröffentlichung in einer Fachzeitschrift nahmenvarianten er realisieren soll, noch im-
• populärwissenschaftliche mer unnötig lang ist. Möglicherweise ent-
Veröffentlichung scheidungsrelevant ist meist nur eine ca.
• Pressekonferenz einseitige «Kurzdarstellung» oder «Beschluß-
vorlage».
• Symposium
Dieser Informationsverdichtungsprozeß ist
• Vorstellung in den Medien unvermeidlich, er findet auch dann statt, wenn
• Workshop mit Mitarbeitern in einer sich wissenschaftlich tätige Evaluatoren den
Unternehmung entsprechenden Arbeiten entziehen. In diesem
• Poster, Broschüren Fall werden die entsprechenden Kurzdar-
stellungen durch Sachbearbeiter des Auftragge-
• persönliche Diskussion bers erfolgen, was der Übereinstimmung der
Kurzdarstellung mit den tatsächlichen Projekt-
aussagen nicht immer dienlich ist.
Mit diesem Informationsverdichtungsprozeß
6.3.2 Informationsverdichtung verbunden ist natürlich die kaum vermeidbare
Gefahr, die Ergebnisse verzerrt wiederzugeben.
Eines der ungelösten Probleme sozialwissen- Unabhängig von der bestehenden Möglichkeit
schaftlicher Projektforschung ist die notwen- absichtlicher Manipulation wirken zahlreiche
dige Begrenzung des Umfanges des tatsächlich gut untersuchte psychologische Prozesse (etwa
handlungsrelevant werdenden Berichtes. Bei selektive Aufmerksamkeit, Halo-Effekte, Disso-
größeren, vielleicht auch wissenschaftlich in- nanzreduktionsmechanismen) auf den Verfas-
teressanten Projekten ist eine umfangreiche ser ein. Eine ausführlichere Darstellung findet
Dokumentation in Buchform üblich, die leicht sich bei Wottawa, (1981). Es soll nochmals be-
deutlich mehr als 500 Seiten umfassen kann tont werden, daß diese Mechanismen auch bei
(Beispiele dazu finden sich in Aurin et al. 1986; größter Sorgfalt nur bedingt einzuschränken
Seiffge-Krenke, 1981). Der Zwang zur wissen- sind und man aus entsprechenden Beobach-
schaftlichen Redlichkeit der Darstellung erfor- tungen nicht auf absichtliche Verzerrungen der
dert dabei umfangreiche Tabellen, die (wegen Autoren schließen sollte.
162 Durchführung von Evaluationsstudien

Nahezu unvermeidbare Angriffspunkte Auch hier ist wieder die Schwierigkeit, daß alle
diese Kritikpunkte voll zutreffen können, die
Die Kombination aus notwendig reduzierter Möglichkeit von schlechten, elementaren pro-
Informationsdarstellung und der hohen Plausi- fessionellen Standards nicht genügenden
bilität von Störfaktoren dabei fordert natürlich, Evaluationsprojekten ist natürlich gegeben. Da
gerade bei emotional kontroversen Ergebnissen, sich aber die Argumente nahezu bei jeder, auch
Kritiker mit anderer Meinung heraus. Diese sind noch so sorgfältigen Studie (falls diese ausrei-
im allgemeinen bei ihrer Argumentation bzw. chend komplex angelegt wurde) verwenden
Informationsdarstellung mindestens den glei- lassen, bleibt es dem Kritiker der Evaluations-
chen Verzerrungen ausgesetzt wie die eigent- projektkritiker (mit beliebiger Verallgemeine-
lichen Autoren, häufig sogar in stärkerem rung dieses Meta-Kritiker-Begriffes) überlassen,
Maße, da sie subjektiv das Gefühl haben, einer die Angemessenheit der Gegendarstellung zu
verzerrten Darstellung entgegentreten zu müssen bewerten. Im praxisbezogenen Evaluations-
und nur durch Überpointierung ihres Stand- bereich greifen die dafür in der Wissenschaft
punktes bei dem Adressaten eine letztlich aus- etablierten Mechanismen (eine breite, vielfälti-
gewogene Meinung erreichen zu können. ge und relativ wenig interessensbezogene Dis-
Fast immer zur Abwertung veröffentlichter kussion, ein allmähliches «Vergessenwerden»
Evaluationsberichte mögliche Argumentations- unzutreffender Interpretationen) aufgrund des
figuren sind: meist bestehenden Zeitdruckes nicht. Lösungen
für dieses Problem können nicht angeboten
• Offensichtliche methodische Schwächen werden – leider.
(daß es diese bei jedem größeren Vorhaben
gibt, wurde zum Beispiel in Abschnitt 5.2.2
begründet). 6.3.3 Mündliche Präsentation
• Es wurde nicht alles berücksichtigt und aus-
gewertet, was man unbedingt hätte tun müs- Für diese, besonders wichtige Form der Ergeb-
sen (siehe 6.2.3) nisdarstellung gilt zunächst ebenso wie für den
• Die verwendeten Operationalisierungen bzw. schriftlichen Bericht eine besondere Betonung
Meßmethoden sind fehlerhaft (vgl. dazu Ab- der «Zuhörerfreundlichkeit». Die technischen
schnitt 4.2.3). Kompetenzdefizite in der mündlichen Reprä-
• Die Autoren widersprechen sich selbst (es ist sentation sind bei vielen Studienabgängern
bei umfangreicheren Berichten sehr unwahr- noch gravierender als bei schriftlichen Darstel-
scheinlich, daß sich nicht inhaltlich ähnli- lungen, selbst für die Benutzung üblicher Me-
che, aber in der Aussagerichtung verschiede- dien fehlt häufig sowohl theoretisches Wissen
ne Kleindetailergebnisse und entsprechende als auch praktische Übung. Selbstverständlich
Interpretationen finden). sollte die freie, gegebenenfalls mediengestützte
• Die Ergebnisse sind nur singulär und nicht (Dias, Overhead-Folien) Rede sein, das Vorlesen
verallgemeinerbar (ein oft zutreffendes und vorbereiteter Manuskripte ist für die Zuhörer
im übrigen rhetorisch sehr gutes Argument, meist trostlos. Das Schreiben eines Textes, der
da sich große Evaluationsstudien im Regel- bei mündlichem Vortrag die Verständlichkeit
fall nicht wiederholen lassen). der freien Rede erreicht, ist eine ausgesprochene
• Die Ergebnisse sind offensichtlich unsinnig, Kunst, die nur wenige beherrschen. Zumindest
da sie entweder gesicherten wissenschaftli- elementare Grundsätze der Rhetorik sollte man
chen Ergebnissen widersprechen (bei sorgfäl- beachten, sie finden sich zum Beispiel in
tiger Suche lassen sich fast immer einige wi- Hirsch, 1985, Schuh und Watzke, 1983.
dersprechende Befunde in der Literatur
eruieren) oder von angesehenen Experten Im übrigen dürfte (abgesehen von langfristigen,
negativ bewertet wurden (in Anbetracht der geistesgeschichtlich bedingten Meinungswel-
Pluralität wissenschaftlicher Meinungen fin- len) dem Ansehen der Wissenschaft kaum etwa
det sich mit etwas Mühe auch dafür ein Be- so geschadet haben, wie die kontroverse öffent-
leg). liche Diskussion zu Evaluationsthemen, zum Bei-
spiel bzgl. gesetzlicher Regelungen, der Energie-
Durchführung von Evaluationsstudien 163
versorgung oder der Schulorganisation. Die übernimmt, eingeladen wird und zusätzlich
Unterstellung simpler Käuflichkeit wie etwa vielleicht noch in dem jeweiligen sozialen Netz-
durch den damaligen Vorsitzender der Gewerk- werk der zu einer bestimmten Meinung nei-
schaft Erziehung und Wissenschaft (Frister, gende Gruppe eingebunden ist, ist eine «gefärb-
1972) ist zwar für alle an Evaluationsvorhaben te» Betrachtungsweise sehr naheliegend. Da der
beteiligten Wissenschaftler eine Zumutung, aber Kollege den analogen Zwängen unterliegt,
in Anbetracht der dargelegten unvermeidbaren kann man sich wechselseitig so weit steigern,
Probleme bei Evaluationsprojekten und dem daß zum Schluß die Glaubwürdigkeit tatsäch-
fehlenden Kenntnisstand über diese Schwierig- lich fraglich wird und der Stil der Äußerungen
keit auch bei sich selbst kompetent fühlenden vielleicht manchmal an der Grenze dessen liegt,
Laien psychologisch verständlich. Im übrigen was man vor sich selbst gerne vertritt. Interes-
hat sicher auch der manchmal bedauerlich Stil sant ist das Phänomen, das nach dem offiziel-
von «wissenschaftlichen» Diskussionen in der len Teil solcher Veranstaltungen durchaus ein
Öffentlichkeit ganz wesentlich dazu beigetra- emotional herzliches Verhältnis zu dem Kon-
gen, das Ansehen (nicht nur, aber besonders) trahenten bestehen kann und man sich eigent-
der Sozialwissenschaften zu schädigen. Tatsäch- lich darüber einig ist, daß man jetzt ein biß-
lich führen verschiedene Formen der mündli- chen übertrieben hat.
chen Darstellung oder Diskussion von Evalua- Es ist schade, daß sich weder bei öffentlich-
tionsergebnissen zu Rollenzwängen, die eine im politischen noch bei kleineren, etwa für einen
Extrem selbst nicht mehr so ganz gerechtfertigt bestimmten Konzern oder eine bestimmte Kli-
erscheinende Überpointierung von Darstellun- nik relevanten Evaluationsvorhaben ein berufs-
gen nahelegen. Wenn man zu einer Veranstal- ethisch begründeter Konsens über akzeptable
tung schon als «Anwalt» für eine bestimmte Verhaltensweisen gerade bei der mündlichen
Position gemeinsam mit einem Kollegen, der Berichtlegung ergeben hat. Hier bleibt noch ei-
die gleiche Rolle für eine andere Auffassung niges zu tun.
164 Durchführung von Evaluationsstudien

Übersicht Kapitel 6:
Durchführung von Evaluationsstudien
6.1
Organisatorische Fragen
Fragen der Personalführung
Großfirma als Arbeitgeber Kleinere Unternehmen & private Kleininstitute
• meist professionelles Personal- aus der Sicht des Arbeitgebers aus der Sicht der Mitarbeiter
management & strukturierte • Mangel an fachlich qualifizier- • Unsicherheit des Arbeitsplatzes
Hierarchie tem Personal • Beschränkung auf Spezialisten-
• Informelle Machtstellung von tätigkeit
Spezialisten • geringe oder keine Aufstiegs-
• Unerwartete Kündigungen oder chancen
Ausfälle • geringe Unterstützung bei der
• Mangel an Personal zur individuellen Weiterbildung
Übernahme von Projekt-
Management-Aufgaben
Kontrolltechniken des Projektverlaufes

Zeitplanung Kostenplanung Qualitätsstandard


• detaillierte Zeitplanung bei der • Gegenüberstellung der • laufende Kontrolle der dem
Projektplanung geplanten Kosten mit veraus- Auftraggeber zugesicherten
gabten Beträgen Qualitätsstandards

Krisenmanagement
Typische Beispiele
• Änderung der Zielsetzung des • Unbekannte oder vom • Nicht vorhersehbare Reaktion
Projektes Auftraggeber verschwiegene • Personalausfälle
• Überlappungsprozesse Nebenwirkungen • absolut Unvorhersehbares
• Methodenartefakte

6.2
Auswertungsarbeiten
Datenerhebung Datenaufbereitung
Probleme bei der Interviewerhebung Hauptproblem bei der postalischen Probleme
• Schlechte Arbeitskonditionen, Befragung • Kodierfehler
fehlerhafte Adressenvorgaben, • Rücklaufquote • fehlerhafte Dateneingabe
schlecht aufgebaute Fragebö-
gen, Interviewer- bzw. Unter- Vorbeugende Maßnahmen Vorbeugende Maßnahmen
suchungsleitereffekte, Quoten- • Absender der Probanden auf dem • Doppelarbeiten
vorgaben, Bezahlung nach Couvert • Bezahlung nach Zeit und nicht
erfolgreich durchgeführten • Ausstellen von Code-Nummern nach «Stückzahl»
Interviews auf den Fragebögen • Verrechnung gefundener Fehler
• Rückcouvert mit Projektnummern • Plausibilitätskontrollen

Datenauswertung Datenschutz
Probleme
• Verwechslung von Variablennummern oder Codes • Beachtung des Bundesdaten-
• Selbstentwickelte Programme schutzgesetzes und der grund-
Vorbeugende Maßnahmen sätzlichen Gesetzlichen Richt-
• sorgfältige Arbeit linien zum Schutz der Privat-
• semantische Plausibilitätskontrolle sphäre

6.3
Berichtlegung
Zielgruppenanalyse Informationsverdichtung Mündliche Präsentation
Abstimmung der Berichtlegung mit Probleme • Beachtung unterschiedlicher
den Adressaten unter Beachtung • Absichtliche Manipulation Präsentationsmöglichkeiten von
von: • Psychologische Prozesse, z.B. Evaluationsergebnissen
• Sprachstil der Adressatengruppen Selektive Aufmerksamkeit, Halo- • Unterstützung der Präsentation
• Verwertungs- bzw. Effekt, Dissonanzeffekte durch Medien bzw.
Entscheidungszusammenhang Moderationstechniken
• unsachliche – emotionale • Vorteil advokatorischer
Komponenten des Auftraggebers Darstellung