Sparkling Science Projekt „Netkompass für Social Web“

Die Evaluation. Eine
Einführung.
Ein Handout
Farthofer Romana; Jadin Tanja
FH OÖ, Hagenberg, 2013




Seite 1

Inhaltsverzeichnis
1. Was ist eine Evaluation?.................................................................................................................. 2
2. Was ist eine Befragung? .................................................................................................................. 3
2.1. Die mündliche Befragung - Interview .......................................................................................... 3
2.1.1. Interviewverfälschungen ......................................................................................................... 4
2.1.2. Gründe für Antwortverfälschungen der Befragten ................................................................. 4
2.2. Die schriftliche Befragung - Fragebogen ..................................................................................... 5
2.2.1. Gütekriterien ........................................................................................................................... 5
2.2.2. Welche Arten von Fragen gibt es? .......................................................................................... 6
2.2.3. Welche Form von Fragen gibt es? ........................................................................................... 7
2.2.4. Wie formuliert man Fragen für sozialwissenschaftliche Befragungen? .................................. 7
2.3. Die 10 Gebote der Fragebogengestaltung .................................................................................. 7
2.4. Skalenniveaus ............................................................................................................................ 10
2.5. Auswertung von schriftlichen Befragungen .............................................................................. 11
2.6. Vorgehen bei schriftlichen Befragungen ................................................................................... 12
2.7. Vorgehen bei mündlichen Befragungen.................................................................................... 13





Seite 2

Bei einer Evaluation geht es immer darum
Maßnahmen, Interventionen oder Produkte zu
bewerten um anschließend Verbesserungen
durchführen zu können (Bortz & Döring, 2006).

1. Was ist eine Evaluation?
Evaluation heißt, dass man Informationen sammelt, analysiert und auswertet. Sie ist dazu da, dass man
beurteilen kann, wie man ein Projekt weiter-
plant, wie sich etwas entwickelt oder wie man
etwas gestalten soll (Tergan, 2004).
Hat man dann aussagekräftige Ergebnisse erhal-
ten, kann man Verbesserungsvorschläge und
Handlungsempfehlungen geben.


Beispiel: Hast du mit Evaluationen herausgefunden, dass jemand auf deiner Webseite deinen Beitrag
nicht liest, weil er so weit unten steht und so gar nicht richtig gesehen wird, kannst du das ändern, in-
dem du diesen dann weiter oben platziert.
Beispiel: Du befragst Leute, wie sie dein selbstgestaltetes Logo finden. Das Ergebnis zeigt, dass sie noch
einige Verbesserungsvorschläge für dich haben.

Vor der Wahl der Evaluationsmethoden muss man sich über folgende Punkte Gedanken machen:
o Evaluationsgegenstand (z. B. eine Webseite),
o Evaluationsziele (Was soll bewertet werden? Was möchtest du wissen und herausfinden?
Bsp.: ob man sich in der Navigation der Webseite zurechtfindet),
o Evaluationszeitpunkt und
 Summative Evaluation: untersucht am Ende eines Projektes das Produkt, z.B. eine fertige
Fotostory.
 Formative Evaluation: untersucht regelmäßig zwischendurch, ob es Verbesserungsvor-
schläge gibt, z.B.: während der Erstellung einer Fotostory.
o Dauer der Evaluation (zu einem bestimmten Zeitpunkt oder wiederholt?)

Ziel jeder Evaluation ist es zu einer abschließenden Bewertung bzw. Beurteilung zu kommen!

Eine der am häufigsten vorkommenden sozialwissenschaftlichen Erhebungsmethoden stellt die Befra-
gung dar. Dabei kann man in eine schriftliche und eine mündliche Befragung unterteilen.




Seite 3

2. Was ist eine Befragung?
Mit einer Befragung wird verbales Verhalten erfasst (Meinungen, Bewertungen, Einschätzun-
gen). Dabei sollen durch Fragen Antworten hervorgerufen werden. Die Antworten beziehen sich
dabei auf erlebte und erinnerte soziale Ereignisse, stellen Meinungen und Bewertungen dar (At-
teslander, 2010).
Beispiel: Schüler werden zu ihrer Mediennutzung befragt (z. B.: Edugroup, 2013)
Befragungen kann man unterscheiden (Wottawa & Thierau, 1998) nach:
1. der Kommunikationsart
Hierbei unterscheidet man mündliche und schriftliche Befragungen (Raithel, 2006)
2. dem Standardisierungsgrad
o Bei stark standardisierten Befragungen wird schon vorab überlegt, welche Fragen wann ge-
stellt werden. Das bedeutet, dass alle Fragen feststehen und auch in der Reihenfolge wie
sie gestellt werden.
o Bei teilstandardisierten Befragungen hat man sich schon ein paar Fragen zurechtgelegt, es
können aber Fragen, die im Gespräch entstehen aufgegriffen und tiefergehend befragt
werden. Auch kann man bezüglich der Reihenfolge der Fragen variieren.
o Nicht oder wenig standardisierte Befragungen sind recht offen. Dabei können Fragen zu ei-
nem Thema frei gewählt und formuliert werden, so kann man sich an die Antworten des
Gegenübers anpassen. Dabei gibt es jedoch einen entscheidenden Nachteil. Die Auswer-
tung und der Vergleich zwischen mehreren befragten Personen sind jedoch recht schwierig.
Dafür kann man jedoch sehr gut auf die jeweilige befragte Person eingehen und die Fragen
abhängig vom Interviewverlauf stellen (Diekmann, 2007; Atteslander, 2010).
3. der Anzahl der Befragten
o Die von einem Interviewer durchgeführte Befragung einer Person heißt Einzelinterview und
die Befragung mehrerer Personen Gruppeninterview (Bortz & Döring, 2006, S. 242).
4. der Häufigkeit (einmalig, mehrmalig)
o Einmalige Befragung
o Mehrmalige Befragung (Vorher- und Nachherbefragung)

Auszugsweise werden nun aus dem Bereich der sozialwissenschaftlichen Methoden, die mündliche und
schriftliche Befragung vorgestellt. Die Entscheidung welche Methode man für die Untersuchung ver-
wendet, hängt von der Fragestellung bzw. den Evaluationszielen ab.
2.1. Die mündliche Befragung - Interview
Eine mündliche Befragung wird auch als Interview bezeichnet.
Bei einem Interview gibt es zwei Arten von Beteiligten: die interviewende Person und den/die Befrag-
ten. Der Interviewer stellt dabei zu einem bestimmten Themengebiet Fragen.

Vorgehen
Zunächst legt man die zu erfragenden Themen fest und macht eine Makroplanung. Das heißt, dass man
die Struktur des Interviews festlegt, also es mehr oder weniger in Teilbereiche unterteilt, um sich dazu-



Seite 4

gehörig dann Fragen überlegen zu können. Dies gehört dann schon in die Mikroplanung, also zur detail-
lierten Planung des Interviews und die Planung der konkreten Interviewfragen.
2.1.1. Interviewverfälschungen
In einem Interview gilt es viele Faktoren zu berücksichtigen, die das Ergebnis beeinflussen können.
Es kann durchaus vorkommen, dass die interviewende Person unbewusst die Befragten beeinflusst. (z.B.
durch Alter, Geschlecht, Aussehen, Kleidung etc.).
Beispiel: Wichtig ist es, dass man sich auf die Interviewsituation vorbereitet. Das ist mit einem Bewer-
bungsgespräch vergleichbar. Je nachdem wo du dich bewirbst wirst du dir Gedanke über dein Auftreten
und deine Kleidung machen. Genauso ist es bei der Vorbereitung für ein Interview. Wenn du andere
Jugendliche zur ihrer Mediennutzung befragst, kannst du dich ruhig so kleiden wie immer. Wenn du
aber Interviews mit wichtigen Geschäftsführer/innen von großen Unternehmen führst, wirst du wohl
nicht gerade mit einer zerrissenen Jeans auftauchen. Deine Kleidung könnte schon das Interviewverhal-
ten deines Gesprächspartners beeinflussen, weil das Aussehen auch einen Eindruck beim Gegenüber
hinterlässt.
Deshalb ist es wichtig den Interviewer/in vor der Befragung zu schulen. Er/Sie braucht inhaltliche Kennt-
nisse über den Aufbau des Fragebogens. Außerdem sollte er/sie wissen, wie die Antworten zu dokumen-
tieren sind, und wie mit Verweigerungen umzugehen ist. Wichtig ist dabei, dass ein paar Probeinter-
views durchgeführt werden, um den Fragebogen zu testen und selbst sicherer zu werden.

Auch die Befragten können das Ergebnis des Interviews wesentlich verfälschen und beeinflussen. Es
kann zur Ablehnung von einzelnen Fragen oder Abbruch des ganzen Interviews kommen. Auch ist es
möglich, dass Antwortverfälschungen entstehen.
Nachfolgend sind einige dieser Antwortverfälschungen aufgezählt.
2.1.2. Gründe für Antwortverfälschungen der Befragten
Die befragte Person…
 möchte dem Interviewer gefallen und sagt das was sie glaubt, dass dieser hören möchte.
 ändert ihre natürlichen Meinungen und Einstellungen, weil sie an einer Studie teilnimmt. (=
Hawthorne-Effekt)
 hat geringe Lust sich „zu enthüllen und offenbaren“, also die eigene Meinung preiszugeben.
 hat den Wunsch nach Selbstdarstellung
 hat Angst vor negativen Auswirkungen nach dem Geben ehrlicher Antworten

Als weiterer Typ von Fehlerquellen können Merkmale des Interviews selbst, also zum Beispiel die For-
mulierung der Fragen oder Antwortkategorien genannt werden. Zur richtigen Formulierung von Fragen
später mehr.




Seite 5

2.2. Die schriftliche Befragung - Fragebogen
Bei der schriftlichen Befragung sitzt man der anderen Person nicht gegenüber und kann nicht darauf
eingehen, wenn die Befragten die Fragen nicht verstehen. Deshalb ist es hier besonders wichtig auf eine
verständliche Frageformulierung zu achten.
Man kann recherchieren, ob es vielleicht schon Fragebögen zu diesem Thema gegeben hat und eventu-
ell Teile von diesen verwenden. Wichtig dabei ist, wenn man einen Fragebogen von jemand anderen
oder Teile davon verwendet, dass man die verwendete Quelle in seinem Bericht angibt.

Wichtig ist auch hier die Reihenfolge, also die Abfolge der Fragen. Es hat sowohl Vor- als auch Nachteile
wenn man offene oder geschlossene Fragen verwendet, deshalb sollte man sich vorher genau überle-
gen, wie man welche Fragen stellt.

Dabei gibt es auch unterschiedliche Antwortformate, also kann eine Frage eine Mehrfachantwort zulas-
sen.
Beispiel: „Welche Hobbies hast du?“ (Du könntest ja z.B. nicht nur Snowboarden, sondern auch Lesen
und schwimmen als dein Hobby angeben)
Man kann diese Frage auch ohne vorgegebene Antwortkategorien stellen. Dies ist nachträglich sehr
schwierig auszuwerten, da du dir bei vielen befragten Perso-
nen, alle Antworten separat anschauen musst.

Außerdem gibt es auch Fragen, wo man selbst eine Wertung
abgeben muss, inwieweit diese auf einen selbst zutreffen.
Beispiel: „Wie sportlich bist du?“. Dabei gäbe es dann fünf
Unterpunkte – wie ein Notensystem, von sehr sportlich bis
überhaupt nicht sportlich, wo man sich dann als Befragter
einordnen kann. Zu den Antwortformaten aber später mehr.
2.2.1. Gütekriterien
Wichtig sind aber auch die Gütekriterien für eine schriftliche Befragung. Diese Gütekriterien werden
verwendet um festzustellen wie gut es mit dem Fragebogen gelingt das zu erheben was man tatsächlich
erheben möchte, wie gut das gelingt und ob jemand anderer, der den Fragebogen verwendet auf ähnli-
che Ergebnisse kommen würde. Nachfolgend werden diese noch genauer dargestellt.

 Objektivität: „Die Objektivität eines Tests gibt an, in welchem Ausmaß die Testergebnisse vom
Testanwender unabhängig sind“ (Bortz & Döring, 2002, S. 194). Dies bedeutet, dass die Befra-
gung auch eine andere Person machen könnte, und diese auf dasselbe Ergebnis kommt.
Beispiel: Du arbeitest in einer Gruppe, um einen Fragebogen zu erstellen. Deine Schulkolle-
gen/innen und du ziehen los um den Fragebogen auszuteilen. Dabei sollten die Fragen von den
befragten Personen unabhängig davon beantwortet werden, wer von euch den Fragebogen aus-
teilt.

 Reliabilität: „Die Reliabilität eines Tests kennzeichnet den Grad der Genauigkeit, mit dem das
geprüfte Merkmal gemessen wird“ (Bortz & Döring, 2002, S. 195). Die Reliabilität kann man auch
Mit einer Befragung wird ver-
bales Verhalten erfasst. Die
Antworten beziehen sich auf
erlebte und erinnerte soziale
Ereignisse, stellen Meinungen
und Bewertungen dar (Attes-
lander, 2010).



Seite 6

als Zuverlässigkeit der Befragung verstehen. Dies bedeutet, dass dieselbe Befragung unter den-
selben Bedingungen zum selben Ergebnis kommt.
Beispiel: Du befragst andere Schüler/innen wie zufrieden sie mit der Schulmensa sind. Wenn du
nur danach fragst: „wie zufrieden bist du mit der Schulmensa?“, bekommst du nur allgemeine
Aussagen und ein allgemeines Stimmungsbild der Mensa. Du weißt nicht ob die befragten Per-
sonen zufrieden sind mit dem Platzangebot, der Speisenauswahl oder dem Geschmack der Spei-
sen. Deshalb muss man hier genauer nachfragen und unterscheiden.

 Validität: „Die Validität eines Tests gibt an, wie gut der Test in der Lage ist, genau das zu mes-
sen, was er zu messen vorgibt“ (Bortz & Döring, 2002, S. 199). Die Validität ist also die Genauig-
keit eines Tests; man muss also immer die Ergebnisse kontrollieren, ob diese das messen, was
man herausfinden möchte – also ob die Antwort geben auf die Fragestellung, die man zu diesem
Thema hat.
Beispiel: Ein Interviewer möchte wissen, wie motiviert Schüler/innen sind, in die Schule zu ge-
hen. Dabei sollte man genau abfragen, was die Personen unter Motivation verstehen und was
auf ihre Motivation Einfluss hat. Es kann sein, dass Schüler Angst haben in die Schule zu gehen,
weil sie dort gemobbt werden. Aus diesem Grund sollte man dann die Fragen so stellen, dass
auch wirklich die Motivation in die Schule zu gehen gemessen wird und nicht insgeheim die
Angst vor der Schule.

All diese Faktoren sollte man in Erinnerung behalten, wenn man die Fragenformulierung für den Frage-
bogen beginnt. Dabei sollte man zuerst wissen, welche Arten von Fragen es gibt.
2.2.2. Welche Arten von Fragen gibt es?
 Faktfragen: Hier wird versucht, Fakten herauszufinden, zum Beispiel:
Beispiel: „Seit wann gehst du in diese Schule?“
 Wissensfragen: Mit diesen will man herausfinden, welches Wissen vorhanden ist:
Beispiel: „Wie ist die Hauptstadt von Belgien?“
 Demografische Fragen: Diese zielen auf die demografischen Daten ab (Alter, Geschlecht, Ausbil-
dung)
Beispiel: „Wie alt bist du?“
 Einschätzungsfragen: Hier werden konkrete Schätzungen von Personen abgefragt.
Beispiel: „Welcher Film wird deiner Meinung nach der beste des Jahres?“
 Bewertungsfragen: Hier zielt man auf Beurteilungen der Befragten ab.
Beispiel: „Wie beurteilst du das neue Album von Adele?“
 Einstellungsfragen: Dabei zielt man auf Meinungen der Teilnehmer zu einem Thema ab.
Beispiel: „Der Beitritt zur EU hat uns mehr Vor- als Nachteile gebracht.“
 Handlungsfragen: Dies sind konkrete Fragen zu Tätigkeiten und Handlungen.
Beispiel: „Was machst du zu Hause, um im Haushalt zu helfen?“

Außerdem kann man Fragen noch aufgrund ihrer Form unterscheiden, dabei gibt es geschlossene und
offene Fragen.



Seite 7

2.2.3. Welche Form von Fragen gibt es?
Grundsätzlich kann zwischen offenen und geschlossenen Fragen unterschieden werden.
 Geschlossene Fragen (Fragen mit Antwortvorgaben) sind bei schriftlichen Befragungen vorzu-
ziehen. Man verwendet sie vor allem, wenn Antwortvorgaben bekannt sind oder wenn die Aus-
wahl und die Zeit des Fragebogens begrenzt sind. Sie sind auch leichter auszuwerten.
Beispiel: „Wie viele Stunden täglich nutzt du das Internet?
Antwortmöglichkeiten: Gar nicht – unter 2 Stunden, 2 bis 5 Stunden, mehr als 5 Stunden.

 Offene Fragen sollten verwendet werden, wenn die Antwortvorgaben zu groß sind, man die Mo-
tivation steigern möchte und die Befragten nicht in eine Richtung gelenkt werden sollen.
Beispiel: „Was ist deiner Meinung nach die beste Band aller Zeiten?“.

2.2.4. Wie formuliert man Fragen für sozialwissenschaftliche Befragungen?
Grundsätzlich kann man überlegen, ob man Fragen als konkrete Fragestellung oder als Statement for-
muliert. Statements sollte man dann verwenden, wenn man Meinungen oder Einstellungen abfragt.
Konkretes, also Fakten zum Beispiel, können als Frage abgefragt werden.
Beispiel: „Ich bin der Meinung, dass Rockmusik besser ist als Hip-Hop“ (Statement, weil nach einer Mei-
nung gefragt wird). „Wo gehst du zur Schule? (Frage, über etwas Konkretes, dazu hat man keine Mei-
nung).

Fragen sollten so gestellt werden, dass man eine eindeutige Stellung beziehen muss, also sich ganz klar
für oder gegen ein Statement entscheiden muss. Wichtig ist dann, dass man später auch Fragen stellt,
die gegenteilig zu diesem Statement lauten. So lässt sich überprüfen, ob die Befragten eine eindeutige
Meinung zu einer Fragestellung hat und damit allgemeine Antworttendenzen vermieden werden.
Beispiel: Ich finde Facebook nützlich, weil ich dadurch mit vielen Freunden in Kontakt bin. (Antwortvor-
gaben: trifft voll und ganz zu bis trifft gar nicht zu. Dadurch kann man bei der Auswertung unterschei-
den, wie stark dieser Aussage zugestimmt wird.)

Verallgemeinernde Begriffe wie „immer“, „alle“, „keiner“ oder „niemals“ sollten in Fragen und State-
ments vermieden werden.
Beispiel: Alle Kinder haben Angst vor Fremden.
Beispiel: Ich bin immer bereit, anderen Menschen zu helfen.

Es gibt eine Vielzahl an Regeln zur Fragebogenerstellung. Nachfolgend werden die 10 Gebote nach Porst
(2009) aufgeführt, welche dir als Richtlinie und Hilfestellung dienen sollen.
2.3. Die 10 Gebote der Fragebogengestaltung
Porst (2009, S. 95ff) führt 10 Gebote der Fragebogengestaltung an. Diese sind dabei als Orientierung für
die Fragebogengestaltung zu sehen. Sie sind aber nicht vollständig, bilden aber ein Grundgerüst zur Fra-
generstellung und lassen sich noch erweitern.



Seite 8

1. Du sollst einfache, unzweideutige Begriffe verwenden, die von allen Befragten in gleicher Weise ver-
standen werden! (ebd., S. 98 f)
Schlechtes Beispiel: „Wie viel verdienen Sie im Monat?“ Diese Frage ist deshalb nicht gut gewählt, da
die Befragten unter dem monatlichen Einkommen etwas Verschiedenes verstehen könnten. Möglicher-
weise geben einige ihr Bruttoeinkommen, also ohne Abzüge an, andere hingegen ihr Nettoeinkommen.
So können die Antworten sehr weit auseinanderliegen und sich „Fehler“ einschleichen.
Besser: „Wie hoch ist Ihr monatliches Nettoeinkommen abzüglich Steuern und Sozialversicherungsbei-
trägen?“

2. Du sollst lange und komplexe Fragen vermeiden! (ebd., S. 99 f)
Schlechtes Beispiel: „Wie Sie wissen, sind manche Leute politisch ziemlich aktiv, andere Leute finden
dagegen oft keine Zeit oder haben kein Interesse, sich an politischen Dingen aktiv zu beteiligen. Ich lese
Ihnen jetzt eine Reihe von Sachen vor, die Leute tun. Bitte sagen Sie mir jedes Mal, wie oft Sie persönlich
so etwas tun bzw. wie häufig das bei Ihnen vorkommt. Zuerst: wie oft führen Sie eine politische Diskus-
sion?“ Die Frage ist viel zu lange und vollgepackt mit Aussagen, die nicht wichtig sind.
Besser: „Wie häufig nimmst du an öffentlichen Diskussionen zu politischen Themen teil?“

3. Du sollst hypothetische Fragen vermeiden! (ebd., S.100 f)
Schlechtes Beispiel: Jugendlichen wird folgende Frage gestellt: „Stellen Sie sich einmal vor, Sie wären
verheiratet und hätten einen Sohn im Alter von etwa 16 Jahren, der seine Lehre abbrechen möchte, um
Fußballprofi zu werden. Würden Sie ihn in diesem Wunsch unterstützen oder würden Sie ihm raten,
zuerst seine Ausbildung zu Ende zu bringen?“ Dabei kann es schwierig sein, sich als junger Mensch vor-
zustellen, dass man bereits verheiratet wäre, einen Sohn in dem Alter hätte, der seine Lehre wegen ei-
ner Fußballkarriere abbrechen möchte. Über ein solches Thema haben wohl die wenigsten Jugendlichen
bereits nachgedacht.
Besser: „Angenommen du hättest das Talent zum Fußballprofi und erhieltest das Angebot eines Bundes-
ligavereins. Dazu müsstest du deine begonnene Lehre abbrechen. Würdest du auf den Abschluss deiner
Lehre verzichten oder deine begonnene Lehre zum Abschluss bringen wollen?“

4. Du sollst doppelte Stimuli (Reize) oder Verneinungen vermeiden! (ebd., S. 102 f)
Schlechtes Beispiel: „Es ist nicht gut, wenn Kinder ihren Eltern nicht gehorchen“. Hier ist die doppelte
Verneinung schwierig, besser man formuliert den Satz positiv.
Besser: „Es ist gut, wenn Kinder ihren Eltern gehorchen.“

5. Du sollst Unterstellungen und suggestive Fragen vermeiden!
Schlechtes Beispiel: „Du bist sicher auch der Meinung, dass…“ Hier unterstellt man der befragten Per-
son, derselben Meinung zu sein und diese kann sich schnell in eine Ecke gedrängt fühlen.
Besser: „Bist du der Meinung, dass…“




Seite 9

6. Du sollst Fragen vermeiden, die auf Informationen abzielen, über die viele Befragte mutmaßlich nicht
verfügen!
Schlechtes Beispiel: „Wie heißt die zuständige Landesrätin für Bildung, Wissenschaft, Forschung, Frauen
und Jugend des Landes OÖ? (Eine Ausnahme besteht dann, wenn du wirklich konkret nach Wissen fra-
gen möchtest.)

7. Du sollst Fragen mit eindeutigem, zeitlichen
Bezug verwenden! (ebd., S. 106 f)
Schlechtes Beispiel: „Wie häufig sind Sie in den
letzten 10 Jahren im Kino gewesen?“ Einen Zeit-
raum von 10 Jahren zu wählen ist ziemlich un-
brauchbar. Oder weißt du noch wie häufig du in
den letzten 10 Jahren im Kino warst? Besser ist den
Zeitraum zeitlich mehr einzugrenzen.
Besser: „Wie häufig warst du in den letzten 4 Wo-
chen im Kino?“

8. Du sollst Antwortkategorien verwenden, die
erschöpfend und überschneidungsfrei sind!
Schlechtes Beispiel: „Wie viele Stunden täglich
nutzt du das Internet?
Antwortmöglichkeiten: Gar nicht – unter 2 Stun-
den, 2 bis 5 Stunden. Hier fehlt die Antwortmög-
lichkeit über 5 Stunden – es ist also nicht erschöp-
fend.
Besser: In diesem Beispiel als offene Frage formu-
lieren. Ansonsten auch eine Antwortkategorie wie
„mehr als 5 Stunden“ anfügen, damit alle mögli-
chen Antworten abgedeckt sind.

9. Du sollst sicherstellen, dass der Kontext einer
Frage sich nicht auf deren Beantwortung aus-
wirkt! (ebd., S. 110 f)
Beispiel: Bewertung einer politischen Partei, weil
eine konkrete Person der Partei beliebt ist.

10. Du sollst unklare Begriffe definieren!
Schlechtes Beispiel: „Bist du der Meinung, dass Blended Learning an Schulen eingesetzt werden soll?“
Weiß man als befragte Person nicht, was Blended Learning ist, ist es nahezu unmöglich auf diese Frage
eine Antwort zu geben. Dies kann soweit führen, dass die Frage nicht beantwortet, oder „falsch“ beant-
wortet wird, weil die Personen einfach irgendetwas ankreuzen. Besser ist es, das Fremdwort zu erklären,
bevor die eigentliche Frage gestellt wird.
10 Gebote der Fragebogengestaltung
Du sollst…
1. … einfache, unzweideutige Begriffe ver-
wenden, die von allen Befragten in glei-
cher Weise verstanden werden!
2. … lange und komplexe Fragen vermei-
den!
3. … hypothetische Fragen vermeiden!
4. … doppelte Stimuli und Verneinungen
vermeiden!
5. … Unterstellungen und suggestive Fragen
vermeiden!
6. … Fragen vermeiden, die auf Informatio-
nen abzielen, über die viele Befragte
mutmaßlich nicht verfügen!
7. … Fragen mit eindeutigem zeitlichen
Bezug verwenden!
8. … Antwortkategorien verwenden, die
erschöpfend und disjunkt überschnei-
dungsfrei) sind!
9. … sicherstellen, dass der Kontext einer
Frage sich nicht (unkontrolliert) auf de-
ren Beantwortung auswirkt!
10. … unklare Begriffe definieren!



Seite 10

Besser: Blended Learning verbindet Präsenzlehre und Lernen mit digitalen Medien (E-Learning). Bist du
der Meinung, dass Blended Learning an Schulen eingesetzt werden soll?“

Nun gibt es noch ein paar wichtige Aspekte, die zur Auswertung von schriftlichen Befragungen erwäh-
nenswert sind.
2.4. Skalenniveaus
Das Messniveau, beziehungsweise die Skalenniveaus sollte man kennen, weil diese mit den statistischen
Auswertungen zusammenhängen.

1. Nominal-Skala: Bei einer Nominalskala kann nur zwischen Gleichheit und Ungleichheit der Werte
unterschieden werden; es besteht keine Wertigkeit (eine Antwort ist nicht größer als eine andere)
Ein nominal skaliertes Merkmal kann dichotom (= es hat zwei Ausprägungen) oder polytom (= meh-
rere Ausprägungen) sein.
Beispiel: „Welches Geschlecht hast du?“ (dichotom – nur zwei Antwortvorgaben)
Beispiel: „Wie ist dein Beziehungsstatus? Antworten: ledig / verheiratet / geschieden / verwitwet
(polytom – mehrere Antwortvorgaben)

2. Ordinal-Skala: Die Ausprägungen unterliegen einer Rangordnung, es kann also eine Beziehung „grö-
ßer als“ und „kleiner als“ hergestellt werden.
Beispiel: „Wie sehr interessierst du dich für Politik?“ Antworten: Sehr stark, stark, mittel, wenig, gar
nicht (auch hier kann eine Rangordnung erkannt werden. Sehr stark ist höher als mittel)
Beispiel: Bestes Beispiel hierfür sind Schulnoten. Die Noten von eins bis fünf bilden eine Rangord-
nung. Note 1 ist besser als Note 2, ich habe aber keine Auskunft darüber, ob der Unterschied zwi-
schen Note 1 und 2 gleich groß ist wie der zwischen Note 3 und Note 4. Diese Auskunft geben uns
Fragen der nächsten Skalenart, der Intervall-Skala.

3. Intervall-Skala: Hier sind die Abstände zwischen den Antwortmöglichkeiten der Rangordnung gleich.
Beispiel: Ein gutes Verständnisbeispiel ist die Temperaturmessung. Die Abstände zwischen 5°C und
10°C sind genauso groß wie zwischen 27°C und 32°C oder 54°C und 59 °C. Der Unterschied zur nächs-
ten Skala ist, dass es hier keinen Nullpunkt gibt. Es gibt zwar den Wert 0°C, dieser ist jedoch eigent-
lich kein Nullpunkt – schließlich weißt du ja, dass es auch Temperaturen darunter gibt.
Beispiel: Man will verschiedene Aussagen zur Mediennutzung abfragen und führt im Fragebogen fol-
gendes Statement an: „Ich nutze das Internet während der Woche hauptsächlich für schulische Zwe-
cke.“ Dabei gibt es dann folgende Auswahl der Antwortmöglichkeiten, die der Befragte ankreuzen
kann: „stimme voll und ganz zu, stimme eher zu, teils teils, stimme eher nicht zu, stimme überhaupt
nicht zu.
Dabei werden die Abstände als gleich angenommen. Man muss also sehr gut auf die Formulierung
auf die Antwortvorgaben achten.

4. Verhältnis-Skala: Dies sind Intervallskalen mit einem echten Nullpunkt.



Seite 11

Beispiel: „Wie viele Bücher hast du im Jahr 2012 gelesen?“, „Wie viele Geschwister unter 10 Jahren
hast du?“ Bei beiden Fragen gibt es die Antwortmöglichkeit Null – sie besitzen also einen echten
Nullpunkt und gehören deshalb zur Verhältnis-Skala.
2.5. Auswertung von schriftlichen Befragungen
Wichtig zu wissen ist, dass die gerade erläuterten Skalenniveaus aufsteigend sind, angefangen mit der
kleinsten – der Nominalskala bis zur größten – der Verhältnisskala. Das heißt so viel, dass alle Rechen-
operationen, die man mit Nominalskalen durchführen kann, auch bei einer Ordinalskala gemacht wer-
den können. Jedoch kann aber eine Nominalskala, weil sie kleiner als die Ordinalskala ist, nicht alle Ope-
rationen von dieser durchführen. Mit einer Verhältnisskala kann man alle Rechenoperationen der vorhe-
rigen Skalen durchführen, siehe Tabelle 1.
Skalenniveau Rechenoperationen
Nominalskala Häufigkeit (Anzahl), Modalwert
Ordinalskala Häufigkeit (Anzahl), Modalwert, Median
Intervallskala Häufigkeit (Anzahl), Modalwert, Median, Mittelwert, Varianz, Standardabwei-
chung
Verhältnisskala Häufigkeit (Anzahl), Modalwert, Median, Mittelwert, Varianz, Standardabwei-
chung
Tabelle 1: Durchführbare Rechenoperationen je Skalenniveau (eigene Darstellung)

Nachfolgend wird versucht, auf die jeweiligen Rechenoperationen einzugehen und diese näher zu erklä-
ren.
Modalwert oder Modus
Das ist der Wert, der am häufigsten vorkommt, also am häufigsten von den befragten Personen genannt
wurde (Atteslander, 2010).
Beispiel: Angenommen eine Tüte Haribo-Bären hat grüne, gelbe, rote und weiße Exemplare in sich. Für
die Auswertung geben wir grün den Wert 1, gelb den Wert 2, rot den Wert 3 und weiß den Wert 4.
Nachdem wir alle gezählt haben, sehen wir, dass grüne Bären am häufigsten vorkommen. Der Modal-
wert ist also 1.
Median
Der Median ist der Wert, der direkt in der Mitte der Verteilung liegt. Er teilt die Verteilung in 50 Prozent
über ihm und 50 % der Werte, die unter ihm liegen (Atteslander, 2010).
Beispiel: Wir fragen 6 Personen nach ihrem Gewicht: Die Antworten lauteten 40kg, 42kg, 44kg, 46kg,
52kg und 65kg. Die Antworten sind nun schon aufsteigend gereiht. Wir nehmen die beiden Werte in der
Mitte, also 44kg und 46kg. Damit wir den Wert bekommen, der in der Mitte von diesen steht, addieren



Seite 12

wir die beiden und rechnen den Durchschnitt (also 44+46 = 90/2 = 45). Der Median in dieser Aufgabe ist
also 45kg.
Mittelwert
Der Mittelwert ist der Durchschnitt der Antworten. Sehen wir uns das Merkmal Alter in einer Stichprobe
aus 5 Personen an. Die Messwerte sind 14, 17, 20, 24 und 25 Jahre. Nun addiert man alle Werte und
rechnet die Summe davon, durch die Anzahl der Werte. Der Mittelwert beträgt also in diesem Fall 100/5
= 20 Jahre.
Varianz
Die Varianz gibt die mittlere quadratische Abweichung der Ergebnisse einer Stichprobe um ihren Mit-
telwert an (Atteslander, 2010).
Beispiel: Führen wir das Beispiel oben weiter. Wir nehmen wieder das Alter dieser 5 Personen und be-
rechnen den Mittelwert. Dieser ist 100/5 = 20 Jahre. Nun werden die Abweichungen der einzelnen
Messwerte (14, 17, 20, 24, 25) vom Mittelwert berechnet: (14-20) = -6, (17-20) = -3, (20-20) = 0, (24-20)
= 4 und (25-20) = 5. Nun nehmen wir diese Werte und quadrieren (x²) sie. Die quadrierten Abweichun-
gen betragen also 36 (6²), 9 (3²), 0 (0²), 16 (4²), 25 (5²). Diese und ergeben eine Summe von 86. Die Vari-
anz beträgt somit diese Summe dividiert durch die Anzahl der Werte, also 86/5 = 17,2 Jahre.
Standardabweichung
Die Standardabweichung ist die durchschnittliche Entfernung aller gemessenen Werte einer Frage vom
Durchschnitt. Eine kleine Standardabweichung gibt an, dass die gemessenen Ausprägungen eines
Merkmals eher enger um den Mittelwert liegen, eine größere Standardabweichung gibt eine stärkere
Streuung an.
Es gilt, dass innerhalb der Entfernung einer Standardabweichung nach oben und unten vom Mittelwert
rund 68 Prozent alle Antworten liegen. Im Umkreis von zwei Standardabweichungen sind es rund 95
Prozent aller Werte. Ist dies der Fall spricht man von einer Normalverteilung des Merkmals. Bei größe-
ren Abweichungen spricht man von Ausreißern.
Zieht man die Wurzel aus der Varianz, dann erhält man die Standardabweichung (Atteslander, 2010).
Beispiel: Ziehen wir also aus der Varianz des vorherigen Beispiels die Wurzel erhalten wir 4,15, also ist
die Standardabweichung rund 4 Jahre. Die durchschnittliche Entfernung zum Mittelwert, in unserem
Beispiel, 20 Jahre ist also 4 Jahre. Mindestens 68 % der Werte soll sich also zwischen 16 und 24 Jahren
befinden.
Nachfolgend noch eine Zusammenfassung der wichtigsten Informationen zur Durchführung von Befra-
gungen und Interviews.
2.6. Vorgehen bei schriftlichen Befragungen
 Bereite einen guten Fragebogen vor. Worauf du dabei achten solltest, findest du in einem beige-
fügten Template.



Seite 13

 Die theoretischen Grundlagen, wie Fragen formuliert werden können, kannst du hier im Hand-
out nachlesen.
 Zusammengefasst ist unter anderem wichtig, dass du kurze, verständliche und positiv formulier-
te Fragen stellst. Vermeide doppelte Verneinungen und decke mit den Antwortvorgaben alle
Möglichkeiten ab (auch trifft nicht zu, bzw. weiß nicht-Antworten sind wichtig).
 Achte dabei darauf, dass der Fragebogen nicht zu lange ist.
 Wie bei einer guten Geschichte gliedert sich eine Befragung in Einleitung, Hauptteil und Schluss.
o Stelle zu Beginn Einleitungsfragen, die interessant und leicht zu beantworten sind.
o Der Mittelteil führt langsam zum Thema hin und bringt die Befragung zum Höhepunkt –
dem was du als Interviewer am interessantesten findest.
o Der Fragebogen endet mit den demografischen Daten, also den Daten zur Person (Alter,
Geschlecht, Ausbildung…)
 Vergiss nicht einen Pretest, also eine Überprüfung deines Fragebogens vor der wirklichen Befra-
gung durchzuführen. So kannst du erkennen, ob es noch Verbesserungen dafür gibt.
 Achte darauf, dass dein Fragebogen den drei Gütekriterien entspricht (siehe Kapitel 2.2.1 Güte-
kriterien)
 Lege für die Befragung eine Zielgruppe fest, z. B. Jugendliche zwischen 14 und 17 Jahren und
versuche viele Personen zu finden, die deinen Fragebogen beantworten.
 Werte die Ergebnisse gründlich aus, einige einfache Berechnungen findest du in Kapitel 2.5
Auswertung von schriftlichen Befragungen.

Der Vollständigkeit wegen wird nun auch noch auf das Vorgehen bei mündlichen Befragungen einge-
gangen.
2.7. Vorgehen bei mündlichen Befragungen
Vor einem Interview
 Bereite einen guten Interviewleitfaden vor.
 Die theoretischen Grundlagen, wie Fragen formuliert werden können, kannst du hier im Hand-
out nachlesen.
 Entscheide dich dafür, ob du einen stark standardisierten, teilstandardisierten oder nicht stan-
dardisierten Leitfaden für dein Interview vorziehst. Denke daran, es hat alles seine Vor- und
Nachteile (siehe Kapitel 2).
 Achte auch darauf, dass das Interview nicht zu lange ist.
 Versuche den Leitfaden folgendermaßen zu gliedern:
o Stelle zu Beginn Fragen zu den demografischen Daten, also den Daten zur Person (Alter,
Geschlecht, Ausbildung…).
o Danach solltest du mit Einleitungsfragen fortfahren, die interessant und leicht zu be-
antworten sind.
o Nun führe langsam zum Thema hin und bringe die Befragung zum Höhepunkt – dem
was du als Interviewer am interessantesten findest.
 Vergiss nicht einen Pretest, also eine Überprüfung deines Leitfadens vor dem wirklichen Inter-
view durchzuführen. So kannst du erkennen, ob es noch Verbesserungen dafür gibt.



Seite 14


Während eines Interviews
Gemäß Bortz und Döring (2002) sollte man folgende Punkte während eines Interviews beachten:
 Vor dem Interview sollte man den Ort und die ungefähre Dauer des Interviews bekanntgeben.
Außerdem sollte allen Beteiligten das Ziel des Interviews, also die Themen die behandelt wer-
den, bewusst sein.
Da ein Interview aufgezeichnet werden sollte, muss dies den Interviewpartnern erklärt werden.
Dieser muss natürlich damit einverstanden sein. Dadurch soll keine störende oder beängstigen-
de Stimmung für alle Beteiligten geschaffen werden.
 Die Befragten sollen alles sagen können und die Interviewer sollten die eigene Meinung, ob Zu-
stimmung oder Ablehnung, verbergen.
 Die gestellten Fragen sollen kurz und leicht verständlich sein.
Frage recht oft nach, z.B. „Du hast gesagt dir hat die Situation nicht gefallen. Was hat dir denn
genau nicht zugesagt?“
 Schaffe eine gute Atmosphäre für die Teilnehmer deines Interviews. Ein Interview ist schon un-
gewöhnlich genug, deshalb solltest du versuchen eine Umgebung zu schaffen, wo sich der Inter-
viewte so gut es geht wohlfühlen kann.
 Vermittle dem Befragten, dass er der Experte ist. Seine Antworten sind wichtig für dich als Inter-
viewer. So kannst du garantieren, dass ihr euch gegenseitig respektiert.
 Erkläre dem Befragten, dass seine Daten anonymisiert werden und niemand nach der Auswer-
tung weiß, was er gesagt hat.
 Die Befragte soll verabschiedet werden und mit einer guten Stimmung das Interview verlassen.

Wenn du all diese Tipps und Tricks befolgst, steht tollen Ergebnissen deiner zukünftigen Evaluationen
nichts mehr im Wege. 


Literatur:
Atteslander, P. (2010). Methoden der empirischen Sozialforschung (13. Auflage). Berlin: ES Verlag.
Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation: für Human- und Sozialwissenschaftler
(4. überarbeitete Auflage). Berlin: Springer.
Edugroup (2013). 3. Oö. Jugend-Medien-Studie 2013. URL
http://www.edugroup.at/fileadmin/DAM/Innovation/News_Dateien/WEB_Zsf_Jugend-Medien-
Studie.pdf.
Porst, R. (2009). Fragebogen. Ein Arbeitsbuch (2. Auflage). Wiesbaden: VS Verlag für Sozialwissenschaf-
ten.



Seite 15

Raithel, J. (2008). Quantitative Forschung. Ein Praxisbuch (2. Auflage). Wiesbaden: VS Verlag für Sozial-
wissenschaften.
Tergan, S.-O. (2004). Realistische Qualitätsevaluation von E-Learning. In D. Meister, S.-O. Tergan & P.
Zentel (Hrsg.). Evaluation von E-Learning (S. 131-154). Münster: Waxmann.
Wottawa, H. & Thierau, H. (1998). Lehrbuch Evaluation. (2., vollständig überarbeitete Auflage). Bern:
Huber.

Sign up to vote on this title
UsefulNot useful