Sparkling Science Projekt Netkompass fr Social Web

Die Evaluation. Eine

Einfhrung.
Ein Handout
Farthofer Romana; Jadin Tanja
FH O, Hagenberg, 2013




Seite 1

Inhaltsverzeichnis
1. Was ist eine Evaluation?.................................................................................................................. 2
2. Was ist eine Befragung? .................................................................................................................. 3
2.1. Die mndliche Befragung - Interview .......................................................................................... 3
2.1.1. Interviewverflschungen ......................................................................................................... 4
2.1.2. Grnde fr Antwortverflschungen der Befragten ................................................................. 4
2.2. Die schriftliche Befragung - Fragebogen ..................................................................................... 5
2.2.1. Gtekriterien ........................................................................................................................... 5
2.2.2. Welche Arten von Fragen gibt es? .......................................................................................... 6
2.2.3. Welche Form von Fragen gibt es? ........................................................................................... 7
2.2.4. Wie formuliert man Fragen fr sozialwissenschaftliche Befragungen? .................................. 7
2.3. Die 10 Gebote der Fragebogengestaltung .................................................................................. 7
2.4. Skalenniveaus ............................................................................................................................ 10
2.5. Auswertung von schriftlichen Befragungen .............................................................................. 11
2.6. Vorgehen bei schriftlichen Befragungen ................................................................................... 12
2.7. Vorgehen bei mndlichen Befragungen.................................................................................... 13





Seite 2

Bei einer Evaluation geht es immer darum
Manahmen, Interventionen oder Produkte zu
bewerten um anschlieend Verbesserungen
durchfhren zu knnen (Bortz & Dring, 2006).

1. Was ist eine Evaluation?
Evaluation heit, dass man Informationen sammelt, analysiert und auswertet. Sie ist dazu da, dass man
beurteilen kann, wie man ein Projekt weiter-
plant, wie sich etwas entwickelt oder wie man
etwas gestalten soll (Tergan, 2004).
Hat man dann aussagekrftige Ergebnisse erhal-
ten, kann man Verbesserungsvorschlge und
Handlungsempfehlungen geben.


Beispiel: Hast du mit Evaluationen herausgefunden, dass jemand auf deiner Webseite deinen Beitrag
nicht liest, weil er so weit unten steht und so gar nicht richtig gesehen wird, kannst du das ndern, in-
dem du diesen dann weiter oben platziert.
Beispiel: Du befragst Leute, wie sie dein selbstgestaltetes Logo finden. Das Ergebnis zeigt, dass sie noch
einige Verbesserungsvorschlge fr dich haben.

Vor der Wahl der Evaluationsmethoden muss man sich ber folgende Punkte Gedanken machen:
o Evaluationsgegenstand (z. B. eine Webseite),
o Evaluationsziele (Was soll bewertet werden? Was mchtest du wissen und herausfinden?
Bsp.: ob man sich in der Navigation der Webseite zurechtfindet),
o Evaluationszeitpunkt und
Summative Evaluation: untersucht am Ende eines Projektes das Produkt, z.B. eine fertige
Fotostory.
Formative Evaluation: untersucht regelmig zwischendurch, ob es Verbesserungsvor-
schlge gibt, z.B.: whrend der Erstellung einer Fotostory.
o Dauer der Evaluation (zu einem bestimmten Zeitpunkt oder wiederholt?)

Ziel jeder Evaluation ist es zu einer abschlieenden Bewertung bzw. Beurteilung zu kommen!

Eine der am hufigsten vorkommenden sozialwissenschaftlichen Erhebungsmethoden stellt die Befra-
gung dar. Dabei kann man in eine schriftliche und eine mndliche Befragung unterteilen.




Seite 3

2. Was ist eine Befragung?
Mit einer Befragung wird verbales Verhalten erfasst (Meinungen, Bewertungen, Einschtzun-
gen). Dabei sollen durch Fragen Antworten hervorgerufen werden. Die Antworten beziehen sich
dabei auf erlebte und erinnerte soziale Ereignisse, stellen Meinungen und Bewertungen dar (At-
teslander, 2010).
Beispiel: Schler werden zu ihrer Mediennutzung befragt (z. B.: Edugroup, 2013)
Befragungen kann man unterscheiden (Wottawa & Thierau, 1998) nach:
1. der Kommunikationsart
Hierbei unterscheidet man mndliche und schriftliche Befragungen (Raithel, 2006)
2. dem Standardisierungsgrad
o Bei stark standardisierten Befragungen wird schon vorab berlegt, welche Fragen wann ge-
stellt werden. Das bedeutet, dass alle Fragen feststehen und auch in der Reihenfolge wie
sie gestellt werden.
o Bei teilstandardisierten Befragungen hat man sich schon ein paar Fragen zurechtgelegt, es
knnen aber Fragen, die im Gesprch entstehen aufgegriffen und tiefergehend befragt
werden. Auch kann man bezglich der Reihenfolge der Fragen variieren.
o Nicht oder wenig standardisierte Befragungen sind recht offen. Dabei knnen Fragen zu ei-
nem Thema frei gewhlt und formuliert werden, so kann man sich an die Antworten des
Gegenbers anpassen. Dabei gibt es jedoch einen entscheidenden Nachteil. Die Auswer-
tung und der Vergleich zwischen mehreren befragten Personen sind jedoch recht schwierig.
Dafr kann man jedoch sehr gut auf die jeweilige befragte Person eingehen und die Fragen
abhngig vom Interviewverlauf stellen (Diekmann, 2007; Atteslander, 2010).
3. der Anzahl der Befragten
o Die von einem Interviewer durchgefhrte Befragung einer Person heit Einzelinterview und
die Befragung mehrerer Personen Gruppeninterview (Bortz & Dring, 2006, S. 242).
4. der Hufigkeit (einmalig, mehrmalig)
o Einmalige Befragung
o Mehrmalige Befragung (Vorher- und Nachherbefragung)

Auszugsweise werden nun aus dem Bereich der sozialwissenschaftlichen Methoden, die mndliche und
schriftliche Befragung vorgestellt. Die Entscheidung welche Methode man fr die Untersuchung ver-
wendet, hngt von der Fragestellung bzw. den Evaluationszielen ab.
2.1. Die mndliche Befragung - Interview
Eine mndliche Befragung wird auch als Interview bezeichnet.
Bei einem Interview gibt es zwei Arten von Beteiligten: die interviewende Person und den/die Befrag-
ten. Der Interviewer stellt dabei zu einem bestimmten Themengebiet Fragen.

Vorgehen
Zunchst legt man die zu erfragenden Themen fest und macht eine Makroplanung. Das heit, dass man
die Struktur des Interviews festlegt, also es mehr oder weniger in Teilbereiche unterteilt, um sich dazu-



Seite 4

gehrig dann Fragen berlegen zu knnen. Dies gehrt dann schon in die Mikroplanung, also zur detail-
lierten Planung des Interviews und die Planung der konkreten Interviewfragen.
2.1.1. Interviewverflschungen
In einem Interview gilt es viele Faktoren zu bercksichtigen, die das Ergebnis beeinflussen knnen.
Es kann durchaus vorkommen, dass die interviewende Person unbewusst die Befragten beeinflusst. (z.B.
durch Alter, Geschlecht, Aussehen, Kleidung etc.).
Beispiel: Wichtig ist es, dass man sich auf die Interviewsituation vorbereitet. Das ist mit einem Bewer-
bungsgesprch vergleichbar. Je nachdem wo du dich bewirbst wirst du dir Gedanke ber dein Auftreten
und deine Kleidung machen. Genauso ist es bei der Vorbereitung fr ein Interview. Wenn du andere
Jugendliche zur ihrer Mediennutzung befragst, kannst du dich ruhig so kleiden wie immer. Wenn du
aber Interviews mit wichtigen Geschftsfhrer/innen von groen Unternehmen fhrst, wirst du wohl
nicht gerade mit einer zerrissenen Jeans auftauchen. Deine Kleidung knnte schon das Interviewverhal-
ten deines Gesprchspartners beeinflussen, weil das Aussehen auch einen Eindruck beim Gegenber
hinterlsst.
Deshalb ist es wichtig den Interviewer/in vor der Befragung zu schulen. Er/Sie braucht inhaltliche Kennt-
nisse ber den Aufbau des Fragebogens. Auerdem sollte er/sie wissen, wie die Antworten zu dokumen-
tieren sind, und wie mit Verweigerungen umzugehen ist. Wichtig ist dabei, dass ein paar Probeinter-
views durchgefhrt werden, um den Fragebogen zu testen und selbst sicherer zu werden.

Auch die Befragten knnen das Ergebnis des Interviews wesentlich verflschen und beeinflussen. Es
kann zur Ablehnung von einzelnen Fragen oder Abbruch des ganzen Interviews kommen. Auch ist es
mglich, dass Antwortverflschungen entstehen.
Nachfolgend sind einige dieser Antwortverflschungen aufgezhlt.
2.1.2. Grnde fr Antwortverflschungen der Befragten
Die befragte Person
mchte dem Interviewer gefallen und sagt das was sie glaubt, dass dieser hren mchte.
ndert ihre natrlichen Meinungen und Einstellungen, weil sie an einer Studie teilnimmt. (=
Hawthorne-Effekt)
hat geringe Lust sich zu enthllen und offenbaren, also die eigene Meinung preiszugeben.
hat den Wunsch nach Selbstdarstellung
hat Angst vor negativen Auswirkungen nach dem Geben ehrlicher Antworten

Als weiterer Typ von Fehlerquellen knnen Merkmale des Interviews selbst, also zum Beispiel die For-
mulierung der Fragen oder Antwortkategorien genannt werden. Zur richtigen Formulierung von Fragen
spter mehr.




Seite 5

2.2. Die schriftliche Befragung - Fragebogen
Bei der schriftlichen Befragung sitzt man der anderen Person nicht gegenber und kann nicht darauf
eingehen, wenn die Befragten die Fragen nicht verstehen. Deshalb ist es hier besonders wichtig auf eine
verstndliche Frageformulierung zu achten.
Man kann recherchieren, ob es vielleicht schon Fragebgen zu diesem Thema gegeben hat und eventu-
ell Teile von diesen verwenden. Wichtig dabei ist, wenn man einen Fragebogen von jemand anderen
oder Teile davon verwendet, dass man die verwendete Quelle in seinem Bericht angibt.

Wichtig ist auch hier die Reihenfolge, also die Abfolge der Fragen. Es hat sowohl Vor- als auch Nachteile
wenn man offene oder geschlossene Fragen verwendet, deshalb sollte man sich vorher genau berle-
gen, wie man welche Fragen stellt.

Dabei gibt es auch unterschiedliche Antwortformate, also kann eine Frage eine Mehrfachantwort zulas-
sen.
Beispiel: Welche Hobbies hast du? (Du knntest ja z.B. nicht nur Snowboarden, sondern auch Lesen
und schwimmen als dein Hobby angeben)
Man kann diese Frage auch ohne vorgegebene Antwortkategorien stellen. Dies ist nachtrglich sehr
schwierig auszuwerten, da du dir bei vielen befragten Perso-
nen, alle Antworten separat anschauen musst.

Auerdem gibt es auch Fragen, wo man selbst eine Wertung
abgeben muss, inwieweit diese auf einen selbst zutreffen.
Beispiel: Wie sportlich bist du?. Dabei gbe es dann fnf
Unterpunkte wie ein Notensystem, von sehr sportlich bis
berhaupt nicht sportlich, wo man sich dann als Befragter
einordnen kann. Zu den Antwortformaten aber spter mehr.
2.2.1. Gtekriterien
Wichtig sind aber auch die Gtekriterien fr eine schriftliche Befragung. Diese Gtekriterien werden
verwendet um festzustellen wie gut es mit dem Fragebogen gelingt das zu erheben was man tatschlich
erheben mchte, wie gut das gelingt und ob jemand anderer, der den Fragebogen verwendet auf hnli-
che Ergebnisse kommen wrde. Nachfolgend werden diese noch genauer dargestellt.

Objektivitt: Die Objektivitt eines Tests gibt an, in welchem Ausma die Testergebnisse vom
Testanwender unabhngig sind (Bortz & Dring, 2002, S. 194). Dies bedeutet, dass die Befra-
gung auch eine andere Person machen knnte, und diese auf dasselbe Ergebnis kommt.
Beispiel: Du arbeitest in einer Gruppe, um einen Fragebogen zu erstellen. Deine Schulkolle-
gen/innen und du ziehen los um den Fragebogen auszuteilen. Dabei sollten die Fragen von den
befragten Personen unabhngig davon beantwortet werden, wer von euch den Fragebogen aus-
teilt.

Reliabilitt: Die Reliabilitt eines Tests kennzeichnet den Grad der Genauigkeit, mit dem das
geprfte Merkmal gemessen wird (Bortz & Dring, 2002, S. 195). Die Reliabilitt kann man auch
Mit einer Befragung wird ver-
bales Verhalten erfasst. Die
Antworten beziehen sich auf
erlebte und erinnerte soziale
Ereignisse, stellen Meinungen
und Bewertungen dar (Attes-
lander, 2010).



Seite 6

als Zuverlssigkeit der Befragung verstehen. Dies bedeutet, dass dieselbe Befragung unter den-
selben Bedingungen zum selben Ergebnis kommt.
Beispiel: Du befragst andere Schler/innen wie zufrieden sie mit der Schulmensa sind. Wenn du
nur danach fragst: wie zufrieden bist du mit der Schulmensa?, bekommst du nur allgemeine
Aussagen und ein allgemeines Stimmungsbild der Mensa. Du weit nicht ob die befragten Per-
sonen zufrieden sind mit dem Platzangebot, der Speisenauswahl oder dem Geschmack der Spei-
sen. Deshalb muss man hier genauer nachfragen und unterscheiden.

Validitt: Die Validitt eines Tests gibt an, wie gut der Test in der Lage ist, genau das zu mes-
sen, was er zu messen vorgibt (Bortz & Dring, 2002, S. 199). Die Validitt ist also die Genauig-
keit eines Tests; man muss also immer die Ergebnisse kontrollieren, ob diese das messen, was
man herausfinden mchte also ob die Antwort geben auf die Fragestellung, die man zu diesem
Thema hat.
Beispiel: Ein Interviewer mchte wissen, wie motiviert Schler/innen sind, in die Schule zu ge-
hen. Dabei sollte man genau abfragen, was die Personen unter Motivation verstehen und was
auf ihre Motivation Einfluss hat. Es kann sein, dass Schler Angst haben in die Schule zu gehen,
weil sie dort gemobbt werden. Aus diesem Grund sollte man dann die Fragen so stellen, dass
auch wirklich die Motivation in die Schule zu gehen gemessen wird und nicht insgeheim die
Angst vor der Schule.

All diese Faktoren sollte man in Erinnerung behalten, wenn man die Fragenformulierung fr den Frage-
bogen beginnt. Dabei sollte man zuerst wissen, welche Arten von Fragen es gibt.
2.2.2. Welche Arten von Fragen gibt es?
Faktfragen: Hier wird versucht, Fakten herauszufinden, zum Beispiel:
Beispiel: Seit wann gehst du in diese Schule?
Wissensfragen: Mit diesen will man herausfinden, welches Wissen vorhanden ist:
Beispiel: Wie ist die Hauptstadt von Belgien?
Demografische Fragen: Diese zielen auf die demografischen Daten ab (Alter, Geschlecht, Ausbil-
dung)
Beispiel: Wie alt bist du?
Einschtzungsfragen: Hier werden konkrete Schtzungen von Personen abgefragt.
Beispiel: Welcher Film wird deiner Meinung nach der beste des Jahres?
Bewertungsfragen: Hier zielt man auf Beurteilungen der Befragten ab.
Beispiel: Wie beurteilst du das neue Album von Adele?
Einstellungsfragen: Dabei zielt man auf Meinungen der Teilnehmer zu einem Thema ab.
Beispiel: Der Beitritt zur EU hat uns mehr Vor- als Nachteile gebracht.
Handlungsfragen: Dies sind konkrete Fragen zu Ttigkeiten und Handlungen.
Beispiel: Was machst du zu Hause, um im Haushalt zu helfen?

Auerdem kann man Fragen noch aufgrund ihrer Form unterscheiden, dabei gibt es geschlossene und
offene Fragen.



Seite 7

2.2.3. Welche Form von Fragen gibt es?
Grundstzlich kann zwischen offenen und geschlossenen Fragen unterschieden werden.
Geschlossene Fragen (Fragen mit Antwortvorgaben) sind bei schriftlichen Befragungen vorzu-
ziehen. Man verwendet sie vor allem, wenn Antwortvorgaben bekannt sind oder wenn die Aus-
wahl und die Zeit des Fragebogens begrenzt sind. Sie sind auch leichter auszuwerten.
Beispiel: Wie viele Stunden tglich nutzt du das Internet?
Antwortmglichkeiten: Gar nicht unter 2 Stunden, 2 bis 5 Stunden, mehr als 5 Stunden.

Offene Fragen sollten verwendet werden, wenn die Antwortvorgaben zu gro sind, man die Mo-
tivation steigern mchte und die Befragten nicht in eine Richtung gelenkt werden sollen.
Beispiel: Was ist deiner Meinung nach die beste Band aller Zeiten?.

2.2.4. Wie formuliert man Fragen fr sozialwissenschaftliche Befragungen?
Grundstzlich kann man berlegen, ob man Fragen als konkrete Fragestellung oder als Statement for-
muliert. Statements sollte man dann verwenden, wenn man Meinungen oder Einstellungen abfragt.
Konkretes, also Fakten zum Beispiel, knnen als Frage abgefragt werden.
Beispiel: Ich bin der Meinung, dass Rockmusik besser ist als Hip-Hop (Statement, weil nach einer Mei-
nung gefragt wird). Wo gehst du zur Schule? (Frage, ber etwas Konkretes, dazu hat man keine Mei-
nung).

Fragen sollten so gestellt werden, dass man eine eindeutige Stellung beziehen muss, also sich ganz klar
fr oder gegen ein Statement entscheiden muss. Wichtig ist dann, dass man spter auch Fragen stellt,
die gegenteilig zu diesem Statement lauten. So lsst sich berprfen, ob die Befragten eine eindeutige
Meinung zu einer Fragestellung hat und damit allgemeine Antworttendenzen vermieden werden.
Beispiel: Ich finde Facebook ntzlich, weil ich dadurch mit vielen Freunden in Kontakt bin. (Antwortvor-
gaben: trifft voll und ganz zu bis trifft gar nicht zu. Dadurch kann man bei der Auswertung unterschei-
den, wie stark dieser Aussage zugestimmt wird.)

Verallgemeinernde Begriffe wie immer, alle, keiner oder niemals sollten in Fragen und State-
ments vermieden werden.
Beispiel: Alle Kinder haben Angst vor Fremden.
Beispiel: Ich bin immer bereit, anderen Menschen zu helfen.

Es gibt eine Vielzahl an Regeln zur Fragebogenerstellung. Nachfolgend werden die 10 Gebote nach Porst
(2009) aufgefhrt, welche dir als Richtlinie und Hilfestellung dienen sollen.
2.3. Die 10 Gebote der Fragebogengestaltung
Porst (2009, S. 95ff) fhrt 10 Gebote der Fragebogengestaltung an. Diese sind dabei als Orientierung fr
die Fragebogengestaltung zu sehen. Sie sind aber nicht vollstndig, bilden aber ein Grundgerst zur Fra-
generstellung und lassen sich noch erweitern.



Seite 8

1. Du sollst einfache, unzweideutige Begriffe verwenden, die von allen Befragten in gleicher Weise ver-
standen werden! (ebd., S. 98 f)
Schlechtes Beispiel: Wie viel verdienen Sie im Monat? Diese Frage ist deshalb nicht gut gewhlt, da
die Befragten unter dem monatlichen Einkommen etwas Verschiedenes verstehen knnten. Mglicher-
weise geben einige ihr Bruttoeinkommen, also ohne Abzge an, andere hingegen ihr Nettoeinkommen.
So knnen die Antworten sehr weit auseinanderliegen und sich Fehler einschleichen.
Besser: Wie hoch ist Ihr monatliches Nettoeinkommen abzglich Steuern und Sozialversicherungsbei-
trgen?

2. Du sollst lange und komplexe Fragen vermeiden! (ebd., S. 99 f)
Schlechtes Beispiel: Wie Sie wissen, sind manche Leute politisch ziemlich aktiv, andere Leute finden
dagegen oft keine Zeit oder haben kein Interesse, sich an politischen Dingen aktiv zu beteiligen. Ich lese
Ihnen jetzt eine Reihe von Sachen vor, die Leute tun. Bitte sagen Sie mir jedes Mal, wie oft Sie persnlich
so etwas tun bzw. wie hufig das bei Ihnen vorkommt. Zuerst: wie oft fhren Sie eine politische Diskus-
sion? Die Frage ist viel zu lange und vollgepackt mit Aussagen, die nicht wichtig sind.
Besser: Wie hufig nimmst du an ffentlichen Diskussionen zu politischen Themen teil?

3. Du sollst hypothetische Fragen vermeiden! (ebd., S.100 f)
Schlechtes Beispiel: Jugendlichen wird folgende Frage gestellt: Stellen Sie sich einmal vor, Sie wren
verheiratet und htten einen Sohn im Alter von etwa 16 Jahren, der seine Lehre abbrechen mchte, um
Fuballprofi zu werden. Wrden Sie ihn in diesem Wunsch untersttzen oder wrden Sie ihm raten,
zuerst seine Ausbildung zu Ende zu bringen? Dabei kann es schwierig sein, sich als junger Mensch vor-
zustellen, dass man bereits verheiratet wre, einen Sohn in dem Alter htte, der seine Lehre wegen ei-
ner Fuballkarriere abbrechen mchte. ber ein solches Thema haben wohl die wenigsten Jugendlichen
bereits nachgedacht.
Besser: Angenommen du httest das Talent zum Fuballprofi und erhieltest das Angebot eines Bundes-
ligavereins. Dazu msstest du deine begonnene Lehre abbrechen. Wrdest du auf den Abschluss deiner
Lehre verzichten oder deine begonnene Lehre zum Abschluss bringen wollen?

4. Du sollst doppelte Stimuli (Reize) oder Verneinungen vermeiden! (ebd., S. 102 f)
Schlechtes Beispiel: Es ist nicht gut, wenn Kinder ihren Eltern nicht gehorchen. Hier ist die doppelte
Verneinung schwierig, besser man formuliert den Satz positiv.
Besser: Es ist gut, wenn Kinder ihren Eltern gehorchen.

5. Du sollst Unterstellungen und suggestive Fragen vermeiden!
Schlechtes Beispiel: Du bist sicher auch der Meinung, dass Hier unterstellt man der befragten Per-
son, derselben Meinung zu sein und diese kann sich schnell in eine Ecke gedrngt fhlen.
Besser: Bist du der Meinung, dass




Seite 9

6. Du sollst Fragen vermeiden, die auf Informationen abzielen, ber die viele Befragte mutmalich nicht
verfgen!
Schlechtes Beispiel: Wie heit die zustndige Landesrtin fr Bildung, Wissenschaft, Forschung, Frauen
und Jugend des Landes O? (Eine Ausnahme besteht dann, wenn du wirklich konkret nach Wissen fra-
gen mchtest.)

7. Du sollst Fragen mit eindeutigem, zeitlichen
Bezug verwenden! (ebd., S. 106 f)
Schlechtes Beispiel: Wie hufig sind Sie in den
letzten 10 Jahren im Kino gewesen? Einen Zeit-
raum von 10 Jahren zu whlen ist ziemlich un-
brauchbar. Oder weit du noch wie hufig du in
den letzten 10 Jahren im Kino warst? Besser ist den
Zeitraum zeitlich mehr einzugrenzen.
Besser: Wie hufig warst du in den letzten 4 Wo-
chen im Kino?

8. Du sollst Antwortkategorien verwenden, die
erschpfend und berschneidungsfrei sind!
Schlechtes Beispiel: Wie viele Stunden tglich
nutzt du das Internet?
Antwortmglichkeiten: Gar nicht unter 2 Stun-
den, 2 bis 5 Stunden. Hier fehlt die Antwortmg-
lichkeit ber 5 Stunden es ist also nicht erschp-
fend.
Besser: In diesem Beispiel als offene Frage formu-
lieren. Ansonsten auch eine Antwortkategorie wie
mehr als 5 Stunden anfgen, damit alle mgli-
chen Antworten abgedeckt sind.

9. Du sollst sicherstellen, dass der Kontext einer
Frage sich nicht auf deren Beantwortung aus-
wirkt! (ebd., S. 110 f)
Beispiel: Bewertung einer politischen Partei, weil
eine konkrete Person der Partei beliebt ist.

10. Du sollst unklare Begriffe definieren!
Schlechtes Beispiel: Bist du der Meinung, dass Blended Learning an Schulen eingesetzt werden soll?
Wei man als befragte Person nicht, was Blended Learning ist, ist es nahezu unmglich auf diese Frage
eine Antwort zu geben. Dies kann soweit fhren, dass die Frage nicht beantwortet, oder falsch beant-
wortet wird, weil die Personen einfach irgendetwas ankreuzen. Besser ist es, das Fremdwort zu erklren,
bevor die eigentliche Frage gestellt wird.
10 Gebote der Fragebogengestaltung
Du sollst
1. einfache, unzweideutige Begriffe ver-
wenden, die von allen Befragten in glei-
cher Weise verstanden werden!
2. lange und komplexe Fragen vermei-
den!
3. hypothetische Fragen vermeiden!
4. doppelte Stimuli und Verneinungen
vermeiden!
5. Unterstellungen und suggestive Fragen
vermeiden!
6. Fragen vermeiden, die auf Informatio-
nen abzielen, ber die viele Befragte
mutmalich nicht verfgen!
7. Fragen mit eindeutigem zeitlichen
Bezug verwenden!
8. Antwortkategorien verwenden, die
erschpfend und disjunkt berschnei-
dungsfrei) sind!
9. sicherstellen, dass der Kontext einer
Frage sich nicht (unkontrolliert) auf de-
ren Beantwortung auswirkt!
10. unklare Begriffe definieren!



Seite 10

Besser: Blended Learning verbindet Prsenzlehre und Lernen mit digitalen Medien (E-Learning). Bist du
der Meinung, dass Blended Learning an Schulen eingesetzt werden soll?

Nun gibt es noch ein paar wichtige Aspekte, die zur Auswertung von schriftlichen Befragungen erwh-
nenswert sind.
2.4. Skalenniveaus
Das Messniveau, beziehungsweise die Skalenniveaus sollte man kennen, weil diese mit den statistischen
Auswertungen zusammenhngen.

1. Nominal-Skala: Bei einer Nominalskala kann nur zwischen Gleichheit und Ungleichheit der Werte
unterschieden werden; es besteht keine Wertigkeit (eine Antwort ist nicht grer als eine andere)
Ein nominal skaliertes Merkmal kann dichotom (= es hat zwei Ausprgungen) oder polytom (= meh-
rere Ausprgungen) sein.
Beispiel: Welches Geschlecht hast du? (dichotom nur zwei Antwortvorgaben)
Beispiel: Wie ist dein Beziehungsstatus? Antworten: ledig / verheiratet / geschieden / verwitwet
(polytom mehrere Antwortvorgaben)

2. Ordinal-Skala: Die Ausprgungen unterliegen einer Rangordnung, es kann also eine Beziehung gr-
er als und kleiner als hergestellt werden.
Beispiel: Wie sehr interessierst du dich fr Politik? Antworten: Sehr stark, stark, mittel, wenig, gar
nicht (auch hier kann eine Rangordnung erkannt werden. Sehr stark ist hher als mittel)
Beispiel: Bestes Beispiel hierfr sind Schulnoten. Die Noten von eins bis fnf bilden eine Rangord-
nung. Note 1 ist besser als Note 2, ich habe aber keine Auskunft darber, ob der Unterschied zwi-
schen Note 1 und 2 gleich gro ist wie der zwischen Note 3 und Note 4. Diese Auskunft geben uns
Fragen der nchsten Skalenart, der Intervall-Skala.

3. Intervall-Skala: Hier sind die Abstnde zwischen den Antwortmglichkeiten der Rangordnung gleich.
Beispiel: Ein gutes Verstndnisbeispiel ist die Temperaturmessung. Die Abstnde zwischen 5C und
10C sind genauso gro wie zwischen 27C und 32C oder 54C und 59 C. Der Unterschied zur nchs-
ten Skala ist, dass es hier keinen Nullpunkt gibt. Es gibt zwar den Wert 0C, dieser ist jedoch eigent-
lich kein Nullpunkt schlielich weit du ja, dass es auch Temperaturen darunter gibt.
Beispiel: Man will verschiedene Aussagen zur Mediennutzung abfragen und fhrt im Fragebogen fol-
gendes Statement an: Ich nutze das Internet whrend der Woche hauptschlich fr schulische Zwe-
cke. Dabei gibt es dann folgende Auswahl der Antwortmglichkeiten, die der Befragte ankreuzen
kann: stimme voll und ganz zu, stimme eher zu, teils teils, stimme eher nicht zu, stimme berhaupt
nicht zu.
Dabei werden die Abstnde als gleich angenommen. Man muss also sehr gut auf die Formulierung
auf die Antwortvorgaben achten.

4. Verhltnis-Skala: Dies sind Intervallskalen mit einem echten Nullpunkt.



Seite 11

Beispiel: Wie viele Bcher hast du im Jahr 2012 gelesen?, Wie viele Geschwister unter 10 Jahren
hast du? Bei beiden Fragen gibt es die Antwortmglichkeit Null sie besitzen also einen echten
Nullpunkt und gehren deshalb zur Verhltnis-Skala.
2.5. Auswertung von schriftlichen Befragungen
Wichtig zu wissen ist, dass die gerade erluterten Skalenniveaus aufsteigend sind, angefangen mit der
kleinsten der Nominalskala bis zur grten der Verhltnisskala. Das heit so viel, dass alle Rechen-
operationen, die man mit Nominalskalen durchfhren kann, auch bei einer Ordinalskala gemacht wer-
den knnen. Jedoch kann aber eine Nominalskala, weil sie kleiner als die Ordinalskala ist, nicht alle Ope-
rationen von dieser durchfhren. Mit einer Verhltnisskala kann man alle Rechenoperationen der vorhe-
rigen Skalen durchfhren, siehe Tabelle 1.
Skalenniveau Rechenoperationen
Nominalskala Hufigkeit (Anzahl), Modalwert
Ordinalskala Hufigkeit (Anzahl), Modalwert, Median
Intervallskala Hufigkeit (Anzahl), Modalwert, Median, Mittelwert, Varianz, Standardabwei-
chung
Verhltnisskala Hufigkeit (Anzahl), Modalwert, Median, Mittelwert, Varianz, Standardabwei-
chung
Tabelle 1: Durchfhrbare Rechenoperationen je Skalenniveau (eigene Darstellung)

Nachfolgend wird versucht, auf die jeweiligen Rechenoperationen einzugehen und diese nher zu erkl-
ren.
Modalwert oder Modus
Das ist der Wert, der am hufigsten vorkommt, also am hufigsten von den befragten Personen genannt
wurde (Atteslander, 2010).
Beispiel: Angenommen eine Tte Haribo-Bren hat grne, gelbe, rote und weie Exemplare in sich. Fr
die Auswertung geben wir grn den Wert 1, gelb den Wert 2, rot den Wert 3 und wei den Wert 4.
Nachdem wir alle gezhlt haben, sehen wir, dass grne Bren am hufigsten vorkommen. Der Modal-
wert ist also 1.
Median
Der Median ist der Wert, der direkt in der Mitte der Verteilung liegt. Er teilt die Verteilung in 50 Prozent
ber ihm und 50 % der Werte, die unter ihm liegen (Atteslander, 2010).
Beispiel: Wir fragen 6 Personen nach ihrem Gewicht: Die Antworten lauteten 40kg, 42kg, 44kg, 46kg,
52kg und 65kg. Die Antworten sind nun schon aufsteigend gereiht. Wir nehmen die beiden Werte in der
Mitte, also 44kg und 46kg. Damit wir den Wert bekommen, der in der Mitte von diesen steht, addieren



Seite 12

wir die beiden und rechnen den Durchschnitt (also 44+46 = 90/2 = 45). Der Median in dieser Aufgabe ist
also 45kg.
Mittelwert
Der Mittelwert ist der Durchschnitt der Antworten. Sehen wir uns das Merkmal Alter in einer Stichprobe
aus 5 Personen an. Die Messwerte sind 14, 17, 20, 24 und 25 Jahre. Nun addiert man alle Werte und
rechnet die Summe davon, durch die Anzahl der Werte. Der Mittelwert betrgt also in diesem Fall 100/5
= 20 Jahre.
Varianz
Die Varianz gibt die mittlere quadratische Abweichung der Ergebnisse einer Stichprobe um ihren Mit-
telwert an (Atteslander, 2010).
Beispiel: Fhren wir das Beispiel oben weiter. Wir nehmen wieder das Alter dieser 5 Personen und be-
rechnen den Mittelwert. Dieser ist 100/5 = 20 Jahre. Nun werden die Abweichungen der einzelnen
Messwerte (14, 17, 20, 24, 25) vom Mittelwert berechnet: (14-20) = -6, (17-20) = -3, (20-20) = 0, (24-20)
= 4 und (25-20) = 5. Nun nehmen wir diese Werte und quadrieren (x) sie. Die quadrierten Abweichun-
gen betragen also 36 (6), 9 (3), 0 (0), 16 (4), 25 (5). Diese und ergeben eine Summe von 86. Die Vari-
anz betrgt somit diese Summe dividiert durch die Anzahl der Werte, also 86/5 = 17,2 Jahre.
Standardabweichung
Die Standardabweichung ist die durchschnittliche Entfernung aller gemessenen Werte einer Frage vom
Durchschnitt. Eine kleine Standardabweichung gibt an, dass die gemessenen Ausprgungen eines
Merkmals eher enger um den Mittelwert liegen, eine grere Standardabweichung gibt eine strkere
Streuung an.
Es gilt, dass innerhalb der Entfernung einer Standardabweichung nach oben und unten vom Mittelwert
rund 68 Prozent alle Antworten liegen. Im Umkreis von zwei Standardabweichungen sind es rund 95
Prozent aller Werte. Ist dies der Fall spricht man von einer Normalverteilung des Merkmals. Bei gre-
ren Abweichungen spricht man von Ausreiern.
Zieht man die Wurzel aus der Varianz, dann erhlt man die Standardabweichung (Atteslander, 2010).
Beispiel: Ziehen wir also aus der Varianz des vorherigen Beispiels die Wurzel erhalten wir 4,15, also ist
die Standardabweichung rund 4 Jahre. Die durchschnittliche Entfernung zum Mittelwert, in unserem
Beispiel, 20 Jahre ist also 4 Jahre. Mindestens 68 % der Werte soll sich also zwischen 16 und 24 Jahren
befinden.
Nachfolgend noch eine Zusammenfassung der wichtigsten Informationen zur Durchfhrung von Befra-
gungen und Interviews.
2.6. Vorgehen bei schriftlichen Befragungen
Bereite einen guten Fragebogen vor. Worauf du dabei achten solltest, findest du in einem beige-
fgten Template.



Seite 13

Die theoretischen Grundlagen, wie Fragen formuliert werden knnen, kannst du hier im Hand-
out nachlesen.
Zusammengefasst ist unter anderem wichtig, dass du kurze, verstndliche und positiv formulier-
te Fragen stellst. Vermeide doppelte Verneinungen und decke mit den Antwortvorgaben alle
Mglichkeiten ab (auch trifft nicht zu, bzw. wei nicht-Antworten sind wichtig).
Achte dabei darauf, dass der Fragebogen nicht zu lange ist.
Wie bei einer guten Geschichte gliedert sich eine Befragung in Einleitung, Hauptteil und Schluss.
o Stelle zu Beginn Einleitungsfragen, die interessant und leicht zu beantworten sind.
o Der Mittelteil fhrt langsam zum Thema hin und bringt die Befragung zum Hhepunkt
dem was du als Interviewer am interessantesten findest.
o Der Fragebogen endet mit den demografischen Daten, also den Daten zur Person (Alter,
Geschlecht, Ausbildung)
Vergiss nicht einen Pretest, also eine berprfung deines Fragebogens vor der wirklichen Befra-
gung durchzufhren. So kannst du erkennen, ob es noch Verbesserungen dafr gibt.
Achte darauf, dass dein Fragebogen den drei Gtekriterien entspricht (siehe Kapitel 2.2.1 Gte-
kriterien)
Lege fr die Befragung eine Zielgruppe fest, z. B. Jugendliche zwischen 14 und 17 Jahren und
versuche viele Personen zu finden, die deinen Fragebogen beantworten.
Werte die Ergebnisse grndlich aus, einige einfache Berechnungen findest du in Kapitel 2.5
Auswertung von schriftlichen Befragungen.

Der Vollstndigkeit wegen wird nun auch noch auf das Vorgehen bei mndlichen Befragungen einge-
gangen.
2.7. Vorgehen bei mndlichen Befragungen
Vor einem Interview
Bereite einen guten Interviewleitfaden vor.
Die theoretischen Grundlagen, wie Fragen formuliert werden knnen, kannst du hier im Hand-
out nachlesen.
Entscheide dich dafr, ob du einen stark standardisierten, teilstandardisierten oder nicht stan-
dardisierten Leitfaden fr dein Interview vorziehst. Denke daran, es hat alles seine Vor- und
Nachteile (siehe Kapitel 2).
Achte auch darauf, dass das Interview nicht zu lange ist.
Versuche den Leitfaden folgendermaen zu gliedern:
o Stelle zu Beginn Fragen zu den demografischen Daten, also den Daten zur Person (Alter,
Geschlecht, Ausbildung).
o Danach solltest du mit Einleitungsfragen fortfahren, die interessant und leicht zu be-
antworten sind.
o Nun fhre langsam zum Thema hin und bringe die Befragung zum Hhepunkt dem
was du als Interviewer am interessantesten findest.
Vergiss nicht einen Pretest, also eine berprfung deines Leitfadens vor dem wirklichen Inter-
view durchzufhren. So kannst du erkennen, ob es noch Verbesserungen dafr gibt.



Seite 14


Whrend eines Interviews
Gem Bortz und Dring (2002) sollte man folgende Punkte whrend eines Interviews beachten:
Vor dem Interview sollte man den Ort und die ungefhre Dauer des Interviews bekanntgeben.
Auerdem sollte allen Beteiligten das Ziel des Interviews, also die Themen die behandelt wer-
den, bewusst sein.
Da ein Interview aufgezeichnet werden sollte, muss dies den Interviewpartnern erklrt werden.
Dieser muss natrlich damit einverstanden sein. Dadurch soll keine strende oder bengstigen-
de Stimmung fr alle Beteiligten geschaffen werden.
Die Befragten sollen alles sagen knnen und die Interviewer sollten die eigene Meinung, ob Zu-
stimmung oder Ablehnung, verbergen.
Die gestellten Fragen sollen kurz und leicht verstndlich sein.
Frage recht oft nach, z.B. Du hast gesagt dir hat die Situation nicht gefallen. Was hat dir denn
genau nicht zugesagt?
Schaffe eine gute Atmosphre fr die Teilnehmer deines Interviews. Ein Interview ist schon un-
gewhnlich genug, deshalb solltest du versuchen eine Umgebung zu schaffen, wo sich der Inter-
viewte so gut es geht wohlfhlen kann.
Vermittle dem Befragten, dass er der Experte ist. Seine Antworten sind wichtig fr dich als Inter-
viewer. So kannst du garantieren, dass ihr euch gegenseitig respektiert.
Erklre dem Befragten, dass seine Daten anonymisiert werden und niemand nach der Auswer-
tung wei, was er gesagt hat.
Die Befragte soll verabschiedet werden und mit einer guten Stimmung das Interview verlassen.

Wenn du all diese Tipps und Tricks befolgst, steht tollen Ergebnissen deiner zuknftigen Evaluationen
nichts mehr im Wege.


Literatur:
Atteslander, P. (2010). Methoden der empirischen Sozialforschung (13. Auflage). Berlin: ES Verlag.
Bortz, J. & Dring, N. (2006). Forschungsmethoden und Evaluation: fr Human- und Sozialwissenschaftler
(4. berarbeitete Auflage). Berlin: Springer.
Edugroup (2013). 3. O. Jugend-Medien-Studie 2013. URL
http://www.edugroup.at/fileadmin/DAM/Innovation/News_Dateien/WEB_Zsf_Jugend-Medien-
Studie.pdf.
Porst, R. (2009). Fragebogen. Ein Arbeitsbuch (2. Auflage). Wiesbaden: VS Verlag fr Sozialwissenschaf-
ten.



Seite 15

Raithel, J. (2008). Quantitative Forschung. Ein Praxisbuch (2. Auflage). Wiesbaden: VS Verlag fr Sozial-
wissenschaften.
Tergan, S.-O. (2004). Realistische Qualittsevaluation von E-Learning. In D. Meister, S.-O. Tergan & P.
Zentel (Hrsg.). Evaluation von E-Learning (S. 131-154). Mnster: Waxmann.
Wottawa, H. & Thierau, H. (1998). Lehrbuch Evaluation. (2., vollstndig berarbeitete Auflage). Bern:
Huber.