QUANTI SS 2019 Arkadiusz P.

Boomgaarden

1 VO. - Einführung in quantitative Erhebungsmethoden

Ziel der quantitativen Forschung

soziale Realität als objektiv und mit kontrollierten Methoden erfassbar, Verhalten in Form von
Modellen, Zusammenhängen und numerischen Daten möglichst genau zu beschreiben und
vorhersagbar zu machen.
Forschungsfrage entscheidet
Können wir konkrete Erwartungen an die Realität testen und Aussagen machen, die verallgemeinert
werden können → eher quantitativ
Beschreibend vs. Erklärend
• Deskriptive Forschung beschreibt kommunikationswissenschaftliche Phänomene
systematisch, häufig in Prozentzahlen oder Mittelwerten.
• Explanative Forschung deckt kausale Zusammenhänge auf, “wenn-dann” Beziehungen
zwischen zwei (oder mehr) Sachverhalten.
Grundbegriffe der Forschung
• Design: Gesamtanlage der empirischen Untersuchung
• Methode: Verfahren der Datenerhebung (Befragung, Inhaltsanalyse, Experiment etc.)
• Untersuchungsinstrument: Umfasst alle konkreten Regeln für die Datenergebung
(Fragebogen, Codebuch etc.)
• Auswertungsverfahren: Beschreiben empirischer Daten (deskriptive Statistik),
Hypothesenprüfung und Schlussfolgerungen auf die Grundgesamtheit (Inferenzstatistik)

1
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

Empirie
• Wissen kann nur aus Beobachtungen und Erfahrungen generiert werden, die zu Beweisen
führen.
• Alle Theorie muss geprüft werden anhand von Beobachtungen der Realität, und darf nicht nur
auf Argumentation, Intuition oder Offenbarung beruhen.
• Empirie ist auch “nur” eine Theorie… (vs. z.B. Rationalismus)
Empirische (Kommunikations-) Wissenschaft
• Relative Aussagen statt absolute Aussagen
• Probabilistische Aussagen statt deterministische Aussagen Empirische Aussagen über einen
Objektbereich sind nicht “absolut wahr”, sondern haben immer einen “statistischen Fehler”
(Irrtumswahrscheinlichkeit z.B. α < 0.05)
Quantitativ heißt „messen“
Def. Messen = Die Zuordnung von Zahlen zu Objekten nach festen Regeln.
• Ausschnitte aus der sozialen Realität systematisieren und intersubjektiv nachvollziehbar
machen
• Komplexitätsreduktion
• Indikatorenbildung
• Transformation von empirischen in numerische Relative
→ Ziel: numerisches Relativ = empirisches Relativ d.h. eindeutige, strukturtreue Abbildung der sozialen
Wirklichkeit.
Hypothesen und Variablen
Eine (nomologische) Hypothese = die Behauptung eines vermuteten Zusammenhangs zwischen
mindestens zwei Variablen. Deterministische Hypothese = Fallgesetz in der Physik.
Probabilistische Hypothese = Normalfall der Sozialwissenschaften
Eine Variable = ein Name für die Summe der Merkmalsausprägungen, die Objekten
(Untersuchungseinheiten oder Merkmalsträgern) zugeschrieben werden.
Operationalisierung
Messbar machen von theoretischen Konstrukten - Beispiele für Konstrukte: Intelligenz, politisches
Interesse, politisches Wissen, Medienvertrauen
➔ Messbar machen mit Skalen
Skalenniveaus:
• Nominalskala: Die Ausprägungen schließen sich logisch gegenseitig aus. Bsp.: Geschlecht,
Religionszugehörigkeit, Parteiwahl, Lieblingssender.
• Ordinalskala: Abstände zwischen den Ausprägungen NICHT gleich groß. (Rangfolge)
• Intervallskala: kein absoluter Nullpunkt z.B.: Jahreszahl, IQ
• Verhältnisskala/Ratioskala: absoluter Nullpunkt z.B.: Fernsehdauer in min, Alter, Länge

Quasi-metrisch: Häufig in Sozialwissenschaften: Ordinale Skalen werden wie metrische

behandelt
Die Messung bestimmt das Skalenniveau, NICHT das gemessene Phänomen.

2
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

Skalierungsverfahren
Thurstone-Skala: Besteht aus mehreren Items mit dichotomer oder polytomer Antwortvorgabe, deren
Werte, mit bestimmten Punktwerten gewichtet, zu Gesamtwert (Index) zusammengefasst werden.
Bsp.: Tests in Magazinen „Wie gesund ist Ihr Lifestyle?
Likert-Skala: Besteht aus mehreren mindestens fünfstufigen Items, die zu einem Index durch Addition
zusammengefasst werden. Aussagekräftiger als Thurstone. In Sozialwissenschaften gebräuchlicher!

2. VO - Gütekriterien der empirischen Sozialforschung/

Exkurs/ Forschungsdesigns/ Kausalität
Gütekriterien einer Messung
• Sind die Skalen und Messinstrumente eigentlich geeignet, das zu messen, was wir messen
wollen?
• Wie interpretieren wir “den Erfolg” unserer Messinstrumente, wie bestimmen wir die Qualität
der Messung?
• Wichtig für sowohl Entwicklung als auch Evaluierung von Messinstrumenten.
Klassische Testtheorie
= Annahme, dass ein realisierter Messwert auf der Summe eines “wahren Wertes” und eines
Messfehlers basiert.
• Mittelwert der Messfehler ist gleich Null.
• Die Messfehler korrelieren nicht mit den wahren Werten einer Messung.
• Die Messfehler zweier Messwertreihen sind unkorreliert.
• Die Messfehler einer Messwertreihe korrelieren nicht mit den “wahren Werten” einer anderen
Messung.
Messfehler
• Zufallsfehler (Random Errors): Beschreibt alle willkürlichen und zufälligen Faktoren
• Systematische Fehler: Sind konstante und systematische Verzerrungen einer Messung

Reliabilität
eines Messinstruments heißt Zuverlässigkeit der Messungen. Wiederholt man die Messung, sollte man
das gleiche Ergebnis erzielen. Beschreibt man als einen Koeffizienten auf einer Skala von 0 bis 1.
• Paralleltest-Reliabilität = Derselben Versuchsperson werden zwei einander stark ähnelnde
Tests (entweder unmittelbar hintereinander oder zeitlich versetzt) dargeboten.
• Split-Half-Test-Reliabilität = Test wird in zwei Hälften unterteilt, mit jeder Hälfte des Tests
sollte in etwa ein ähnlicher Mittelwert bzw. weitere statistische Kenngrößen ermittelt werden.
• Re-Test- Reliabilität = Reliabilität als Korrelation wiederholter Testdurchführungen: Stabilität
desselben Messinstruments über Zeit.
Reliabilität der Kodierer
• INTERcoder Reliabilität: Konsistenz zwischen mehreren KodiererInnen
• INTRAcoder Reliabilität: Konsistenz derselben KodiererInnen über Zeit.
• ForscherInnen-CodiererInnen-Reliabilität: Wie gut stimmen die Verschlüsselungen der
CodiererInnen mit denen der ForscherInnen überein?

3
QUANTI SS 2019 Arkadiusz P.
Boomgaarden
Codebuch
• Müssen verständlich sein
• Operationalisierbar sein
• Dient als Kommunikationsmedium, damit andere ForscherInnen die Datenerhebung
reproduzieren können
• Explizites, konkretes Protokoll, dass mit anderen Forscherinnen geteilt werden kann
• Mehrere KodiererInnen sollten die Einheiten unabhängig voneinander kodieren und
zumindest einer sollte das Protokoll nicht mitentwickelt haben.
Validität
wird mit Gültigkeit übersetzt (inhaltliche Richtigkeit). Validität stellt sicher, dass man das misst, was
man messen will. Kein Koeffizient, sondern Verbesserungsvorschläge für Messinstrumente oder
Untersuchungsdesign.
Formen:
• Inhaltsvalidität
• Kriteriumsvalidität
• Konstruktvalidität
Interne Validität = Gültigkeit der Aussagen bezüglich der Testsituation. Die Ergebnisse einer
Untersuchung sind intern valide, wenn sie tatsächlich das messen, was sie messen sollen.
Externe Validität = Gültigkeit der Aussagen im größeren Kontext. Gültigkeit der Ergebnisse außerhalb
der Forschung (→ Generlisierbarkeit).

Zusammenhang und Kausalität

Zusammenhang: Gibt es einen Zusammenhang zwischen Variable A und B?
➔ Wenn JA, dann
Kausalität: Welche Richtung des Zusammenhangs? (URSACHE → WIRKUNG)
• Kausalschlusses ist der Prozess, bei dem man empirische Daten verwendet, um Aussagen über
kausale Zusammenhänge zu machen.
• Bei Monokausalität verursacht genau ein Ereignis ein anderes Ereignis.
• Bei Multikausalität sind mehrere Ursachen im Spiel. Sie bewirken ein oder auch mehrere
Ereignisse
• In einer Kausalkette bewirkt ein Ereignis ein anderes, das selbst wiederum ein weiteres
Ereignis bewirkt usw.
Kriterien von Kausalität
Kausaler Zusammenhang ist gegeben, wenn:
• eine Ursache einem Effekt vorausgeht
• Ursache und Effekt in Beziehung zueinanderstehen (= THEORIE!)
• Es keine alternativen Erklärungen für den gefundene Effekt gibt
Kann überprüft werden, durch:
• Manipulation einer vermuteten Ursache und anschließender Ergebnisbeobachtung
• Variation der Ursache sollte Variation der Ergebnisse bewirken (Zusammenhang)
• Plausibler Ausschluss alternativer Erklärungen für den Effekt

4
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

3. VO – Sampling Theorie und Forschungsethik

Voll- und Teilerhebung
Vollerhebung: Alle Mitglieder der Grundgesamtheit werden in die Untersuchung miteinbezogen.
Teilerhebung: Die Elemente einer Grundgesamtheit werden durch die Ziehung einer Stichprobe
vorgenommen. Eine Stichprobe soll dabei ein verkleinertes strukturgleiches Abbild der
Grundgesamtheit darstellen. Die Elemente der Stichprobe werden mit ‚n‘ angegeben.

Zwei statistische Ansätze

Deskriptive Statistik: Beschreibung und Veranschaulichung der Daten (z.B. Häufigkeit/Mittelwert)
Schließende Statistik (Inferenzstatistik): Rückschluss und Verallgemeinerung auf die
Grundgesamtheit, basierend auf den vorliegenden Daten
Stichproben -Begriffe
• Vollerhebung: meist teuer und zu zeitaufwändig, aus praktischen Gründen, daher:
Stichprobenziehung
• Stichprobe= Sample = Auswahl aus der Grundgesamtheit
• Grundgesamtheit umfasst alle Einheiten, auf die sich meine Aussagen beziehen = Population
• Auswahlgesamtheit: Die tatsächlich für die Ziehung der Stichprobe zur Verfügung stehenden
Einheiten, idealerweise ident mit der Grundgesamtheit (sonst Stichproben-Bias)
Standardfehler
Abhängig von Stichprobenumfang und Varianz in der Grundgesamtheit (Population):
• Je größer der Stichprobenumfang, desto kleiner der Standardfehler
• Je kleiner die Varianz, desto kleiner der Standardfehler
Konfidenzintervall
Mit dem 95%-Konfidenzintervall wird jeweils jenes Intervall ermittelt, in dem der
Populationsparameter in 95% aller Stichproben liegt.
Das Konfidenzintervall wird kleiner, wenn
• Die Streuung kleiner wird
• Die Stichprobengröße größer wird
• Das Konfidenzniveau größer wird

5
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

Einfache Zufallsauswahl
Jede Einheit der Grundgesamtheit besitzt die selbe Wahrscheinlichkeit ausgewählt zu werden. Die
Auswahl eines Elements, beeinflusst die Wahrscheinlichkeit eines anderen Elements ausgewählt zu
werden nicht.
Zufallsgesteuerte Stichproben:
• Geschichtete Stichprobe: Die Grundgesamtheit wird in Gruppen (Schichten) eingeteilt, aus
denen werden dann Zufallsauswahlen getroffen
• Klumpenauswahl: Wenn auch Gruppenzusammenhänge untersuchtwerden sollen Es werden
nichteinzelne Untersuchungseinheiten zufällig ausgewählt, sondern Aggregate
• Mehrstufige Zufallsauswahlen: Es werden erst Primäreinheiten zufällig ausgewählt, dann
Sekundäreinheiten usw.
Bewusste Auswahlverfahren
Bei der bewussten Auswahl werden Merkmalsträger danach ausgewählt, wie ‚brauchbar‘ bzw. zentral
ihre Untersuchung für die Beantwortung der gewählten Fragestellung ist (z.B. typische oder extreme
Fälle).
Probleme der Zufallsstichprobe
• Grundgesamtheit unbekannt
• Elemente nicht erreichbar (-Online Umfragen -Telefonumfragen)
• Non-response bias
• Stichprobenausfälle: alle Fälle, bei denen ein Element der Stichprobe nicht untersucht werden
konnte.
Forschungsethik
• Ethik = Moralische Prinzipien, was richtig und falsch ist – Nicht absolut: unterschiedlich nach
Person, Zeit, Ort - Können miteinander konkurrieren
• Forschung = Kontrollierte, systematische Untersuchung, die zum Wissen bzw. zur
Theoriebeitragen soll
• Forschungsethik = Einbeziehung ethischer Prinzipien in die Forschungspraxis - In allen Stadien
der Forschung: von Einleitung der Forschung bis zur Publikation der Ergebnisse und darüber
hinaus
Prinzipien:
• Minimierung des physischen und psychischen Gefahrenrisikos
• Schutz von Anonymität und Vertraulichkeit (Die TeilnehmerInnen können nicht identifiziert
werden auch in Quanti-Forschung wichtig!)
• Respekt vor den Teilnehmenden
• Freiwillige Einwilligung nach Aufklärung und das Recht auf Widerruf
• Unabhängigkeit
• Gender Balance
Publikation
• Die ForscherInnen sollten die Ergebnisse und Interpretationen ihrer Forschung auf offene,
ehrliche, transparente und genaue Weise veröffentlichen.
• Die ForscherInnen sollten sich bemühen, die frühestmögliche Veröffentlichung der Ergebnisse
ihrer Forschung zu gewährleisten
• Autorschaft sollte nur auf einem kreativen und signifikanten Beitrag zur Forschung basieren.

6
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

4. VO – Wiederholung Auswahlverfahren und mehr

(Gütekriterien etc.)
Quantitative Inhaltsanalyse
Definition: “Die Inhaltsanalyse ist eine empirische Methode zur systematischen, intersubjektiv
nachvollziehbaren Beschreibung inhaltlicher und formaler Merkmale von Mitteilungen.” (Früh 1998)
Ziel der Methode: Umwandlung von Medieninhalten in quantifizierbare Merkmale zur Überprüfung
von Forschungsfragen und Hypothesen
Grundlegende Ansätze einer Methode:
• Positivistische Paradigma
• Objektivität-Intersubjektivität
• A priori Design
• Zuverlässigkeit
• Gültigkeit
• Generalisierbarkeit
• Wiederholbarkeit
• Das Testen von Hypothesen
Abgrenzung der IA zu anderen Methoden:
• Inhaltsanalyse ist unaufdringlich
• Sie analysiert unstrukturierte Daten
• Sie kann mit großen Datenmengen umgehen
• Und ist eine kontextabhängige Methode
Forschungsfragen der IA:
• Müssen aus der Analyse der Texte beantwortbar sein!
• Basieren z.B. auf Vergleichen zwischen unterschiedlicher Variablen, Medien, AkteurInnen in
den Medien.
Entwicklungsphase [Kategorienbildung und Kategoriensystem (Codebuch)]
Das Kategoriensystem spezifiziert, anhand welcher Kriterien die relevanten Codiereinheiten gemessen
werden sollen.
Folgende Grundregeln für den Aufbau des Kategoriensystems:
• nach Kodiereinheiten getrennt
• vom Allgemeineren zum Speziellen
• vom Zentralen zum Peripheren
• vom Formalen zum Inhaltlichen
Die Kategorien zur selben Codiereinheit müssen:
• erschöpfend (vollständig) sein
• disjunkt angelegt sein
• dürfen keine Fehlmessung verursachen

7
QUANTI SS 2019 Arkadiusz P.
Boomgaarden
Nominale Definition = Umschreibung des Bedeutungsgehalts
Operationale Definition
• macht Codierungsprozess explizit
• Macht Kategorien auf Objektebene fassbar
• Gibt Regeln an, nach denen Objektmerkmale in Daten überführt werden
• Codierungen bilden Daten
• Indikatoren = empirische Äquivalente für nicht direkt wahrnehmbare Sachverhalte
= Indikatoren – oft in Form von Aufzählungen - zeigt Bedeutung einer Kategorie auf Objektseite an
Ankerbeispiele anführen (Reizwörter)

Kategorienbildung:
1. Extraktion bedeutungstragender Begriffe aus Hypothesen
2. Definition der Begriffe Achtung: unendlicher Regress – Begriff lässt sich nicht durch sich selbst
erklären
3. Extrahierte Dimensionen ins Kategoriensystem (Codebuch) überführen
4. Kategorientypus und Skalenniveau festlegen
Formale Kategorien
Formale Kategorien sind physisch manifeste Sachverhalte, die sich durch messen, zählen oder
Transkription erheben lassen und keine Inferenzen der CodiererInnen erfordern.
Formale Kategorien dienen:
• als Differenzierungskriterium (z.B. für den Vergleich zwischen eher rechten und eher linken
Zeitungen)
• als Schlüsselcode (für die Zuordnung der Elemente auf verschiedenen Analyseebenen)
• als Gewichtungsfaktor (z.B. Artikel nach Länge gewichten)
Inhaltliche Kategorien
Inhaltliche Kategorien können eher manifeste, sowie latente Sachverhalte sein, die sich durch messen,
zählen oder Transkription erheben lassen. Inhaltliche Kategorien sind die vom Erkenntnisinteresse
abhängigen Bedeutungsdimensionen, deren Klassifikation der Inferenz der CodiererInnen bedarf.
• Referentielle Einheiten: beziehen sich auf bestimmte Personen, Objekte, Orte oder Ereignisse
• Thematische Einheiten: halten auf abstrakterer Ebene die Zugehörigkeit zu übergreifenden
Diskursstrukturen (Themen) fest
• Propositionale Einheiten: treffen sachliche oder wertende Feststellungen über Personen,
Tatsachen oder Vorgänge (Meinungen, Argumente, Kommentare) → wertende Kategorien
Ausprägungen & Skalenniveaus
• dichotome Variablen: haben zwei Ausprägungen z.B. Ja/Nein
• nominalskalierte Variablen: verschiedene Ausprägungen z.B. Innenpolitik, Außenpolitik,
Sport, Wirtschaft
• ordinale Variablen: haben Abstufungen, aber Stufen Differenz zwischen Stufen ist unbekannt
z.B. sehr positiv, positiv, neutral, negativ, sehr negativ
• metrische / intervallskalierte Variablen: haben gleiche Abstände zwischen den einzelnen
Stufen z.B. Wortanzahl
• Quasi-metrische Variablen: haben fixe Start- und Endpunkte z.B. (0) sehr negativ, (10) sehr
positiv

8
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

Auswahlphase
1. Vollerhebung
2. Zufallsstichprobe
Jedes Element der Grundgesamtheit hat dieselbe Chance, in die Stichprobe aufgenommen zu
werden (und diese Chance ist größer als null).
3. Bewusste Auswahl: Merkmalsträger werden danach ausgewählt, wie wichtig ihre
Untersuchung für die Beantwortung der Fragestellung ist.
• Typische Fälle: Merkmalsträger sind in Bezug auf bestimmte Merkmale besonders
charakteristisch für Grundgesamtheit
• Auswahl von Extremfällen: Bei Merkmalsträgern liegen die zu erforschenden
Merkmale in besondere Stärke vor (oft nach dem Schneeballverfahren).
• Auswahl nach Quotierung: Merkmalsträger werden so ausgewählt, dass ihre
Verteilung in der Stichprobe der in der Grundgesamtheit entspricht.
4. Fallstudie
Merkmalsträger werden ohne besondere Systematik nach ihrer Verfügbarkeit ausgewählt.
Erhebungsphase

Erhebungsphase I: Codierschulung
• Bei umfangreichen Auswahleinheiten verhindert große Zahl von CodiererInnen
Ermüdungsprozesse
• Mit der Zahl der CodiererInnen steigt der Schulungs- und Koordinationsaufwand (=Festkosten
der Analyse)
• Je mehr Personen codieren, desto wahrscheinlicher sind abweichende Codierungen
(Reliabilität!)
Schulung an vergleichbarem, aber nicht in der Analyse verwendeten Material!!!!!!!

9
QUANTI SS 2019 Arkadiusz P.
Boomgaarden
Erhebungsphase II: Qualitätskontrolle: Reliabilitätstest I
Zwei Gütekriterien für Inhaltsanalysen:
• Reliabilität= Zuverlässigkeit der Messung
• Validität = Gültigkeit der Messung
→ Bei standardisierten Inhaltsanalysen wird vor allem die Reliabilität geprüft
Erhebungsphase III: Drei Typen von Reliabilitätstest: (siehe Seite 3)
• INTERcoder Reliabilität: Konsistenz zwischen mehreren KodiererInnen
• INTRAcoder Reliabilität: Konsistenz derselben KodiererInnen über Zeit.
• ForscherInnen-CodiererInnen-Reliabilität: Wie gut stimmen die Verschlüsselungen der
CodiererInnen mit denen der ForscherInnen überein?
Erhebungsphase IV: Reliabilität: Übereinstimmungsmaß nach Holsti
➔ CR = CK* CÜ/(CA + CB + ... + CN)
Mittelwert auch für jeden einzelnen Codierenden interessant → Schwarze Schafe identifizieren
Beurteilung des Koeffizienten auf Basis des Schwierigkeitsgrades der jeweiligen Kategorie
• bei inhaltlichen Kategorien Werte ab .80
• bei formalen Kategorien nur Werte nahe 1.0.
Erhebungsphase V: Validitätsprüfung
Vier Typen von Validitätsprüfung:
• Analysevalidität (zwischen ForscherInnen und CodiererInnen)
• Inhaltsvalidität (gemeine Validität –messe ich was ich messen will?)
• Kriteriumsvalidität (über externe Quellen, kommen andere Messungen mit selber Methodik
zu demselben Resultat?)
• Inferenzvalidität (über externe Quellen mit anderer Methodik)
Erhebungsphase VI: Codierung I: Organisation Feldphase
• regelmäßige Treffen zwischen Codierenden und Forschenden, um Feinsteuerung des
Codierprozesses zu ermöglichen und einheitlich auf alle Konkretisierungen des Instruments zu
reagieren
• stichprobenartige Kontrolle der Codierung und Dateneingabe
• Veränderungen des Codebuchs umgehend an alle Codierenden kommunizieren
Erhebungsphase VII: Codierung II: Codebogen und Datenerhebung
Codierung auf Papier vs. direkte Eingabe:
• Papier = flexibler, höhere Datensicherheit, größere Transparenz und Nachvollziehbarkeit des
Codiervorgangs, bessere Abstimmung bei Codiertreffen, bei Archivmaterial besonders
praktisch
• direkte Eingabe = Zeit-und Kostenersparnis, keine fehleranfällige separate Dateneingabe, bei
digitalem Material besonders praktisch
Codebogen bzw. digitale Dateneingabemaske (z.B. in Excel oder SPSS)
• in der Reihenfolge des Codebuchs
• genügend Platz für Codierung von offenen Kategorien
• nachvollziehbare Kategorienbezeichnungen (nicht nur Nummern oder Kürzel)
• klare Trennung zwischen Analyseeinheiten und sonstigen Codebuchelementen

10
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

5. VO – Computer gestützte, semiautomatisierte

Inhaltanalyse (CATA, CSIA, etc.) Data, Analysen …
CATA –Warum?
• Kostengünstiger und zeitsparender
• Computer können besser und schneller zählen, sortieren, archivieren und rechnen.
• Computer machen keine Fehler, sind per Defintion reliabel → Objektive Daten
CATA –Warum nicht?
• Keine einfache Lösung, für komplexe Aufgaben zeitintensiv
• Validität - Misst der Computer das, was wir messen wollen?
• Trade-off: Reliabilität manueller Codierung vs. Validität von Computergestützter Codierung
„Algorithmische“ CodiererInnen
✓ Computer 100% reliabel
✓ Effizienter in Zeit und Kosten, detailgenau
✓ Explizit formulierte Coding Regeln à transparent und reproduzierbar
→ Am besten bei: manifesten Variablen von digital archiviertem Material
→ Analyse von Big Data, Netzwerk-Analysen von Links, News-Media-Frames
Text Mining / Scraping
• Auswahl relevanter Dokumente aus einem größeren Textkörper
• Grundgesamtheit oft ungewiss
• Suchmaschinen → Anfragen
• Datenbanken haben bestimmte Art, wie Anfragen konstruiert sind
Herausforderung: Internet
• Riesen Datenmenge
• Unbekannte Grundgesamtheit
• Flüchtig, unstabil
• Öffentliche Daten sind limitiert
• „Noise“ durch Spammer und Fake-Profile
• Schwierig: Wahrscheinlichkeitsstichproben (= jedes Mitglied der Grundgesamtheit hat gleiche
Chance in die Stichprobe zu kommen)
• Convenience Sampling: Analyse von Werbungen via YouTube, Tweets mit gleichem Hashtag
• Beziehungen innerhalb der Daten können nicht einfach auf Offline-Welt übertragen werden
• Grenzen der eigenen Forschung erkennen
Herausforderung: Keyword Suche
• Große Quantität mit einem einzigen Suchbegriff
• Leichtere Anwendung von Zufallsstichproben?
• Suchbegriffe oft subjektive Entscheidung des Forschers
• Vergleichbarkeit von Datenbanken? → unterschiedliche Archiv-Software
• Repräsentativ? Valide?

11
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

Term-document matrix
Mithilfe der TDM können dann statistische Analysen durchgeführt werden (Faktoren/ Clusteranalyse,
etc.), weitere relevante Wörter selektiert werden.
Analysen - Scaling
• Bekannteste Vertreter „Wordscores“ (Laver et al., 2003) und „Wordfish“ (Slapin & Proksch,
2008).
• Es geht darum (politische) Akteure oder Diskurse im (politischen/gesellschaftlichen) Raum
einzuordnen.
• Texte werden nicht als Ganzes interpretiert, sondern als Sammlung von Worten
• Benötigt kein vorgefertigtes Wörterbuch und ist weitgehend unabhängig von der Subjektivität
der WissenschafterInnen
• Benötigt allerdings manchmal Referenztexte deren Position im Raum bekannt sind (à
Wordscores)
Wörterbuch Ansätze
Liste von Worten, die Konzepte höherer Ebenen beschreiben. Wörterbuch markiert die ursprünglichen
Worte mit zugeteilten Kategorien oder ersetzt sie durch allgemeinere Worte.
Bildung eines Wörterbuchs
• Ähnlich zur Entwicklung von Suchanfragen/Searchstrings
• Sicherstellen, dass das Forschungsinteresse klar definiert ist, über die Konzepte Bescheid
wissen, die gemessen werde sollen
• Beginnen mit dem Lesen relevanter Texte, Interviews, etc.
• Entwicklung von Listen mit Worten für Konzepte
• Pre-Tests mit ausgewählten Texten, idealerweise von unterschiedlichen Quellen
• Experten die Listen überprüfen lassen
• Die KWIC Listen deiner Wörter beachten (im Korpus)
• Abschließende Verfeinerungen
• Zufälliges Sample überprüfen
Topic Modeling (LDA)
• Werkzeug um thematische Struktur von Textsammlungen zu erfassen
• Zu Beginn à rein statistischer Ansatz (auch unabhängig von Sprache)
• Ein Dokument setzt sich aus mehreren „Topics“ jeweils unterschiedlicher Gewichtung
(Wichtigkeit) zusammen
• Ein Topic ist eine Wahrscheinlichkeitsverteilung über das gesamte Vokabular des Korpus. Die
Wahrscheinlichkeit, dass ein Wort zu einem Thema gehört, wird berechnet.
• Ein Wort kann mehreren Topics mit unterschiedlich hoher Wahrscheinlichkeit angehören.
• LDA benötigt allerdings „qualitative“ Nachbearbeitung
Supervised Machine Learning
• Im Vergleich zu den anderen Methoden ist hier menschlicher Input notwendig.
• Beispiel: Anhand von 1.000 manuell codierten Texten, werden 100.000 nicht codierte Texte
geschätzt.
Programmiersprachen
• Programmiersprache: Python = Viele Scripte frei verfügbar, sowohl text mining als auch text
analysis
• Programmiersprache: R = Ebenfalls große Community mit vielen OpenSource-Paketen
• Kurse und Online Tutorials
12
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

Qualitätsbeurteilung
Recall
• Misst die Fähigkeit des Algorithmus, die relevanten Fälle in den analysierten Daten zu
identifizieren
• Recall ist der Anteil von relevanten abgerufenen Fällen an allen relevanten Fällen (oder der
Anzahl von korrekten Ergebnissen)
• Perfekter Recall durch Abrufung aller Fälle in Daten leicht zu erreichen.
• Nicht ausreichend, um die Leistung abzuschätzen.
• 100% recall enstpricht der Abwesenheit von Typ II Fehlern – keine falschen Negative
Hoher Recall: Algorithmus identifiziert die meisten relevanten Fälle.
Precision
• Misst den Prozentanteil der Fälle, die korrekt klassifiziert wurden.
• Präzision ist der Anteil der abgerufenen Fälle, die relevant sind (oder die Anzahl der korrekten
Ergebnisse dividiert durch die Anzahl von allen abgerufenen Ergebnissen).
• 100% Präzision entspricht der Abwesenheit von Typ I Fehlern – keine falschen Positiven.
Hohe Präzision: Algorithmus identifiziert signifikant mehr relevante Fälle als irrelevante Fälle.

6. VO – Befragung (Grundlagen, Typologie, Skalen, etc.)

Grundlagen I – IV:
Außeruniversitäre Anwendungsgebiete (Auswahl)
• Angewandte Markt- und Meinungsforschung (z.B. Mediennutzung und Konsumverhalten)
• Werbewirkungsforschung
• Mikrozensus, Volkszählung
• Angewandte Wahlforschung (Sonntagsfrage)
Universitäre Anwendungsgebiete (Auswahl)
• Nutzungsforschung
• Journalismusforschung
• Wirkungsforschung
Vollstandardisierte Befragungen
• Systematische Stichprobenbildung
• Vollstrukturierter Fragebogen
• Systematische Durchführung aller Interviews
• ForscherIn und InterviewerIn sind in der Regel nicht identisch
• Detaillierte InterviewerInnen-Anweisungen
Standardisierte Befragung: Eine Methode, bei der Menschen systematisch, nach festgelegten Regeln
zu relevanten Merkmalen befragt werden und über diese Merkmale selbst Auskunft geben.
Befragungssituation
• Fremde: InterviewerIn und Befragte sind Fremde für einander und lassen sich für das Interview
auf bestimmte Rollen ein
• Asymmetrie: Befragte/r ist kein/e GesprächspartnerIn, sondern eineArt „sprechende/r
MerkmalsträgerIn“
13
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

• Folgenlosigkeit: Antworten de/r Befragten dürfen später nicht auf sie/ihn zurückführbar sein
• Reaktivität: Die Befragung ist ein reaktives Verfahren, weil sich Menschen anders verhalten
als in einer alltäglichen Situation.
Umfrage-Typen
• Querschnittserhebungen
• Längsschnittstudien → Panel-Umfragen → Rollende Querschnitte
• Spezialisierte / fokussierte Umfragen
• Omnibus-Umfragen
Umfrage-Modi

TYPOLOGIE DER FRAGE - Struktur einer Frage

• (Einleitung)
• Frage (Stimulus)
• Antwortmöglichkeiten
Beispiel:
• Einleitung: Kommen wir nun zur Demokratie in Österreich.
• Frage: Wie zufrieden sind Sie alles in allem damit, wie die Demokratie in Österreich
funktioniert?
• Antwortmöglichkeiten: Geben Sie eine Note von 1 bis 5, wobei 1 "sehr zufrieden" und 5 "sehr
unzufrieden bedeutet?
Frageformen:
• Geschlossene Fragen: Begrenzte Anzahl von Antwortvorgaben - Antwortvorgaben
entsprechen einem bestimmen Skalenniveau
• Offene Fragen: Keine Antwortvorgaben - Antworten werden später bei der Auswertung
kategorisiert (nachträglicher Aufwand) - Hohe Komplexität/Details - Sinnvoll bei unbekanntem
Forschungsgegenstand
• Geschlossene Fragen: kein zusätzlicher Aufwand – Einheitliche Messung – geringere relevante
Komplexität

14
QUANTI SS 2019 Arkadiusz P.
Boomgaarden
Testfragen
• Sach- oder Faktenfragen: Fragen nach einfachen Sachverhalten wie z.B. Handy-Besitz /
Soziodemographie
• Wissensfragen: Fragen nach Wissen / Informationsstand
• Einschätzungsfragen: Einschätzungen bestimmter Sachverhalte (z.B. des Meinungsklimas)
• Interessensfragen: Welchen Teil der Tageszeitung lesen sie zuerst?
• Meinungs-, Einstellungsfragen: Wie beurteilen sie Politiker A in Bezug auf folgende
Eigenschaften → Problem der Non-Opinions!
• Stimmungsfragen: Momentane Gefühlsangabe (z.B. Emotionen) gegenüber einem
bestimmten Objekt!
• Tatsächliches soziales / politisches Verhalten oder Verhaltensabsicht: → Problem mit
sozialer Erwünschtheit!
Funktionsfragen
• Eisbrecherfrage: Am Anfang des Fragebogens
• Überleitungsfragen: Funktion → Überleitung zwischen zwei thematisch getrennten
Frageblöcken
• Pufferfragen: Funktion → Abgrenzung zwischen zwei thematischen Blöcken um abzulenken
• Kontrollfragen: Qualität der Antworten einschätzen
• Filterfrage: Funktion → Manche Befragte sollen bestimmte Fragen nicht bekommen

7. VO – Fortsetzung zur letzten Vorlesung, Fragebogeneffekte

Fragebogeneffekte – Das Interview als soziale Situation I - III
Befragung als ein reaktives Verfahren, in welcher die Versuchsperson auf die Situation und Befragung
selbst reagiert.
➔ Rolle des Interviewenden – sehr wichtig:
• Aufs neue die Frage mit derselben Stimme vorlesen
• Keine erkennbare Meinung
• Reaktivität auf Seite der/des Befragten minimieren
• Moralische Integrität und Ehrlichkeit
Der kognitive Prozess der Beantwortung einer Frage (Krosnick, 1999):
• Erstens interpretieren Sie die Frage und leiten Sie ihre Absicht ab
• Zweitens suchen Sie Ihre Speicher nach relevanten Informationen ab
• Drittens integrieren Sie Informationen in eine Einzelbewertung
• Viertens übersetzen Sie die Bewertung in eine Antwort, indem Sie eine Antwortoption wählen
Die Qualität der Befragung hängt in hohem Maße davon ab, wie gut die InterviewerInnen geschult
werden:
• Einheitliches Verhalten aller InterviewerInnen
• Zurücknahme der Persönlichkeit
• Vermeidung von Routine
• Schwarze Schafe‘ frühzeitig entdecken und aussondern

15
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

Allgemeine Effekte
Looking-good-Tendenz → Je neutraler der Interviewer als Person bleibt, desto weniger wird der
Befragte Vermutungen über seinen Geschmack und Vorlieben machen.
InterviewerInneneffekte
• InterviewerIn hat einen großen Effekt auf die Ergebnisse der Befragung z.B. Das Merkmal
Mundart wird bei InterviewerInnen systematisch variiert: Ergebnisse beweisen, dass der
Dialekt tatsächlich einen InterviewerIneffekt zur Folge hat
• Das Geschlecht der InterviewerInnen kann starke Verzerrungen im Antwortverhalten bei
geschlechtsrelevanten Inhalten auslösen z.B. Frage nach dem Konsum von pornographischen
Inhalten
Sponsorship-Effekt → Sobald die/der Befragte bemerkt welcher Auftraggeber hinter der Befragung
steckt wird sie/er anders antworten
Anwesenheits-und Zustimmungseffekt → Anwesenheit Dritter beim Interview wie zum Beispiel
EhepartnerIn
Konsistenz-und Kontrasteffekte → Befragte wollen in ihren Antworten „stimmig“ bleiben
Kontexteffekte
Halo-Effekte/Ausstrahlungseffekte → Eine Frage nach einem politischen Skandal des Politikers X
könnte die Antworten auf eine spätere Frage nach politischem Vertrauen im Allgemeinen beeinflussen
(Inklusionseffekt), oder könnte zu höheren Vertrauensnoten der Politikerin Y führen (Kontrasteffekt).
Primacy-/Recency-Effekte → die Tendenz einer selektiven Erinnerung von Vorgaben am Anfang bzw.
am Ende einer Antwortliste.
Non-Opinions → häufig äußern sich Befragte in Umfragen auch zu Bereichen, über die sie sich vorher
noch nie Gedanken gemacht, nur um zu zeigen, dass sie eine Meinung dazu haben. Beispiel: Sind Sie
für oder gegen die Abschaffung von Artikel 148 des GG? → Den Artikel gibt es nicht aber viele sagen,
dass sie dafür/dagegen sind.
Effekte sozialer Erwünschtheit → Befragte werden ungern eine sozial nicht akzeptierte Meinung
äußern, mit der sie sich gegenüber der (vermuteten!) Mehrheitsmeinung isolieren.
Längeneffekte
In nahezu allen europäischen Ländern gibt es Aufnahmeprüfungen und Zugangsbeschränkungen an
den Universitäten. Daher kommt es jedes Jahr in Österreich zu einem Ansturm ausländischer
Studenten und Studentinnen, die in ihrer Heimat nicht zum Studium zugelassen wurden. Halten Sie es
unter diesen Umständen für sinnvoll, bestimmte Zugangsbeschränkungen bzw. Aufnahmeprüfungen
einzuführen, oder sind Sie gegen solche Beschränkungen?
Optimizing vs. Satisficing
Optimizing: das Bestreben, die genaueste, die optimale Antwort zu geben, basiert auf einer hohen
Motivation, eine gute Leistung zu erbringen - Wunsch nach Selbstdarstellung - intellektuelle
Herausforderung - Gefühle von Altruismus der angebliche Nutzen einer Umfrage etc.
Effektive Fragen formulieren
• Möglichst einfache/alltägliche Sprache verwenden
• Möglichst unmissverständliche Sprache verwenden
• Möglichst immer nur eine Frage nach der anderen stellen.
• Möglichst keine Suggestivfragen
• Möglichst keine Vorannahmen treffen

16
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

Mediennutzungsmessungen
Um die Medienselektion der Befragten als Differenzierungskriterium zu verwenden, braucht man eine
Messung der Mediennutzung. Mediennutzung kann unterschiedlich gemessen werden.
Bias in Self-Reported News Exposure
Viele Studien über Medieneffekte nutzen selbst berichtete Mediennutzung als unabhängige Variable
Problem der Validität; Es ist möglich, dass Medienwirkungen nicht aufgrund der Unterschiede in der
Mediennutzung auftreten, aber wegen Unterschiede in der Genauigkeit der berichteten Nutzung.
Rücklaufquote – Typen von Rücklaufquoten
• Response rates: Antwortquoten - Die Anzahl der vollständigen Befragungen von
Berichtseinheiten dividiert durch die Anzahl der geeigneten Berichtseinheiten in der
Stichprobe
• Cooperation rates: Kooperationsraten - Der Anteil aller befragten Fälle an allen in Frage
kommenden Einheiten, die jemals kontaktiert wurden.
• Refusal rates: Verweigerungsquoten - Der Anteil aller Fälle, in denen eine Wohneinheit oder
der Befragte sich weigert, interviewt zu werden oder die Befragung abbricht, an allen
potentiell geeigneten Fällen.
• Contact rates: Kontaktrate -Der Anteil aller Fälle, in denen ein Mitglied der zuständigen
Wohneinheit erreicht wurde.
Umfragen veröffentlichen
ESOMAR/WAPOR
Unterschied Meinungsumfragen / Marktforschung: Ziel von Meinungsumfragen ist die
Veröffentlichung.
• Bei der Veröffentlichung von Ergebnissen (von Print, Fernsehen, Internet, andere Medien),
müssen ForscherInnen Informationen über die Durchführung der Umfrage verfügbar machen.
• Umfragen werden immer komplexer und vielfältiger → die ForscherInnen müssen umfassende
Informationen über die methodische Herangehensweise geben.
Die folgenden Informationen müssen im Umfragebericht eingeschlossen oder in einer anderen
schriftlichen Form zur Verfügung gestellt werden:
• Name der Organisation, die die Umfrage durchgeführt hat & Organisation/Person, die das
Ganze finanziert hat
• Offenlegen, ob die Stichprobe alle Erwachsenen/nur die geeigneten/die wahrscheinlichen
Wähler einschließt + geographische Reichweite und ob bestimmte Gruppen ausgeschlossen
wurden
• Sampling Methode

17
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

8. VO – Grundlagen experimenteller Designs

Das Experiment
Definition 1 (Schnell et al. 1999: 214) → „Es ist sinnvoll und üblich, nur solche Untersuchungen als
echte Experimente zu bezeichnen, die (1) eine Hypothese prüfen, (2) diesen Test durch kontrollierte
Setzung des Treatments durchführen (3) und die Versuchsbedingungen mit Hilfe der Elimination,
Konstanthaltung und Randomisierung kontrollieren“
Definition 2 (Scheufele & Engelmann 2009) → „Ein Experiment prüft eine Kausalhypothese, also den
Einfluss der unabhängigen Variablen (Faktoren) auf die abhängigen Variablen. Je nach Anzahl der
unabhängigen Variablen spricht man von einem ein-oder mehrfaktoriellen Design.“
→Experimente erlauben einen ‚echten‘ Kausalnachweis, was durch (1) Manipulation der
unabhängigen Variablen und durch (2) Kontrolle bzw. Konstanthalten der Drittvariablen – mittels
Randomisieren – sichergestellt wird

Grundbegriffe
• ProbandInnen: Versuchspersonen, TeilnehmerInnen am Experiment
• Treatment/Stimulus: Manipulation der unabhängige(n) Variable(n)
a) Ein Werbespot wird im Werbeblock einmal gezeigt (Version A), bei Version B zweimal
und bei Version C dreimal (Manipulation der Häufigkeit auf drei Stufen)
b) Treatment: Werbespot, den die ProbandInnen sehen
• Experimenteller Faktor: Manipulierte unabhängige Variable
• Randomisierung: Zufällige Zuweisung der ProbandInnen an Kontroll-/Experimentalgruppe
• Experimentalbedingungen/-gruppen ergeben sich aus den Stufen, auf denen die Faktoren
manipuliert werden
• Experimental- und Kontrollgruppe: → Hypothese: RezipientInnen eines gewalttätigen Films
sind danach aggressiver als RezipientInnen eines gewaltlosen Films
• Mehrere Experimentalgruppen:
a) Hypothese: Je häufiger RezipientInnen einen Werbespot sehen, desto besser erinnern
sie sich an den Werbespot
b) Manipulation auf drei Stufen (einmal, zweimal, dreimal) also 3 Experimentalgruppen

18
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

Kausalnachweis im Experiment
Manipulation, Kontrolle, Randomisieren, Matchen und Konfundierung
• Experimental- und Kontrollgruppen dürfen sich nur im experimentell induzierten Stimulus
unterscheiden
• Natürlichen Bedingungen bewusst so manipuliert, dass nur noch der Stimulus als mögliche
„Ursache“ übrigbleibt

• ProbandInnen werden so auf die Gruppen verteilt (Randomisieren), dass sich die
Zusammensetzung der Gruppen nur im Stimulus unterscheidet
• „Mit dem ‚Trick‘ der Randomisierung wird der Einfluss sämtlicher, auch unbekannter
Drittvariablen neutralisiert“
• Durch die zufällige Verteilung der ProbandInnen auf die Experimentalbedingungen wird der
Einfluss von Störgrößen nicht beseitigt, sondern nur neutralisiert.

• ProbandInnen werden nach einem Zufallsprinzip auf die Experimentalbedingungen

(Experimental- und Kontrollgruppen) verteilt
• Aufgrund der Wahrscheinlichkeitstheorie sind Störvariablen in allen Gruppen gleich verteilt,
was nach Durchführung des Experiments geprüft werden muss
• Randomisieren nur für hinreichend große Gruppen zuverlässig

• ProbandInnen werden anhand ausgewählter, zentraler Merkmale so auf die Gruppen verteilt,
dass diese relevanten Merkmale in allen Gruppen gleich verteilt sind
• ProbandInnen werden so auf die Gruppen verteilt, dass stark und schwach aggressive /
ProbandInnen in allen Gruppen gleich häufig vorkommen („Zwillinge“)
• Nachteile von Matchen: Nur wenige, ausgewählte Merkmale lassen sich vorab messen. Bei
vielen anderen Merkmalen können sich die Gruppen weiterhin unterscheiden - Vorher-
Messung kann die Ergebnisse verzerren (priming / Halo-Effekt etc.) - Vergleichsweise hoher
Aufwand

• Störvariablen (Z) sind im Treatment enthalten und wirken gemeinsam („konfundieren“) mit
dem experimentellen Faktor (X) auf die abhängige Variable (Y)
• Gefahr der Konfundierung steigt mit Komplexität des Stimulus (z. B. TV-Inhalt)
• Beispiel für Konfundierung: Experimentalgruppe sieht Gewaltfilm, Kontrollgruppedagegen
Comedy-Show. Gruppen unterscheiden sich nicht nur im Stimulus (Gewaltgrad des TV-Inhalts),
sondern erhalten Sendungen ganz unterschiedlicher TV-Genres
Exkurs – Effect of product placement

19
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

Der Fragebogen im Experiment

• So weit wie möglich auf bereits bestehenden Messungen aufbauen (oder zumindest diese
adaptieren)
• Multiple Indikatoren → am besten Indices, um Messfehler bei geringer ProbandInnenzahl zu
reduzieren!
Ethische Grenzen
• Problematisches Verhalten als abhängige Variable? (z.B. Gewaltbereitschaft)
• Schädliche Einflüsse auf die ProbandInnen? (z.B. Suizid-/Extremismus-Studien)
• Debriefing: Nachträgliche Aufklärung der ProbandInnen über den eigentlichen Zweck des
Experiments, über den sie zuvor nicht informiert oder „belogen“ wurden
Fehler/Störfaktoren
• Systematische Fehler: Fehler während der Durchführung des Experiments, der mit Stimulus
konfundiert - Gefahr für systematische Fehler steigt mit Anzahl der ProbandInnen, bei denen
Experiment zeitgleich durchgeführt wird
• Zufälliger Fehler: Fehler während der Durchführung des Experiments, der nicht mit Stimulus
konfundiert, sondern nur Messgenauigkeit beeinträchtigt
• VersuchsleiterIn: Wie bei Befragung à potenzielle Quelle systematischer oder zufälliger Fehler.
Elimination und Kontrolle von einfachen VersuchsleiterInneneffekten a) Schriftliche oder
aufgezeichnete Instruktion b) Instruktionen und Schulungen für VersuchsleiterInnen.
• Erwartungs-Effekte (Rosenthal): VersuchsleiterIn (PsychologiestudentInnen) waren selbst die
ProbandInnen - Ratten als angebliche Probanden sollten in Labyrinth zum Futter laufen und
die VersuchsleiterInnen sollten die Zeit messen, bis die Ratte beim Futter ankommt.
Manipulation der Instruktion an die VersuchsleiterInnen → Vermeintliche
Experimentalgruppe: Den VersuchsleiterInnen dieser Gruppe wurde gesagt, dass sie
intelligente, genetisch veränderte Ratten beobachten → Vermeintliche Kontrollgruppe: Den
VersuchsleiterInnen dieser Gruppe wurde gesagt, dass sie dumme Ratten beobachten → Alle
Ratten stammten aber tatsächlich aus dem gleichen Wurf, was die VersuchsleiterInnen nicht
wussten. Elimination und Kontrolle von Erwartungseffekten – “Doppelblindversuch” Sowohl
VersuchsleiterInnen als auch ProbandInnen werden über Zweck des Experiments im Unklaren
gelassen (nachheriges Debriefing)
• Störfaktoren für interne Validität – interne Fehler a) Interne Validität ist gegeben, wenn
Wirkung nur auf Stimulus zurückzuführen ist b) Erhöhung der internen Validität durch
Kontrolle aller Störvariablen führt häufig zu ‚künstlicher‘ Situation, die in der Realität niemals
anzutreffen ist
• Störfaktoren für externe Validität – externe Fehler a) Externe Validität ist gegeben, wenn sich
die Befunde des Experiments auf andere Gruppen (z. B. Nicht-Studierende) bzw. auf andere
Kontexte übertragen lassen b) Erhöhung der externen Validität beeinträchtigt oft die interne
Validität. c) Das Ziel besteht in einer Balance zwischen interner und externer Validität
Interne Fehler
• Zeitliche Effekte („history“) = Ereignisse, die neben dem Stimulus die abhängige Variable
beeinflussen
• Reifeprozesse bei den ProbandInnen („maturation“, „decay“) = Biologische oder
psychologische Veränderungen der ProbandInnen
• Mess-Effekte (“testing”) = Störeinflüsse auf die AV durch die wiederholte Messung (z.B.
Erinnerung an vorherige Testfragen)
• Veränderung im Messinstrument(“instrumentation”) = Veränderungen im Messinstument
(z.B. anders formulierte Fragen

20
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

• Verzerrte Auswahl (“selection”) = Experiment- und Kontrollgruppe unterscheiden sich nicht

nur im Stimulus, sondern auch in anderen Faktoren, was z.B. am misslungenen Randomisieren
liegt
• Ausfälle (“mortality”) = Abbrecher während der Durchführung (z.B. durch Brutalität im
Fernsehfilm)
Interne Stimulus Validität
Tut der Stimulus / das Treatment das, was wir wollen? Nehmen die ProbandInnen das Material so
wahr, wie wir es beabsichtigen?
→ Pilotstudien n Manipulationsprüfung/“Manipulation Check“
→ Achtung: Auch „Material“ der Kontrollgruppe muss überprüft werden
Externe Fehler
• Reaktive Effekte des Messens = Pre-Test (Aggressionsmessung) kann die ProbandInnen für
den Stimulus (Gewaltfilm) sensibilisieren und damit den Post-Test beeinflussen à Lösung
ähnlich wie bei “instrumentation”
• Reaktive Effekte der experimentellen Situation = “Demand characteristics”: ProbandInnen
denken über den Zweck des Experiments nach und verhalten sich nicht “natürlich” oder anders
als außerderhalb der Experimentalsituation
Externe Stimulus Validität
Wie hoch ist die Wahrscheinlichkeit, dass Treatment in der realen Welt stattfindet?
→ Überprüfen mittels: Anekdotischer Beweise, Systematischer Analyse (z. B. Inhaltsanalyse)

9. VO – Labor-/Feldexperiment, Ein- und mehrfaktorielle

Designs
Unterschiede zwischen Labor- und Feldexperiment

21
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

Quasi-Experiment
Keine randomisierte Zuteilung von ProbandInnen zu den Untersuchungsgruppen (möglich) (...auch
keine self-selection!)
ProbandInnen sind aufgrund von natürlichen, nicht durch die ForscherInnen kontrollierbaren,
Ereignissen in Experimentalgruppe und Kontrollgruppe eingeteilt werden. ForscherInnen lediglich als
BeobachterInnen.
Beispiel: Einfaktorielles Design
• Abhängige Variable: Zustimmung zu fiktivem
Bundesheereinsatz
• Einfluss der Mediendarstellung auf die Zustimmung
• Einfaktorielles Design – Faktor „Inhaltliche Rahmung
des Bundesheereinsatzes“ (Framing)
Beispiel: Zweifaktorielles Design
Abhängige Variable: Zustimmung zu fiktivem Bundesheereinsatz
Einfluss der Mediendarstellung auf die Zustimmung
Zweifaktorielles Design (2x2 Design)
→ Faktor A „Inhaltliche Rahmung
des Bundesheereinsatzes“ (Framing)
→ Faktor B „Nachrichtenbild“

Haupteffekte und Interaktionseffekte

• Mehrfaktorielle Designs erlauben differenzierte Kausalaussagen auch zu Wechselwirkungen
der Einflussfaktoren
• Haupteffekte → Faktoren wirken unabhängig von einander
• Interaktionseffekte → Faktoren spielen zusammen („interagieren“)
Unvollständige Designs
• Bestimmte Kombination(en) mehrerer Faktoren sind logisch nicht immer möglich
• Zweifaktorielles Design zur Text-Bild-Schere und Erinnerung an Nachrichteninhalte als
abhängige Variable (vgl. Brosius, 1995)

22
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

10. VO – Beobachtung und Sekundärdatenanalysen

Die Beobachtung
Definition: Scheufele/Engelmann (2009)
„Die Beobachtung ist eine Methode zur systematischen Erfassung und Protokollierung von sinnlich
oder apparativ wahrnehmbaren Aspekten menschlicher (Sprech)Handlungen und Reaktionen, solange
diese weder auf Selbstauskünften noch auf massenmedial erzeugten Dokumenten basieren“
Grundbegriffe:

Grundsätze
• Gütekriterien: Validität & Reliabilität / Systematik / Intersubjektivität
• Handeln, Verhalten und Reaktionen: → Sichtbar und direkt beobachtbar → Nicht direkt
sichtbar und unbewusste Reaktionen (z.B. Puls / Hirnströme) → Sprechhandlungen (die nicht
auf Selbstauskünften basieren!)
• Dokumentation: Mediale Aufzeichnung ist OK, aber keine medialisierte/mediatisierte
Aufzeichnung
Anwendungsgebiete
• Journalismusforschung : z.B. Beobachtung von Redaktionsabläufen
• Abgewandte Medien(nutzungs)forschung: z.B. Telemetrische Messung der „Gesellschaft für
Konsumforschung (GfK)“
• Universitäre Mediennutzungs- & Wahlforschung: z.B. Logfile-Analysen zur Analyse von
Selektionsverhalten
Varianten der Beobachtung
• Datenerhebung durch ForscherIn (intern):
a. ForscherIn kennt Beobachtungsgegenstand gut
b. ForscherIn erfasst möglicherweise zu genau oder dokumentiert nicht jede Entscheidung
(Subjekt-Objekt-Trennung)
• Datenerhebung durch Beobachter (extern):
a. Bei großen Fallzahlen unumgänglich
b. Bei bestimmten Beobachtungsobjekten sind „beauftragte“ BeobachterInnen ratsam
(z.B. Beobachtung von Kleinkindern durch entsprechende BeobachterInnen)
c. Schulung

23
QUANTI SS 2019 Arkadiusz P.
Boomgaarden

• Reflexivität: Selbst- vs. Fremdbeobachtung: ForscherIn beobachtet sich selbst (Introspektion)

oder Dritte (Beobachtungsobjekte)
• Partizipationsgrad: Teilnehmend vs. nicht Teilnehmend: Teilnahme → eingeschränkte
Protokollierungsmöglichkeit, Beeinflusst Verhalten der Beobachteten, ethische Grenzen
• Objekte: Wissentliche vs. Unwissentliche Beobachtung
Quantitative Beobachtung

Strukturiertes Protokollieren:

• Standardisiertes Beobachtungsinstrument oder apparative Messung

• Bei großem Sample und für statistische Auswertungen notwendig
• Reliabilität höher als bei unstrukturierter Beobachtung
• Validität kann geringer ausfallen, wenn Kategorien fehlen
• Beschränkung auf wenige Kategorien, ansonsten Videoaufzeichnung

Primär vs. Sekundärdaten

Primärdaten: originale Daten, die im Forschungsprozess von den ForscherInnen selbst gesammelt
wurden

Sekundärdaten: Nutzung bestehender Daten

• Wurden bereits von anderen ForscherInnen gesammelt, vlt. mit anderen Absichten
• Sollten klare Verbindung zur Forschungsfrage haben
• Sind billiger, einfacher und schneller zu bekommen als Primärdaten
• Klare Unterscheidung zwischen ForscherInnen, die die Daten erhoben haben und denen die
sie auswerten (à Researcher-Bias)
• „Demokratisierung der Forschung“
• Keine Übernutzung von Forschungsteilnehmern
• In die Vergangenheit schauen

Bei Sekundärdaten zu beachten ...

• Sind die Daten vollständig und erscheinen für meinen Forschungszweck als gültig und
zuverlässig?
• Sind die Instrumente und Methoden zu Datenerhebung transparent und verfügbar
(Stichwort: Codebuch/Fragebogen & Dokumentation?
• Wie werden die Daten geliefert?

Wann Primärdaten?

• Es sind keine sekundären Daten verfügbar

• Sekundärdaten sind nicht geeignet, um spezifische Forschungsfragen zu beantworten
• Das Timing der Datensammlung ist entscheidend

Was ist AUSSDA?

• AUSSDA ist die zentrale Forschungsinfrastruktur für Sowi Daten in AUT

• AUSSDA archiviert Forschungsdaten aus den Sowi und stellt diese der Community zur
Nachnutzung zur Verfügung
• Die Prozesse entsprechen internationalen Standards. AUSSDA ist der österreichische Partner
im Consortium of European Social Science Data Archives (CESSDA)

24
QUANTI SS 2019 Arkadiusz P.
Boomgaarden
Vorteile des Archivierens

• Höhere Sichtbarkeit der Daten und zugehörigen Forschungsleistungen

• Leichte Zitierbarkeit (durch DOI)
• kostenlose Qualitätskontrolle Ihrer Daten
• Sichere Langzeitarchivierung
• Erreichung neuer Zielgruppen und Entwicklung neuer Kooperationen
• Einhaltung von Förderrichtlinien und guter wissenschaftlicher Praxis

Metadaten beschreiben die archivierten Datensätze; Gewähren Nachvollziehbarkeit und

Auffindbarkeit der Daten

Umfragen mit Geo-Tracking

Personalisierte Umfragen: Neue Umfrage auf Handy, je nachdem wo man sich gerade befindet

Physiologische Messung: EEG II

„Die physiologischen Messungen dienen der objektiven Erfassung und Quantifizierung bestimmter
Merkmale physiologischer Prozesse in unterschiedlichen Organsystemen des Körpers mittels
entsprechender Messgeräte. Die erhobenen Merkmale (z. B. Herzschlagfrequenz) werden als
physiologische Indikatoren oder Biosignale („bio signal“) bezeichnet. Meist werden mehrere
Biosignale integriert erfasst und ausgewertet (z. B. Hirnaktivität und Blickbewegungen).“

Andere “typische” Verfahren

• Hautleitfähigkeit
• Herzschlag
• fMRI

Big Data
Datensätze die

• zu groß
• zu komplex
• zu schnelllebig
• oder zu unstrukturiert sind

um sie mit herkömmlichen Methoden auszuwerten

25