Sie sind auf Seite 1von 86

Institut fr Soziologie Empirische Sozialforschung Dr. Daniel Lois (in Vertretung von Prof. Dr. P.

Hill)

(2) Forschungsdesigns & Untersuchungsformen


Stand: Dezember 2010

Inhaltsverzeichnis
1. Experimentelle Designs 2. bersicht ber Ex-post-facto-Designs 3. Querschnittdesign 4. Trenddesign 5. 5 Exkurs: APK Analyse APK-Analyse 6. Paneldesign 7. Exkurs: SOEP 8. Zur Logik der Drittvariablenkontrolle 9. Exkurs: Annherungen ans Experiment 10. berblick Untersuchungsformen 11. Beispiel: Netzwerkanalyse 12. 12 Literatur 4 15 18 23 26 32 48 59 72 77 78 86

Forschungsdesigns

Forschungsdesigns
Forschungsdesigns und Untersuchungsformen: Grundfrage: Wann wo, wie und wie oft werden empirische Wann, wo Indikatoren zur berprfung von Hypothesen erhoben und an welchen Objekten? Hintergrund: Aufbau des Forschungsdesigns entscheidend fr Sicherheit von Aussagen ber Kausalitt (Ursache Wirkung) Ziel: Ausschluss von alternativen Erklrungsmglichkeiten neben dem vermuteten Ursache-Wirkungs-Zusammenhang Unterscheidung zwischen a) echten Experimenten und b) Ex-postfacto-Anordnungen:

Forschungsdesigns

Experimentelle Designs
Design einer einmaligen Messung: Es soll die Hypothese getestet werden, dass der Konsum von werden Kriegsfilmen zu einem Anstieg aggressiver Verhaltensweisen fhrt Einfachste Testmglichkeit: Einer Gruppe von Versuchspersonen (Vp) werden zu t1 Filme (X) vorgefhrt und danach (t2) die Neigung zu aggressivem Verhalten gemessen (O = observation) Der gemessene Durchschnittswert der Aggressivitt msste mit einem unbekannten Vorherwert verglichen werden Da dieser nicht fr die Experimentalgruppe vor Einwirkung von X gemessen wurde, mssen andere Bezugspunkte (z.B. andere Untersuchungen) herangezogen werden

Forschungsdesigns

Experimentelle Designs

Forschungsdesigns

Experimentelle Designs
Einfaches experimentelles Design: Bildung von zwei Gruppen, die nach Zufallsprinzip ExperimentalGruppen und Kontrollgruppe zugeordnet werden (zufllige Zuordnung = Randomisierung, R) Messung der Aggressivitt in beiden Gruppen vor experimenteller Manipulation durch X (Vorhermessung zu t1) Anschlieend wird nur die Experimentalgruppe zu t2 X (Filmkonsum) ausgesetzt, bevor erneute Messung der abhngigen Variablen bei Experimental- und Vergleichsgruppe erfolgt (Nachhermessung zu t3) Verbesserungen: Direkter Vergleich von Vorher-Nachher-Messung fr Experimentalgruppe mglich; zustzliche Vergleichsmglichkeit mit der Kontrollgruppe g pp

Forschungsdesigns

Experimentelle Designs

Forschungsdesigns

Experimentelle Designs
Strfaktoren der internen Validitt (= interne Gltigkeit, d.h. Stimulus ist fr Vernderung der abhngigen Variablen verantwortlich): Zwischenzeitliches Geschehen (history, Zeiteinflsse), alle Ereignisse zwischen Vorher- und Nachhermessung, die zustzlich zum treatment die abhngige Variable (AV) beeinflussen Reifung der Probanden (maturation), interpersonale Prozesse beeinflussen die Vernderung der AV Messeffekte (testing), Vernderungen der AV werden als Auswirkung des ersten Messvorgangs auf den zweiten erzeugt

Forschungsdesigns

Experimentelle Designs
Weitere Strfaktoren der internen Validitt: Hilfsmittel (instrumentation) die AV wird durch vernderte (instrumentation), Messinstrumente und -bedingungen, z.B. verschiedene Versuchsleiter, Beobachter, Interviewer usw. beeinflusst Verzerrte Auswahlen und Ausflle (selection), Experimental- und Kontrollgruppe unterscheiden sich nicht nur durch das treatment, sondern auch im Hinblick auf andere Merkmale, welche die AV beeinflussen

Forschungsdesigns

Experimentelle Designs
Strfaktoren der externen Validitt (= Mglichkeit der Generalisierung der experimentellen Resultate auf andere Personengruppen und soziale, zeitliche und rumliche Kontexte): Reaktivitt oder reaktive Effekte des Messens (Durchfhrung der Vorhermessung regt Empfnglichkeit der Versuchspersonen fr Stimulus an (Sensibilisierung), bertragbarkeit der Ergebnisse nur auf Personen, die an Vorhermessung teilnehmen) Reaktive Effekte durch die experimentelle Situation (experimentelle Situation weicht gravierend von Alltagssituationen ab (z.B. durch ihren Aufforderungscharakter), intern gltige Effekte sind daher nicht auf Alltag verallgemeinerbar)

Forschungsdesigns

10

Experimentelle Designs
Definition: Was ist ein echtes Experiment? Von einem echten Experiment spricht man, wenn zur berprfung einer Hypothese das treatment durch den Versuchsleiter gesetzt wird Versuchsbedingungen durch folgende Techniken kontrolliert werden: Elimination (Ausschaltung denkbarer Strgren in Laborexperimenten, z.B. Dauer der Fimbetrachtung steuern, steuern Strungen durch andere Personen vermeiden)

Forschungsdesigns

11

Experimentelle Designs
Von einem echten Experiment spricht man, wenn zur berprfung einer Hypothese Versuchsbedingungen durch folgende Techniken kontrolliert werden: Konstanthaltung (Versuchsbedingungen bis auf das treatment werden in Experimental- und Vergleichsgruppe maximal angeglichen) Bildung der Experimental- und Kontrollgruppe durch Matching Experimental (bezglich bestimmter Merkmalsausprgungen gleiche Personen werden den Gruppen zugeordnet) bzw. Randomisierung (zufllige Zuweisung)

Forschungsdesigns

12

Experimentelle Designs
Komplexes experimentelles Design (Solomon-ViergruppenVersuchsplan): Zustzlich zum Design der Vorher-Nachher-Messung mit Kontrollgruppe werden zwei weitere Kontrollgruppen herangezogen Beide Gruppen werden keiner Vorher-Messung unterzogen und nur eine der zustzlichen Gruppen wird dem treatment ausgesetzt Denkaufgabe: Welche der Messungen (O) hat den hchsten Wert, wenn alle drei Einflussfaktoren auf die abhngige Variable (der Effekt des treatment, Messeffekte durch den wiederholten Test und Reifungseffekte durch die zwischen t1 und t3 vergangene Zeit) einen positiven Effekt haben?

Forschungsdesigns

13

Experimentelle Designs

Solomon-Viergruppenversuchsplan:

Forschungsdesigns

14

Ex-post-facto-Anordnungen
Eigenschaften von Ex-post-facto-Anordnungen: Forscher manipuliert keine Stimuli es gibt keine Randomisierung Stimuli, Vorliegende Merkmale werden gemessen und Aufteilung in Versuchs- und Kontrollgruppe erfolgt erst im Neimhinein (ex post) aufgrund der beobachteten Werte Die meisten sozialwissenschaftlichen Studien haben ein Ex-postfacto-Design facto Design Echte Experimente sind selten mglich; Beispiel: Auswirkungen von Scheidungen, Arbeitslosigkeit auf subjektives Wohlbefinden (man kann niemanden zufllig auswhlen und zur Scheidung zwingen bzw. arbeitslos machen)

Forschungsdesigns

15

Ex-post-facto-Anordnungen
Probleme von Ex-post-facto-Anordnungen: Varianz der unabhngigen Variable (nachtrgliche Klassifizierung der Daten in Experimental- und Kontrollgruppe schwierig, wenn mindestens eine der interessierenden Merkmalsausprgungen nur selten anzutreffen ist) Kausale Reihenfolge der Variablen (ist unter Umstnden nicht mehr herstellbar, wenn alle Daten gleichzeitig erhoben werden (sog. Querschnittdesign), Lsungsmglichkeiten sind Retrospektivfragen bzw. Panelerhebungen, s.u.) Kontrolle von Str und Drittvariablen ist schwieriger da die Strschwieriger, Einwirkung der unabhngigen Variablen nicht nach dem Zufallsprinzip auf Vp verteilt werden kann, sondern ohne Zutun des Forschers bereits vorliegt (s u ) (s.u.)

Forschungsdesigns

16

Ex-post-facto-Anordnungen
Ex-post-facto-Datenerhebungen, gleich mit welcher Methode (Interview, standardisierte Befragung), lassen sich in drei Erhebungsdesigns unterteilen: (1.) Querschnittdesign: Datenerhebung bezieht sich auf einen Zeitpunkt, Zeitpunkt zu dem eine einmalige Erhebung der Variablenwerte durchgefhrt wird (2.) Trenddesign: Hier werden (a) die Werte der gleichen Variablen (b) zu mehreren Zeitpunkten mit (c) jeweils unterschiedlichen Stichproben erhoben (3.) (3 ) Paneldesign: Hier werden (a) die Werte der gleichen Variablen (b) zu mehreren Zeitpunkten, jedoch (c) auf der Grundlage einer identischen Stichprobe erhoben

Forschungsdesigns

17

Querschnittdesign
a) Querschnittdesign

Forschungsdesigns

18

Querschnittdesign
Eigenschaften des Querschnittdesign: Bezieht sich auf Zeitpunkt bzw. kurze Zeitspanne in der eine bzw Zeitspanne, einmalige Erhebung der Eigenschaften (Variablenwerte) bei N Untersuchungseinheiten vorgenommen wird Ermglicht Momentaufnahmen, Erfassung eines Phnomens zu einem Zeitpunkt Geringster Informationsgehalt innerhalb der Ex post facto Designs Ex-post-facto-Designs (hufig keine Information zur zeitlichen Reihenfolge von Variablen, praktisch keine Mglichkeit, Trendentwicklungen zu analysieren)

Forschungsdesigns

19

Querschnittdesign

Jahr Alle Deutsche D h Auslnder

1984 11,0 10,3 10 3 24,1

1985 11,0 10,2 10 2 24,8

1986 12,4 11,5 11 5 29,4

1987 10,6 9,9 99 24,4

1988 10,7 10,1 10 1 22,9

1989 10,7 8,8 88 24,3

Beispiel: Armutsquoten in Westdeutschland 1984-1989 Befund Querschnitt (vertikal): Auslnder sind strker betroffen Befund Lngsschnitt (horizontal): Quoten sind relativ stabil

Forschungsdesigns

20

Querschnittdesign
Unterschied zwischen Querschnittdesign und Experiment am Beispiel Filmkonsum: Zufllig ausgewhlte Personen werden zu ihrem Filmkonsum und gleichzeitig zu ihrer Neigung zu aggressivem Verhalten befragt Nachtrgliche (ex post) Einteilung der Befragten in zwei Gruppen: Personen, die hufig entsprechende Filme sehen (Experimentalgruppe) und Personen, die das selten bis nie tun (Kontrollruppe) Keine gezielte Setzung des Stimulus X durch Forscher mglich Nachteile: Vorhermessung fehlt, nachtrglich gebildete Gruppen knnen sich schon vor einer ersten Messung unterschieden haben ( (Selektivitt) )

Forschungsdesigns

21

Querschnittdesign

Forschungsdesigns

22

Trenddesign
Eigenschaften des Trenddesign (auch unechtes Panel, replikativer Survey): (a) Die Werte der gleichen Variablen werden (b) zu mehreren Zeitpunkten mit (c) jeweils unterschiedlichen Stichproben erhoben Abfolge von Querschnitterhebungen zum gleichen Thema Es knnen Vernderungen auf der Aggregatebene der Stichproben registriert werden, vergleichbar sind Kennziffern wie werden Mittelwerte, Prozentwerte usw.

Forschungsdesigns

23

Trenddesign
b) Trenddesign

Durchgezogene Linie verbindet die Mittelwerte

Forschungsdesigns

24

Trenddesign
Vor- und Nachteile des Trenddesign: Vorteil: Hherer Informationsgehalt gegenber Querschnitt da Querschnitt, zustzlich Vernderungen auf der Aggregatebene analysiert werden knnen Vorteil in Forschungskonomie: Aufwand zum Ausgleich der Panelmortalitt durch Panelpflege entfllt (Trendstudien weniger kostenintensiv als Panelstudien) Nachteil: Tatschliche Vernderungen (Trends) sind nicht einfach von Stichprobenfehlern (zuflligen Schwankungen in Stichprobenzusammensetzung) zu trennen Nachteil: Strfaktoren knnen Ergebnisse verzerren, z.B. Vernderungen der Erhebungsbedingungen und der g g g g Messinstrumente

Forschungsdesigns

25

Exkurs: APK-Analyse
Exkurs: Eine Alters-, Perioden-, Kohorten-Analyse mit dem Allbus ALLBUS (Allgemeine Bevlkerungsumfrage der Sozialwissenschaften) Trendstudie seit 1980 im Abstand von 2 Jahren, fester Kern von Fragestellungen, welche in jeder Welle bei ca. 3000 Personen erfragt wird Studie zum sozialen Wandel am Beispiel der Skularisierung, d.h. Skularisierung d h hier Rckgang des Anteils der Kirchenmitglieder im Zeitverlauf Unterscheidung zwischen Alters-, Perioden- und Kohorteneffekten:

Forschungsdesigns

26

Exkurs: APK-Analyse
Alters-, Perioden- und Kohorteneffekte: Kohorteneffekte = Unterschiede zwischen verschiedenen Geburtsjahrgngen (z.B. 1960-1970er Generation); Annahme: Merkmale wie z.B. religise Einstellungen werden im Jugendalter und unter speziellen historischen Bedingungen ansozialisiert ; diese ansozialisiert; Einflsse bleiben im weiteren Lebenslauf stabil Alters- bzw. Lebenszykluseffekte = Vernderungen innerhalb von Geburtskohorten, zurckfhrbar auf den Lebenszyklus (biologisches, soziales und psychisches Altern) Periodeneffekte = Unterschiede zwischen verschiedenen Kalenderzeitpunkten, die alle Kohorten und Altersgruppen gleichermaen betreffen (z.B. typischer Zeitgeist)

Forschungsdesigns

27

a) Alterseffekte )
1 Anteil von Personen mit Konfess P m sion 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 01 0 18 23 28 33 38

Exkurs: APK-Analyse

West (CCREM) West (brutto) Ost (brutto) ( ) Ost (FE)

43

48

53

58

63

68

73

78

83

Lebensalter

Brutto = um Perioden- bzw. Kohorteneinflsse unbereinigte Effekte; FE bzw. CCREM = Netto-Alterseffekte


bei Kontrolle von Perioden- bzw. Kohorteneffekten

Forschungsdesigns

28

Exkurs: APK-Analyse
b) Periodeneffekte
1 Anteil von Perso onen mit Ko onfession 0.9 0.8 0.7 07 0.6 0.5 0.4 0.3 0.2 02 0.1 0 1980 1982 1984 1986 1988 1990 1991 1992 1994 1996 1998 2000 2002 2004 2006 2008 West (brutto) West (CCREM) Ost (brutto) Ost (CCREM)

Erhebungsjahr Forschungsdesigns 29

West (CCREM)

West (brutto)

Ost (brutto)

Ost (FE)

1986 6-1990 1981-1985 1976 6-1980 1971-1975 1966 6-1970 1961-1965 1956 6-1960 1946 6-1950 1941-1945 1936 6-1940 1931-1935 1926 6-1930 1921-1925 1916 6-1920 1911 1-1915 1906 6-1910 1901-1905 1895 5-1900 0.3 0.2 0.9 0.8 0.7 0.6 0.5 0.4 0.1 01 1 0 Geburtskohorte 1951-1955 Forschungsdesigns

Exkurs: APK-Analyse

c) Kohorteneffekte

30

A Anteil von Pe ersonen mit Konfessio on

Exkurs: APK-Analyse
Probleme bei der Identifizierung von Kohorteneffekten: Identifikationsproblem: Periode Alter = Kohorte (Geburtsjahr) Brutto-Effekte auf vorangehender Folie zeigen mglicherweise (vor allem in Ostdeutschland) Kohorten-Fehlschluss aufgrund der Nichtbercksichtigung von Alterseffekten Grund: Implizit wird unterstellt, dass Wahrscheinlichkeit einer Kirchenmitgliedschaft im Lebenslauf konstant bleibt Netto-Kohorteneffekte bei Kontrolle von Alters- und Periodeneinflssen zeigen dagegen deutlich anderes Muster

Forschungsdesigns

31

Paneldesign
Eigenschaften und Vorteile des Paneldesigns: (a) Die Werte der gleichen Variablen werden (b) zu mehreren Zeitpunkten mit (c) auf der Grundlage einer identischen Stichprobe erhoben (nicht, wie beim Trenddesign, mit jeweils unterschiedlichen Stichproben) Unterschied bei (c) ist sehr bedeutsam: Paneldesign erlaubt wiederholte Messung von Variablenwerten bei den gleichen Personen Informationen zur zeitlichen Abfolge von Zustnden und Ereignissen verfgbar Nachvollzug von Vernderungen auf individueller Ebene mglich ( (Annherung an echte Experiment) g p )

Forschungsdesigns

32

Paneldesign
c) Paneldesign

Forschungsdesigns

33

Paneldesign
Im Panel ist intraindividuelle Vernderung (Vernderung eines Individuums zwischen Messzeitpunkten, turnover) von interindividueller Vernderung (Vernderung einer Aggregatstatistik, net change) zu trennen Beispiel: 1000 Personen werden zwischen Juli und August zu ihrer Wahlbeteiligung gefragt, die Tabelle unten zeigt den net change:

Forschungsdesigns

34

Paneldesign
Unbekannt bleibt: Wie viele Personen haben ihre Einstellung gendert? Dies zeigt erst der turnover (Tabelle unten): Der Nettovernderung von 30 Personen liegen 70 individuelle Einstellungsnderungen zugrunde

Forschungsdesigns

35

Paneldesign
Paneldaten eignen sich in besonderem Mae, um kausalen Effekt von Ereignissen (treatment) auf abhngige Variablen zu bestimmen Beispiel: Macht heiraten glcklich? Datensatz von 5 Personen mit Partner, die noch nicht verheiratet sind AV= Lebenszufriedenheit (10-fach abgestuft von 1 = sehr unzufrieden bis 10 = sehr zufrieden); UV = Heirat Auf der nchsten Folie ist die Entwicklung der Lebenszufriedenheit bei diesen 5 Personen ber 4 Panelwellen dargestellt Gestrichelten Linien = Personen, die jeweils zwischen Welle 2 und 3 heiraten; durchgezogenen Linien = Personen, die innerhalb des Beobachtungszeitraums nicht heiraten

Forschungsdesigns

36

Paneldesign
12 10 L Lebenszufried denheit 8 6 4 2 0 1 2 Panelwelle 3 4

Positiver Effekt der Heirat

Keine Heirat Heirat zwischen Welle 2 und 3

Selbstselektion: Personen, die heiraten, sind bereits vor der Heirat zufriedener

Forschungsdesigns

37

Paneldesign
Die Abbildung deutet auf das Vorliegen von drei Effekten hin: Zeit- d Periodeneffekt, da di L b Z it oder P i d ff kt d die Lebenszufriedenheit b di Z it f i d h it ber die Zeit hinweg tendenziell abfllt Selbstselektion: Diejenigen Personen, die heiraten, sind im Durchschnitt schon vor der Heirat zufriedener als die Personen, die nicht heiraten Kausaler ( K l (positiver) Eff kt der Heirat auf die Z f i d h it Di iti ) Effekt d H i t f di Zufriedenheit. Diese erhht sich im Anschluss an die Heirat zwischen den Wellen 2 und 3 deutlich. In der Kontrollgruppe ohne Heirat zeigt sich dieser Effekt nicht

Forschungsdesigns

38

Paneldesign
Quellen der Heterogenitt in Paneldaten: Nicht Ni ht nur wie b i Q i bei Querschnittdaten V i h ittd t Varianz zwischen d i h den Personen (Personen, die heiraten, sind zufriedener) Zustzlich entsteht durch die wiederholte Befragung im Panel Varianz innerhalb von Personen (Personen werden durch die Heirat zufriedener) Hauptvorteil von P H t t il Paneldaten i t V i ld t ist Varianz i innerhalb von P h lb Personen Quasi-Experimente mglich: Wie verndern sich Personen im Hinblick auf eine AV, die zwischen den Messzeitpunkten AV (Panelwellen) bestimmte Ereignisse (treatment) erleben (Experimentalgruppe) oder nicht (Kontrollgruppe)

Forschungsdesigns

39

Paneldesign
Hierzu eine etwas formellerer Exkurs: Wir interessieren uns fr den kausalen Effekt eines treatments T (hier: Heirat) auf eine abhngige Variable y (hier: Lebenszufriedenheit) Wenn i das jeweilige Individuum bezeichnet, t ein Zeitindex ist und C fr die Messung vor dem treatment steht schtzen wir mit Querschnittdaten steht, folgendes (sog. between-estimation):

y T,t 0 - y C,t 0 i j
Geschtzt wird also die Differenz bei der abhngigen Variablen zwischen Personen, die das treatment zum Zeitpunkt t0 erlebt haben und anderen Personen, die es zum Zeitpunkt t0 noch nicht erlebt haben

Forschungsdesigns

40

Paneldesign
Der tatschliche kausale Effekt des treatments wird hier nur dann korrekt geschtzt, wenn sich die Personen der Gruppen i und j nicht im Hinblick auf unbeobachtete Merkmale unterscheiden Da es sich hierbei in der Regel um eine unrealistische Annahme handelt, handelt wird auf Paneldaten zurckgegriffen Hier wird die sog withinzurckgegriffen. sog. Schtzung durchgefhrt:

y T,t1 - y C,t 0 i i
Geschtzt wird also, wie sich die abhngige Variable zum Zeitpunkt t1 im Vergleich zum ersten Messzeitpunkt t0 vor dem treatment bei denselben Personen verndert hat (deswegen within, Varianz innerhalb von Personen) )

Forschungsdesigns

41

Paneldesign
Der tatschliche kausale Effekt des treatments wird hier korrekt geschtzt, wenn es keine unbeobachtete Heterogenitt innerhalb von Personen gibt (d.h. die Personen i sich ber die Zeit bei unbeobachteten Merkmalen verndern) Auerdem knnen Periodeneffekte (z B Alterungseffekte) die Schtzung (z.B. verzerren, weshalb man eine sog. difference-in-difference Schtzung durchfhren kann:

( y T,t1 - y C,t 0 ) - ( y C,t1 - y C,t 0 ) i i j j


Es werden also Personen im Hinblick auf ihre Vernderung bei der abhngigen Variablen verglichen, die das treatment entweder erlebt haben (linke Seite) oder nicht ( ( ) (rechte Seite, Kontrollgruppe) g pp )

Forschungsdesigns

42

Paneldesign
Verdeutlichen wir dies anhand des Beispiels der fnf Personen, die entweder heiraten oder nicht (s.o.)
Wie gro ist der kausale Effekt der Heirat auf die Lebenszufriedenheit? Dies kann mit der difference-in-difference Methode ausgerechnet werden, wobei sich das folgende Beispiel nur auf einen Vergleich der Wellen 2 und 3 bezieht fr jede Person wird die Differenz der Lebenszufriedenheit vor und nach der Heirat bzw. bei dauerhaft Ledigen zwischen den Wellen 2 und 3 berechnet diese Differenzen werden fr Personen die heiraten und fr ledige Personen gemittelt schlielich ist die Differenz der Vorher-Nachher-Differenz der Personen mit und ohne Heirat der kausale Effekt Im Beispiel steigt die Lebenszufriedenheit durch Effekt. die Heirat um 2,17 Punkte:

( 4,6 - 4,8) + (3,5 - 3,8) + (6 6) (10 - 8) + (9 - 7) , = -0,17 - 2 = -2,17 3 2

Forschungsdesigns

43

Paneldesign
Methodische Probleme des Panels: Konstanz der Messinstrumente (semantischer Gehalt von Begriffen, z.B. Frageformulierungen) kann sich ber lange Zeitrume verndern Paneleffekte (Vernderung der Teilnehmer durch wiederholte Befragung, z.B. Ausbildung von vor der Befragung nicht vorhandenen Einstellungen, Verfestigung von Einstellungen durch wiederholte Befragung, Ausbildung von freundschaftlichen Beziehungen zu Interviewern)

Forschungsdesigns

44

Paneldesign
Grtes praktisches Problem: Panelmortalitt Anfngliche Teilnehmer scheiden im Verlauf des Panels aus z B aus, z.B. durch Verlust der Teilnahmemotivation, Umzug (Adressnderung), Krankheit, Tod, usw. Ausma der Panelmortalitt abhngig von Zeitabstand zwischen Wellen und Panelpflege (Ausfallquoten schwanken stark) Verzerrungen durch Panelmortalitt entstehen vor allem dann wenn dann, Ausflle nicht zufllig sondern systematisch erfolgen (ausgefallene Personen unterscheiden sich systematisch von im Panel Verbliebenen)

Forschungsdesigns

45

Paneldesign

Forschungsdesigns

46

Paneldesign

Quelle: Schrpler (2000): Was kann man am Beispiel des SOEP bezglich Nonresponse lernen? ZUMA Nachrichten 46 117 150 46, 117-150.

Forschungsdesigns

47

Exkurs: SOEP

Forschungsdesigns

48

Exkurs: SOEP
Eigenschaften des SOEP Das Sozio-oekonomische Panel (SOEP) ist ein Survey der fr die Survey, sozial- und wirtschaftswissenschaftliche Grundlagenforschung Mikrodaten bereitstellt Beheimatet ist das multidisziplinre SOEP am DIW Berlin, dem grten deutschen Wirtschaftsforschungsinstitut Das SOEP ist eine reprsentative Wiederholungsbefragung privater Haushalte in Deutschland, die im jhrlichen Rhythmus seit 1984 bei denselben Personen und Familien durchgefhrt wird

Forschungsdesigns

49

Exkurs: SOEP
Schwerpunkte des SOEP Sozio-konomische Situation Einstellungen, Lebenszufriedenheit, gesellschaftliche Partizipation Biographieinformationen Haushaltszusammensetzung und Wohnverhltnisse Wechselnde Schwerpunktthemen: Umwelt soziale Umwelt, Sicherung, soziale Netzwerke etc.

Forschungsdesigns

50

Exkurs: SOEP
Wissenschaftliche Strken des SOEP Lngsschnittdesign (Panelcharakter) Haushaltskontext (Befragung aller erwachsenen Haushaltsmitglieder und Informationen ber Kinder) berproportionale Auslnderstichprobe (gegenwrtig die grte Wiederholungsbefragung bei Auslndern in der Bundesrepublik Deutschland; die Stichprobe umfasst Haushalte mit einem Haushaltsvorstand trkischer, spanischer, italienischer, griechischer oder ehemals jugoslawischer Nationalitt) Erhebung von Zuwanderung (gegenwrtig die einzige methodisch zuverlssige Stichprobe von Zuwanderern, die von 1984 bis 1995 nach Westdeutschland gekommen sind) g )

Forschungsdesigns

51

Exkurs: SOEP
Fragebgen des SOEP Personenfragebogen Haushaltsfragebogen Biographiefragebogen (fr Erstbefragte) Neugeborenenfragebogen (fr Eltern mit neugeborenen Kindern, Folgebefragungen fr Eltern mit 2-3-jhrigen, 4-5-jhrigen usw.) Jugendfragebogen (17-jhrige) Fragebogen zu verstorbenen Personen (seit 2009)

Forschungsdesigns

52

Exkurs: SOEP

Forschungsdesigns

53

Exkurs: SOEP
Stichproben des SOEP

Forschungsdesigns

54

Exkurs: SOEP

Forschungsdesigns

55

Exkurs: SOEP

Forschungsdesigns

56

Exkurs: SOEP

Forschungsdesigns

57

Exkurs: SOEP

Forschungsdesigns

58

Zur Logik der Drittvariablenkontrolle


Kontrolle von Drittvariablen in Ex-post-facto-Anwendungen schwieriger als in Experimenten Einwirkung der unabhngigen Variablen wird nicht nach Zufallsprinzip auf die Vp verteilt, sondern liegt ohne Zutun des Forschers bereits vor Ex post gebildete Experimental- und Vergleichsgruppen unterscheiden sich mglicherweise systematisch (keine Randomisierung) Problem: Nicht nur die unabhngige Variable (treatment) korreliert mit der AV, sondern auch Drittvariable, also Strfaktoren Drittvariable knnen (z.B. in der sog. multivariaten Datenanalyse) kontrolliert werden, dabei sind verschiedene Beziehungsmuster zu unterscheiden:

Forschungsdesigns

59

Zur Logik der Drittvariablenkontrolle

a) Additive Effekte

Effekte der Variablen X und Z auf Y sind additiv, da X und Z nicht , untereinander zusammenhngen D.h., dass sich der Effekt von X auf Y nicht verndert, wenn Z kontrolliert wird (Z i t d id ist demnach k i Strfaktor) h kein St f kt )

Forschungsdesigns

60

Zur Logik der Drittvariablenkontrolle

b) Scheinkausalitt )
+ (-)

Z
+ (-)

Eine Drittvariable Z beeinflusst sowohl X, als auch Y (entweder jeweils positiv, oder j iti d jeweils negativ) il ti ) Der (brutto) zwischen X und Y vorhandene Zusammenhang ist bei Kontrolle von Z nicht mehr signifikant

Forschungsdesigns

61

Zur Logik der Drittvariablenkontrolle

Bildungsniveau
+ +

Berufliche Weiterbildung 1999

Erwerbseinkommen 2000

Forschungsdesigns

62

Zur Logik der Drittvariablenkontrolle


Mediation (bei Schnell/Hill/Esser Interpretation genannt) : Annahme: Die Drittvariable I vermittelt den Zusammenhang zwischen X und Y I wird als intervenierende Variable bezeichnet, es gibt einen indirekten Effekt von X ber I auf Y Wichtig ist, wie die Richtung des indirekten Effektes ausfllt Wenn das Produkt der beiden Teileffekte (X I)* (I Y) das gleiche Vorzeichen hat wie der direkte Effekt (X Y) (und beide signifikant sind) spricht man von einer Mediation Die Beziehung zwischen X und Y wird also durch I vermittelt bzw. erklrt

Forschungsdesigns

63

Zur Logik der Drittvariablenkontrolle

c) Mediation

Forschungsdesigns

64

Zur Logik der Drittvariablenkontrolle

Beruflicher Aufstieg
+ +

Berufliche Weiterbildung 1999

Erwerbseinkommen 2000

Forschungsdesigns

65

Zur Logik der Drittvariablenkontrolle


Supression (bei Schnell/Hill/Esser verdeckte Beziehung genannt) : Annahme: I vermittelt den Zusammenhang zwischen X und Y I wird auch hier als intervenierende Variable bezeichnet, es gibt einen indirekten Effekt von X ber I auf Y Unterschied zur Mediation: Das Produkt der beiden Teileffekte (X I)* (I Y) hat ein anderes Vorzeichen wie der direkte Effekt (X Y) Die Beziehung zwischen X und Y wird also durch I verdeckt; wird I kontrolliert, ist die Beziehung zwischen X und Y erst sichtbar bzw. strker als zuvor

Forschungsdesigns

66

Zur Logik der Drittvariablenkontrolle

d) Suppression S ppression

Forschungsdesigns

67

Zur Logik der Drittvariablenkontrolle

Arbeitsplatzwechsel
_

Innerbetriebliche Weiterbildung 1999

Erwerbseinkommen 2000

Forschungsdesigns

68

Zur Logik der Drittvariablenkontrolle


e) Moderation (Schnell/Hill/Esser: Vorhersage)

Die Drittvariable Z gibt an, unter welchen Bedingungen der Effekt von X auf Y strker bzw schwcher ist ohne selbst mit X oder Y zusammenbzw. ist, hngen zu mssen Die nchsten Folien zeigen Beispiele, Moderatoren (Z) sind Ost versus West bzw. Mann versus Frau

Forschungsdesigns

69

Zur Logik der Drittvariablenkontrolle

Forschungsdesigns

70

Zur Logik der Drittvariablenkontrolle

Forschungsdesigns

71

Exkurs: Annherungen ans Experiment


Fragestellung: Fhrt die Teilnahme an beruflicher Weiterbildung zu Einkommenssteigerungen? Problem: Keine Mglichkeit zum Experiment (zufllige Zuteilung in Gruppe der Teilnehmer und Nichtteilnehmer) gegeben Lsung: Ex-post-facto-Datensatz (im SOEP wird regelmig Teilnahme an Weiterbildung und Erwerbseinkommen gemessen) Mgliche Verzerrung im Ex post facto Design: Experimentalgruppe Ex-post-facto-Design: (Teilnehmer) unterscheidet sich neben der Weiterbildungsteilnahme in weiteren Merkmalen systematisch von der Kontrollgruppe (Nichtteilnehmer) Lsungsmglichkeiten: Annherung ans Experiment durch Verbesserungen des Forschungsdesigns g g g (Drittvariablenkontrolle, Panelanalyse)

Forschungsdesigns

72

Exkurs: Annherungen ans Experiment


Teilnehmer Geschlecht: F G hl ht Frau Alter (Jahre) Autonomie beruflichen Handelns (0-5) Wchentliche Arbeitszeit (Stunden)
Quelle: SOEP (1993)

Nichtteilnehmer 57,5% 57 5% 42,3 2,16 39,4

42,5% 42 5% 41,5 3,11 42,1

Die deskriptive Analyse ergibt Hinweise auf Selbstselektion: Da die Gruppen der Teilnehmer bzw. Nichtteilnehmer nicht randomisiert sind, sondern ex post gebildet wurden, unterscheiden sie sich systematisch d t bild t d t h id i i h t ti h Teilnehmer sind z.B. hufiger mnnlich und haben eine deutlich hhere berufliche Stellung als Nichtteilnehmer

Forschungsdesigns

73

Exkurs: Annherungen ans Experiment


AV = log. Bruttoerwerbseinkommen 1993 Teilnahme an W it bild T il h Weiterbildung 1992 Alter Geschlecht: Frau Autonomie beruflichen Handelns Wchentliche Arbeitszeit
Quelle: SOEP (1993), *** p < .001; OLS-Regression

Modell 1 0,40*** 0 40***

Modell 2 0,19*** 0 19*** 0,005*** -0,40*** 0,13*** 0,001***

Forschungsdesign: Querschnittanalyse (Modell 1) bzw. Querschnittanalyse mit Drittvariablenkontrolle (Modell 2) D.h.: Untersucht werden Unterschiede zwischen verschiedenen Personen, Personen die an Weiterbildung teilgenommen haben oder nicht

Forschungsdesigns

74

Exkurs: Annherungen ans Experiment


AV = log. Bruttoerwerbseinkommen 84-06 Teilnahme an W it bild T il h Weiterbildung (t-1) (t 1) Alter Autonomie beruflichen Handelns Wchentliche Arbeitszeit
Quelle: SOEP (1984-2006), *** p < .001, FE-Panelregression

Modell 1 0,13*** 0 13***

Modell 2 0,10*** 0 10*** -0,016*** 0,06*** 0,001***

Forschungsdesign: Fixed-Effects-Panelanalyse (Modell 1) bzw. FixedEffects-Panelanalyse mit Drittvariablenkontrolle ( ode 2) ects a e a a yse t tt a ab e o t o e (Modell ) D.h.: Untersucht werden Unterschiede innerhalb von Personen, d.h. das Einkommen im Zeitraum vor der ersten Weiterbildung wird mit dem Zeitraum nach der Weiterbildung verglichen Z it h d W it bild li h

Forschungsdesigns

75

Exkurs: Annherungen ans Experiment


Ergebnisse: In der Querschnittanalyse ohne Drittvariablenkontrolle ist Zusammenhang zwischen Weiterbildung und anschlieendem Einkommen zwar am strksten (0,40); aber: Schtzung mglicherweise durch Selbstselektion verzerrt Bei zustzlicher Drittvariablenkontrolle deutlicher Rckgang des Effekts (auf 0,19) Selbstselektion besttigt sich, ursprnglicher Zusammenhang zum Groteil nicht kausal; aber: es bleibt unklar, ob Drittvariablenkontrolle ausreichend ist In der Panelanalyse (Vorher Nachher Vergleich bei denselben (Vorher-Nachher-Vergleich Personen) geht Effekt weiter zurck (auf 0,13); weitere Reduzierung bei Kontrolle zeitvernderlicher Strfaktoren (auf 0,10)

Forschungsdesigns

76

Untersuchungsformen
Untersuchungsformen: Einzelfallanalyse Sekundranalyse (inklusive Aggregatdatenanalyse, Prozessproduzierte Daten, Record-Linkage) Netzwerkanalyse Mehrebenenanalyse

Forschungsdesigns

77

Netzwerkanalyse

Forschungsdesigns

78

Netzwerkanalyse
Typologie von Netzwerken

Forschungsdesigns

79

Netzwerkanalyse
Dichte des Netzwerks

Forschungsdesigns

80

Netzwerkanalyse
Zentralittsmae

Forschungsdesigns

81

Netzwerkanalyse
Cliquenanalyse

Forschungsdesigns

82

Netzwerkanalyse
Namensgeneratoren

Forschungsdesigns

83

Netzwerkanalyse

Forschungsdesigns

84

Netzwerkanalyse

Forschungsdesigns

85

Literaturempfehlungen
Allgemein: Schnell/Hill/Esser (2008): Methoden der empirischen Sozialforschung. 8. Auflage, S. 211-263. Diekmann (2002): Empirische Sozialforschung, 8. Auflage, S. 266-309. ( ) p g, g , Atteslander (2003): Methoden der empirischen Sozialforschung, 10. Auflage, S. 196-215. Drittvariablenkontrolle: Baron, R.M. & K B RM Kenny, D A (1986) Th moderator-mediator di ti ti i social psychological research: D.A. (1986). The d t di t distinction in i l h l i l h Conceptual, strategic and statistical considerations. Journal of Personality and Social Psychology, 51(6), 11731182. Logik der Panelanalyse: Allison, Paul D., 1994: Using panel data to estimate the effects of events. In: Sociological Methods & Research 23: 174-199. Experiment: Huber,O. (2009): Das psychologische Experiment. Eine Einfhrung, 5. Auflage, Bern. Zimmermann, E. (2008): Das Experiment in den Sozialwissenschaften, 2. Auflage. Stuttgart Netzwerkanalyse: Jansen, D. (2006): Einfhrung in die Netzwerkanalyse: Grundlagen, Methoden, Anwendungen, 3. Auflage. Opladen: Leske und Budrich

Forschungsdesigns

86