Empirische Bildungsforschung

Grundlagen sozialwissenschaftlicher Forschungsmethoden

Wie lassen sich unterschiedliche Erziehungspraktiken rechtfertigen?

 Pädagogik als Handlungswissenschaft: Ziel = Pädagogische Praxis verbessern

a) induktiv: Vom Einzelnen auf das Allgemeine schließen
Historisch gewachsene Praxis -> Abstraktion -> Regelwissen -> Praxis verändern
b) deduktiv: Vom Allgemeinen auf das Einzelne schließen
Ziele + forschungsbasiertes Wissen um geeignete Mittel = rationale Erziehungspraxis

Wie komme ich eigentlich auf wissenschaftliche Fragestellungen ?

- Entstehungszusammenhang: Wie kam die Idee?

• Praxis
• Wissenschaft
• Öffentliche Diskussion
- Begründungszusammenhang: Phase der Durchführung
• Theorie
• Forschungsstand
• Design
• Beispiel: Welche Bedeutung haben Lehrererwartungen für die Leistungen ihrer Schüler?
- Verwertungszusammenhang. Was machen mit den Erkenntnissen?
• Publikation
• Politikberatung
• Engagement

Wie mache ich Fragesellungen prüfbar?

Hypothesen

- Es müssen Hypothesen formuliert werden können (= wenn – dann Aussagen)

- Hypothesen müssen falsifizierbar sein:
• man kann nicht herausfinden, was wahr oder wahrscheinlich ist, aber man kann
ausschließen, was falsch ist
• Behauptungen, keine Wahrscheinlichkeiten
• Bsp.: Einer geht nach der VL wahrscheinlich in die Mensa -> nicht falsifizierbar, kann man
klar beantworten - Alle gehen in die Mensa -> ist falsifizierbar, sehr unwahrscheinlich!
- Hypothesen müssen immer und überall gelten und dürfen keine Ausnahmen zulassen
(= nomologisch im strengen Sinne -> Gesetz)
- Die den Hypothesen zugrunde liegenden Begriffe bzw. Konstrukte müssen operationalisierbar
sein (umsetzbar -> Was heißt das?)
- Es müssen Zusammenhänge hergestellt werden zwischen:
a) unabhängigen Variablen (was erklärt): z.B. Intelligenz
b) abhängige(r)n Variable(r)n (was man erklären will): z.B. Schulleistung
c) Störgrößen/ Einfluss (die „nur“ kontrolliert werden): z.B. Geschlecht
d) Vermittelnden Variablen (Moderator-Variablen): z.B. Geschlecht, wenn es Einfluss hat
- z.B.: Lehrererwartungen offenbaren die implizite Persönlichkeitstheorie (= Meinung über die
Person) eines Lehrers und führen zu leistungsförderlichen Attributionsmustern (= Ursachen) bei
Schülern, wenn sie anspruchsvoll sind, sie führen zu leistungsschädlichen Mustern, wenn sie
anspruchslos sind

Design

Für eine Studie muss ein Design (= Ablaufplan) erstellt werden, das sich auf die
Untersuchungsstrategie und auf die Stichprobe bezieht

Ideen:

- Unabhängige Variablen sind zu variieren (Kontrollgruppe), Störgrößen lassen sich ausschließen/

konstant halten -> Labor-Experiment (kontrolliert)
- Störgrößen lassen sich auch rechnerisch konstant halten, wenn man sie erhoben hat -> Feld-
Experiment/ Feldstudie
- Auch Moderator-Variablen müssen erhoben werden (z.B. unterschiedliche Gruppen bilden)
- Vorsicht: Eine Stichprobe, die für eine Gruppe (z.B. Deutschland) repräsentativ ist, ist nicht
zwangsläufig auch für Subgruppen (z.B. Bundesland) repräsentativ (-> Oversampling in PISA:
Es werden mehr Leute untersucht, als eigentlich notwendig)

Folgerungen für eine allgemeine Methodologie:

- Designs basieren auf Theorien, aus denen abgeleitet werden kann, was (Merkmale,
Operationalisierung) wie (Design, Stichprobe) erhoben werden muss und welche
Interpretationen dann hinterher zulässig sind
- Eine Forschung ohne Theorie ist unmöglich, da sie immer zumindest implizit vorliegt (Erwartung
<-> Wahrnehmung)
- Das Design einer Studie ist wichtige Voraussetzung für die Verallgemeinerungsfähigkeit der
Befunde, darüber hinaus gibt es weitere Strategien wie z.B. statistische Schlüsse
- Problem: dürfen Forscher in ihrer Forschung Werturteile abgeben?
- Aktuell: ist Politikberatung durch Forschung mit wissenschaftlichem Ethos vereinbar
(Unabhängigkeit!)?

Allgemeines zu Studien-Design:

- Wie oft wird gemessen? Querschnitt (einmal) vs. Längsschnitt (mehrmals)

- Wo wird gemessen? Labor (Schüler kommt zum Forscher -> kontrolliert) vs. Feld (Forscher
kommt zum Schüler -> natürliches Verhalten) => unterschiedliche Ergebnisse
- Wer wird wie untersucht? Experiment (zufällige Einteilung in Gruppen, z.B. alle Schüler einer
Schulart in 2 Gruppen) vs. Quasi-Experiment („natürliche“ Gruppen, z.B. Schulklassen)

Je nach Design verändert sich die Aussagekraft der Studie!

Wie mache ich Fragesellungen verallgemeinerbar?
Statistik

- „Gesamtheit der Methoden zur Untersuchung von Daten, um in ihnen enthaltene

Gesetzmäßigkeiten und Strukturen sichtbar zu machen“
- Stichprobe (N):
• Es ist unmöglich und unnötig, alle betreffenden
Personen (= Grundgesamtheit) zu befragen/testen
• Ideal: Repräsentative Stichprobe, d.h. Auswahl, die
die zu untersuchende Grundgesamtheit repräsentiert
- Deskriptive Statistik:
• Beschreibung, Ordnung und Zusammenfassung der gefundenen Daten
• Betrifft also nur die untersuchte Stichprobe
- Interferenzstatistik:
• Das Ergebnis ist grundsätzlich fehlerbehaftet, da nicht alle untersucht werden können
• Rechnerische Überprüfung der Gültigkeit der Stichprobendaten für die Grundgesamtheit
• Fehlerkontrolle mit Wahrscheinlichkeitsrechnung -> zufällige Stichprobenauswahl
 Signifikanz/Fehlerniveau (p):
• geht der Frage nach, mit welcher Sicherheit Verhältnisse aus der Stichprobe auf die
Grundgesamtheit übertragbar sind
• nur wenn mit einer geringen Fehlerwahrscheinlichkeit (z.B. 5%) angenommen werden
kann, dass die Stichprobenergebnisse für die Grundgesamtheit zutreffen, werden sie als
wissenschaftlich bedeutsam/ signifikant angesehen
• Irrtumswahrscheinlichkeit = Die Wahrscheinlichkeit, dass die Hypothese abgelehnt wird:
kann im Forschungsbericht verschieden kenntlich gemacht werden
o Parameter p: p < .05, p < .01, p < .001, „n.s.“ = nicht signifikant
o Markierung durch Stern(e): * = p < .05, ** = p < .01, *** = p < .001
o Grafisch (Konfidenzintervalle)

Wie mache ich Merkmale messbar?

Gütekriterien (Befragung, Test, Beobachtung)

- Objektivität:
• Durchführungsobjektivität: Der Test muss unabhängig vom Testleiter dieselben
Informationen/ Daten liefern
• Auswertungsobjektivität: Der Test muss unabhängig vom Auswerter zu denselben
Ergebnissen kommen
• Interpretationsobjektivität: Die Interpretation eines Testwerts muss unabhängig vom
Deuter sein
- Reliabilität:
• Genauigkeit, mit der ein Instrument das misst, was es zu messen vorgibt
• Interne Konsistenz: thematisch ähnliche Fragen müssen zu ähnlichen Ergebnissen
kommen
• Test-Retest-Reliabilität: Bei Wiederholung des Tests müssen dieselben Ergebnisse erzielt
werden
• Häufig verwendeter Kennwert: Cronbach´s α (Wert zwischen 0 und 1: 0,5-0,7 niedrig;
0,7-0,9 mittel; 0,9-1,0 hoch)
- Validität:
• ob ein Instrument tatsächlich das misst, was es zu messen vorgibt
• Inhaltsvalidität/ Face-Validity: Was durch den Test gemessen werden soll, muss inhaltlich
in seinen wichtigsten Aspekten erfasst sein
• Kriteriumsvalidität: Das Ergebnis eines Tests muss mit Messungen anderer Merkmale
übereinstimmen, z.B. Intelligenz und Schulleistung
• Konstruktvalidität: das theoretische Konstrukt wird so abgebildet wie es von der Theorie
her vorhergesagt wird -> Eigenschaften

Wie mache ich Ergebnisse vermittelbar?

- Verdichtung der Daten -> Lageparameter: Lage der Daten in Bezug auf die verwendete
𝑆𝑢𝑚𝑚𝑒 𝑑𝑒𝑟 𝑊𝑒𝑟𝑡𝑒
Messskala, Arithmetisches Mittel μ = 𝐴𝑛𝑧𝑎ℎ𝑙
(z.B. Notendurchschnitt)
- Streuungsparameter: mittlere Streuung der Daten, Standardabweichung σ

- Korrelation:
• standardisiertes Maß für den Zusammenhang zweier Merkmale X und Y
• Korrelationskoeffizient 𝑟 liegt zwischen +1.0 und – 1.0:
o Positiver Koeffizient = Positiver/ Proportionaler Zusammenhang der Merkmale
o Negativer Koeffizient = Negativer/ Umgekehrt proportionaler Zusammenhang
o |𝑟| = 1 steht für einen großen (perfekten), 𝑟 = 0 für keinerlei Zusammenhang

- Achtung auf angemessene Darstellung der Befunde!

Was ist eigentlich Empirie?

- Empirie = Erfahrungswissenschaft (die Wissen/ Fragen an Realität überprüft; begründet durch

Fakten/ Daten) -> Sammlung von Daten
- Qualitative Forschung:
• Induktive Funktion
• Design im Forschungsprozess variabel
• Gütekriterium: Transparenz (vollständig und nachvollziehbar!)
• Datenanalyse personenorientiert und introspektiv
• Vorwiegend „hypothesengenerierend“
• z.B.: Untersuchung des Klassenführungsverhaltens einer einzelnen Lehrkraft
- Quantitative Forschung:
• Deduktive Funktion
• Design steht vor Erhebung fest und ist invariant
• Gütekriterien: Reliabilität, Validität, Objektivität
• Datenanalyse allgemein
• Vorwiegend „hypothesenprüfend“
• z.B.: Studie zur allgemeinen Wirksamkeit verschiedener Klassenführungsmethoden

Beispiele
Pygmalion im Unterricht (Rosenthal/ Jacobsen)

- Ausgang: Bei Versuchen mit Tieren waren die Ergebnisse auch abhängig von den Erwartungen
des Versuchsleiters
- Weiter führende Frage: Lässt sich der Befund auf andere Situationen übertragen? -> Wie
beeinflussen z.B. Erwartungshaltungen von Lehrern das Verhalten ihrer Schüler?
- Stützungen für Vermutungen: Self-fulfilling-prophecy (= selbsterfüllende Prophezeiung),
Ursachenzuschreibung von Verhalten (Attribution)
- Experiment an der „Oak School“ in South San Francisco 1964, Test of General Ability (TOGA):
• N=320 Schüler, 65 (=20,31%) zufällig ausgewählt als Experimentalgruppe („Aufblüher“)
• später erneuter Test, Hypothese: ausgewählte müssten besser sein (Erwartungsvorteil)

(Aus Elasoff / Snow 1972: Pygmalion auf dem Prüfstand)

PISA-Studie: Lesekompetenz

- Funktionales Verständnis: Lesekompetenz heißt, geschriebene Texte zu verstehen, zu nutzen und

über sie zu reflektieren, um eigene Ziele zu erreichen, das eigene Wissen und Potential
weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen
- Folgerung 1: Unterscheidung von Lesesituationen
• Lesen für den privaten Gebrauch (persönlich)
• Lesen für den öffentlichen Gebrauch (z.B Busfahrplan)
• Lesen für die Arbeit (beruflich)
• Bildungsbezogenes Lesen
- Folgerung 2: Unterscheidung von Texttypen:
• Kontinuierliche Texte, z.B.: Beschreibung, Erzählung, Argumentation, Anweisung
(Anleitung, Regeln)
• Nicht-Kontinuierliche Texte, z.B.: Einfache/ kombinierte/ verschachtelte Listen,
Formulare, Schaubilder, Tabellen, Gutscheine, Bescheinigungen
- Folgerung 3: Aspekte des Lesens

- Ergebnisse:

(Reis, K., Sälzer, C., Schiepe-Tiska, A., Klieme, E. & Köller, O. 2016: PISA 2015)