04.4 UP Vorlesung Korrelative Studien Mit Audio

Vorlesung
Einführung in die Methoden der empirischen

Bildungsforschung
4.4 Korrelative Studien
Martin Brunner
martin.brunner@uni-potsdam.de
1
Aufbau der Vorlesung
1. Einführung in das Thema und statistische Grundlagen

2. Erfassung empirischer Daten
2.1 Quantitative Messinstrumente
2.2 Qualitative Verfahren und Mixed Methods
3. Wissenschaftstheoretische Perspektiven
4. Studiendesigns und Evidenz
4.1 Experimente und Effektstärken
4.2 Gütekriterien der Studienanlage
4.3 Quasi-Experimente und Natürliche Experimente
4.4 Korrelative Studien
4.5 Meta-Analysen zur Synthese von Forschungsbefunden aus Einzelstudien
5. Qualitätssicherung im Schulwesen
5.1 Systemebene
5.2 Einzelschule
2
Arten von Studiendesigns / Versuchsplänen
Überblick: Studiendesigns / Versuchspläne

• Experiment
• Eine Studie, in der eine unabhängige Variable aktiv manipuliert wird
(z.B. eine Intervention durchgeführt wird), um die Wirkung dieser
Manipulation beobachten zu können
• Randomisiertes Experiment (Bsp: Projekt STAR)
• Ein Experiment in dem die Studienteilnehmer zufällig (z.B. durch
Münzwurf) den experimentellen Bedingungen zugewiesen werden
• Goldstandard
• Quasi-Experiment (Bsp: Leko-Lemo-Studie)
• Ein Experiment ohne Randomisierung
• Natürliches Experiment (Bsp: BERLIN-Studie)
• Eine Studie, in der ein natürlich auftretendes Ereignis (z.B.
Bildungsreform) mit einer Vergleichsbedingung verglichen wird
• Korrelative Studie (Bsp: COACTIV-Studie)
• Eine Studie, in der die Größe und Richtung des Zusammenhangs
zwischen Variablen erfasst wird
Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton Mifflin Company. 3
Inhalte der heutigen Vorlesung
Korrelative Studien
•Zentrale Aspekte
• Stärken und Schwächen korrelativer Designs
• Begriffe
• Statistische Kontrolle und Schätzung kausaler Effekte
•Beispielstudien
• Studie von Ritchie und Tucker-Drob
• Wie stark beeinflusst Bildung die Intelligenz?
• COACTIV-Studie
• Wie hängen Fachwissen und fachdidaktisches Wissen von
Mathematiklehrkräften zusammen?
• Wie beeinflusst das fachdidaktische Wissen von Mathematiklehrkräften
ihren Unterricht und die Leistung ihrer Schüler*innen?
4
Korrelative Studien
•Zentrale Aspekte
• Begriffe
•Beispielstudien
• COACTIV-Studie
5
Korrelative Studien
Ursache Wirkung
Merkmale
• Analyse der korrelativen Zusammenhänge zwischen den natürlich auftretenden
Bedingungen und den Zielkriterien
• Bedingungen werden nicht experimentell manipuliert
• Zuweisung von Personen zu Bedingungen erfolgt nicht randomisiert
• Verwendung korrelativer Studiendesigns
• Untersuchungsbedingungen können nicht beeinflusst werden
• Analyse natürlich vorzufindender Bedingungen in ökologisch validen
Lernumgebungen
Brunner, M., Pant, H. A., & Stanat, P. (2014). Diagnostik und Evaluation. In T. Seidel & A. Krapp (Hrsg.), Pädagogische Psychologie (6. Aufl.) (S. 483–516). Weinheim: Beltz. 6
Ökologische Validität
Definition
Ökologische Validität bedeutet, dass die gesamte Forschungsanlage, z.B.
• Personen
• Erhebungsmaterialien
• pädagogische Interventionen
die realen Bedingungen bestmöglich repräsentiert bzw. die Studie unter realen
Bedingungen stattfindet.
Korrelative Studien
Ursache Wirkung
Korrelative Studien: Stärken und Schwächen

• Schwäche: Interne Validität
• Die unabhängige Variable wird nicht aktiv manipuliert
• Selektionseffekte sind oftmals eine plausible Alternativerklärung für potentielle
Effekte
• Stärke: Externe Validität / ökologische Validität
• Voraussetzung: Gute statistische Approximation des Zuweisungsmechanismus
• Studien finden in „natürlicher“ Lernumgebung statt (Personen,
Erhebungsmaterialien, pädagogische Interventionen)
Statistische Modellierung im Rahmen korrelativer Studien
Ziel der Modellierung: Minimierung von Selektionseffekten
• Ein Selektionseffekt liegt vor, wenn sich Personen in einer pädagogischen

Maßnahme (z.B. Experimentalgruppe), die analysiert werden soll, sich in wichtigen
Merkmalen systematisch von Personen unterscheiden, die diese Maßnahme nicht
erhalten (Vergleichsgruppe).
Gefährdungspotential
• Es besteht die Gefahr, dass nicht die pädagogische Maßnahme, sondern diese
Merkmale den beobachteten Effekt bewirkt haben.
Lösung
• Randomisierung: Das beste Mittel, um solchen Selektionseffekten zu begegnen, ist

die zufällige Zuweisung von Personen auf die Untersuchungsbedingungen
• Statistische Modellierung: Man kann versuchen, den Zuweisungsprozess zu den

experimentellen Bedingungen statistisch zu modellieren, um die Vergleichbarkeit
der Gruppen zu approximieren
Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton Mifflin Company. 9
Statistische Modellierung im Rahmen korrelativer Studien: Überblick
Welche statistischen Modelle werden eingesetzt? (Legewie, 2012)
• Regressionsmodelle
• Multiple Regression
• Kovarianzanalysen (ANCOVA)
• Hierarchisch Lineare Modelle / Mehrebenenmodelle
• Matchingverfahren
• Propensity Score Matching
• Fixed-Effekt Modelle
• Difference-in-Difference Modelle
• Instrumentelle Variablen
Man kann/soll diese statistischen Modelle kombinieren (Ho et al., 2007)
• z.B. Regressionsmodelle auf Basis von Propensity Score Matching

Legewie, J. (2012). Die Schätzung von kausalen Effekten: Überlegungen zu Methoden der Kausalanalyse anhand von Kontexteffekten in der Schule. KZfSS Kölner Zeitschrift für Soziologie und Sozialpsychologie, 64(1), 123–153. https://doi.org/10.1007/s11577-012-0158-5
Ho, D. E., Imai, K., King, G., & Stuart, E. A. (2007). Matching as Nonparametric Preprocessing for Reducing Model Dependence in Parametric Causal Inference. Political Analysis, 15(3), 199–236. https://doi.org/10.1093/pan/mpl013
10
Fiktive LekoLemo-Studie
Prä-Post-Kontrollgruppendesign
NR O1 X O2
NR O1 O2
Selektionsprozesse
• Ein Selektionseffekt liegt vor, wenn sich Personen in einer pädagogischen
Maßnahme (z.B. Experimentalgruppe), die analysiert werden soll, sich in
wichtigen Merkmalen systematisch von Personen unterscheiden, die diese
Maßnahme nicht erhalten (Vergleichsgruppe).
• Gefährdungspotential
• Es besteht die Gefahr, dass nicht die pädagogische Maßnahme, sondern

diese Merkmale den beobachteten Effekt bewirkt haben.
11
Fiktive LekoLemo-Studie
Gefährdungspotential: Selektionsprozesse
• Die Motivation am LekoLemo-Training teilzunehmen, war stärker bei
Jugendlichen mit besseren Leseleistungen
12
Fiktive LekoLemo-Studie: Naive Auswertung
Naive Abschätzung des Trainingseffekts

• Vergleich der Mittelwerte zwischen Trainings- (TG) und Kontrollgruppe (KG) im
Posttest
• Mittelwert TG im Posttest  Mittelwert KG im Posttest
• geschätzter Effekt = 46,9 – 33,2 = 13,7
• Naiv, da Posttest-Werte Gruppenunterschiede im Prätest und evtl. Unterschiede in
den Zugewinnen von Prä- zu Posttest widerspiegeln 13
Fiktive LekoLemo-Studie: Differenz der mittleren Veränderungswerte
Bessere Abschätzung des Trainingseffekts

• Vergleich der Zugewinne von Prä- zu Posttest zwischen Trainings- (TG) und Kontrollgruppe (KG)
• Somit werden Unterschiede im Prätest herausgerechnet
(Mittelwert TG im Posttest  Mittelwert TG im Pretest) 
(Mittelwert KG im Posttest  Mittelwert KG im Pretest)
• Effekt = (46,9 – 34,5) – (33,2 – 25,6) = 12,4 – 7,6 = 4,8 14
Fiktive LekoLemo-Studie: Statistische Modellierung des Effekts
Noch bessere Abschätzung des Trainingseffekts mit dem Regressionsmodell

• Statistische Kontrolle
• Unterschiede im Prätest werden im Regressionsmodell „herausgerechnet“
• Das Regressionsmodell beantwortet so die Frage, wie stark sich die beiden
Versuchsgruppen im Mittel im Posttest unterscheiden, wenn Jugendliche im
Prätest dieselbe Leseleistung erzielt hätten 15
Fiktive LekoLemo-Studie: Auswertung mit Regressionsmodell
Statistische Modellierung des Trainingseffekts mit dem Regressionsmodell

• Regressionsgleichung: 𝑃𝑜𝑠𝑡𝑡𝑒𝑠𝑡 𝑖 =𝑐 +𝑎 ∙ 𝑃𝑟 ä 𝑡𝑒𝑠𝑡 𝑖 +𝑏 ∙ 𝐿𝑒𝑘𝑜𝐿𝑒𝑚𝑜𝑖 + 𝑒𝑖
• Abhängige Variable
• Posttestleistung der Lesekompetenz eines Schülers/einer Schülerin i
• Unabhängige Variablen
• Prätestleistung der Lesekompetenz
• Teilnahme am LekoLemo-Training
• 0 = Unterricht
• 1 = LekoLemo-Training
16

• statistische Kontrolle einer Kovariate
• Regressionsgewicht a gibt den (durchschnittlichen) Effekt des Prätests auf die
Posttestleistung an
• Trainingseffekt
• Regressionsgewicht b gibt den Effekt des LekoLemo-Trainings an, unter der
Bedingung, dass die Jugendlichen in Trainings- und Kontrollgruppe dieselben
Prätestwerte erzielten
17

• Y-Achsenabschnitt
• c ist die mittlere Posttestleistung für Schüler, die 0 Punkte im Prätest erzielten
und am Unterricht teilnahmen (LekoLemo = 0)
• Fehlerterm / Residuum
• ei ist der individuelle Vorhersagefehler einer Schülerin/eines Schülers i
18

• Regressionsgleichung: Vorhergesagter Posttestwert ^
𝑃𝑜𝑠𝑡𝑡𝑒𝑠𝑡 𝑖
^
𝑃𝑜𝑠𝑡𝑡𝑒𝑠𝑡 𝑖 =17 , 4 +0 ,6 ∙ 𝑃𝑟 ä 𝑡𝑒𝑠𝑡 𝑖 +8 ,2 ∙ 𝐿𝑒𝑘𝑜𝐿𝑒𝑚𝑜𝑖
• Die vorhergesagten Werte liegen auf der Regressionsgerade
• Effekt des LekoLemo-Trainings: Im Mittel liegt die Leseleistung der Jugendlichen die am
LekoLemotraining teilnahmen 8,2 Punkte über dem Mittelwert in der Kontrollgruppe
(wenn Jugendliche dieselben Leistungen im Prätest erzielten)
19
^
𝑃𝑜𝑠𝑡𝑡𝑒𝑠𝑡 𝑖 =17 , 4 +0 ,6 ∙ 𝑃𝑟 ä 𝑡𝑒𝑠𝑡 𝑖 +8 ,2 ∙ 𝐿𝑒𝑘𝑜𝐿𝑒𝑚𝑜𝑖
0 = Teilnahme am Unterricht
=
1 = Teilnahme am LekoLemo-Training
Wie funktioniert die Berechnung von Werten mit dem Regressionsmodell?
Prätestleistung Vorhergesagte Posttestleistung Beispiele

Unterricht LekoLemo
Schüler mit 10 Punkten im Prätest und Teilnahme am Unterricht
10 23.4 31.6
20 29.4 37.6
^
𝑃𝑜𝑠𝑡𝑡𝑒𝑠𝑡 𝑖 =17 , 4 +0 ,6 ∙10+ 8 , 2 ∗0=23.4
30 35.4 43.6
40 41.4 49.6 Schüler mit 10 Punkten im Prätest und Teilnahme an LekoLemo
50 47.4 55.6
^
𝑃𝑜𝑠𝑡𝑡𝑒𝑠𝑡 𝑖 =17 , 4 +0 ,6 ∙10+ 8 , 2 ∗1=31.6
60 53.4 61.6
20
Fiktive LekoLemo-Studie: Vergleich der geschätzen Effekte
Vergleich der geschätzten Effekte des LekoLemo-Trainings auf die Lesekompetenz

• Schätzung des Kausalen Effekts
• Naive Modellierung: Vergleich der Posttestwerte: 13,7 Punkte
• Differenz der Zugewinne: 4,8 Punkte
• Regressionsmodell: 8,2 Punkte
• Korrelative Studien, die bei der statischen Analyse Gruppenunterschiede im Prätest
• nicht berücksichtigen, liefern keine belastbare empirische Evidenz zu kausalen Effekten
• berücksichtigen, liefern belastbarere empirische Ergebnisse zu kausalen Effekten 21
Statistische Modellierung: Kovariaten & adjustierte Werte
Definition und Bedeutung

• Kovariaten/Kontrollvariablen
• Variablen (z.B. Prätestwerte), die in einem statistischen Modell
berücksichtigt werden, um den Selektionsprozess zu approximieren
• Das statistische Modell rechnet dabei die Unterschiede auf den Kovariaten
zwischen den Personen „heraus“, die unterschiedlichen
Gruppen/experimentellen bzw. natürlichen Bedingungen angehören.
• Adjustierte Werte
• Durch Einbezug der Kovariaten können „bereinigte“ / „adjustierte“
Unterschiede zwischen den
• Versuchsbedingungen (z.B. LekoLemo- vs. Kontrollgruppe)
• natürlich existierenden Gruppen (z.B. Schulformen)
• natürlich existierenden Bedingungen (z.B. Lehrkräfte mit
unterschiedlichem Maß an Professionswissen)
berechnet werden
Legewie, J. (2012). Die Schätzung von kausalen Effekten: Überlegungen zu Methoden der Kausalanalyse anhand von Kontexteffekten in der Schule. KZfSS Kölner Zeitschrift für Soziologie und Sozialpsychologie, 64(1), 123–153. https://doi.org/10.1007/s11577-012-0158-5 22
Statistische Modellierung: Kontrollvariablen / Kovariaten
Welche Anforderungen werden an Kontrollvariablen/Kovariaten gestellt?

• Kenntnis des Selektionsprozesses bestimmt die Variablenauswahl
• Kovariaten sollen bereits vor Beginn der Intervention gemessen werden, bzw.
sich durch die Intervention nicht ändern
• Kovariaten sollen
• die abhängige Variable/Ergebnisvariable
• die Zuweisung zur Intervention
beeinflussen
• Erfassung mit Messinstrumenten mit hoher psychometrischer Qualität
• Objektivität
• Reliabilität
• Validität
Legewie, J. (2012). Die Schätzung von kausalen Effekten: Überlegungen zu Methoden der Kausalanalyse anhand von Kontexteffekten in der Schule. KZfSS Kölner Zeitschrift für Soziologie und Sozialpsychologie, 64(1), 123–153. https://doi.org/10.1007/s11577-012-0158-5
23
Worauf ist bei der Planung korrelativer Studien zu achten?
Korrelative Studien
• Selektionseffekte und Kovariatenauswahl
Kovariaten müssen explizit erfasst werden
24
Korrelative Studien
•Zentrale Aspekte
• Begriffe
•Beispielstudien
• COACTIV-Studie
25
Forschungsanliegen: Beeinflusst Bildung die Intelligenz?
Bildung
IQ10-Jahre IQ34-Jahre
Geschlecht
Bildung und Intelligenz?

• Intelligenz = eine sehr generelle kognitive Fähigkeit, die unter anderem die
individuellen Fähigkeiten zum schlussfolgernden Denken, Planen, Problemlösen,
abstrakten Denken, dem Verstehen komplexer Ideen, schnelles Begreifen sowie
erfahrungsbasiertes Lernen betrifft. (Gottfredson, 1997)
• Laientheorien
• Intelligenz ist eine unveränderliche, genetisch-determinierte Eigenschaft
• Wissenschaftlicher Diskurs
• Bildung fördert die konstituierenden Komponenten der Intelligenz
Gottfredson, L. S. (1997). Mainstream science on intelligence: An editorial with 52 signatories, history and bibliography. Intelligence, 24, 13–23.
Ritchie, S. J., & Tucker-Drob, E. M. (2018). How Much Does Education Improve Intelligence? A Meta-Analysis. Psychological Science, 0956797618774253. https://doi.org/10.1177/0956797618774253 26
Methode: Stichprobe
Stichprobe
• British Cohort Study
• repräsentative Längsschnittstudie einer Geburtskohorte
• Vorhersageintervall: 24 Jahre
• 1. Messzeitpunkt: 10 Jahre, 2. Messzeitpunkt: 34 Jahre
• Stichprobe
• Personen, die in einer bestimmten Woche im April 1970 geboren
wurden
• N = 5,296
Ritchie, S. J., & Tucker-Drob, E. M. (2018). How Much Does Education Improve Intelligence? A Meta-Analysis. Psychological Science, 0956797618774253. https://doi.org/10.1177/0956797618774253
27
Methode: Messinstrumente
Messinstrumente
• Intelligenz (IQ)
• 10 Jahre
• British Ability Scales (zwei verbale & zwei non-verbale Subtests)
• 34 Jahre
• Adult Numeracy Test (Aufgaben zur mathematischen Kompetenz)
• Beide Maße wurden jeweils auf eine IQ-Metrik transformiert mit M = 100
und SD = 15 IQ-Punkten
28
Messinstrumente
• Bildung
• Anzahl an erfolgreich absolvierten Bildungsjahren
• Berechnung basiert auf den Abschlüssen in Groß Britannien
• 11 Jahre: Pflichtschulzeit
• 13 Jahre: Abitur
• 17 Jahre: Hochschulabschluss
• 21 Jahre: Doktortitel
29
Ergebnisse
Regressionsmodell: Gleichung und Bedeutung der Variablen

• Regressionsgleichung: vorhergesagter IQ-Wert im Alter von 34 Jahren
^
𝐼𝑄 34 𝐽𝑎h𝑟𝑒 ,𝑖 =𝑐 +𝑏 ∙ 𝐵𝑖𝑙𝑑𝑢𝑛𝑔𝑖 +𝑎 1∙ 𝐼𝑄 𝑖 +𝑎 2∙ 𝐺𝑒𝑠𝑐h𝑙𝑒𝑐h𝑡 𝑖
• Kovariaten
• Geschlecht (dummy-kodiert mit 0 = männlich, 1 = weiblich)
• IQ im Alter von 10 Jahren
• Zentrale Unabhängige Variable
• Bildung (in Jahren)
• Abhängige Variable
• IQ im Alter von 34 Jahren
Ergebnisse
Ergebnisse der Regressionsanalyse

• Regressionsgleichung
^
𝐼𝑄 34 𝐽𝑎h𝑟𝑒 , 𝑖=49.7+ 0.92 ∙ 𝐵𝑖𝑙𝑑𝑢𝑛𝑔𝑖 +0. 42 ∙ 𝐼𝑄 𝑖 − 4 .65 ∙ 𝐺𝑒𝑠𝑐h𝑙𝑒𝑐h𝑡 𝑖
• Was bedeutet „
Bei gleicher Intelligenz im Alter von 10 Jahren (und bei Kontrolle von
Geschlechtsunterschieden in der Intelligenz) ging mit jedem Jahr mehr an
Bildung eine Steigerung der Intelligenz von 0.92 IQ-Punkten einher
Ergebnisse
Ergebnisse der Regressionsanalyse: Veranschaulichung der Regressionsgleichung

Geschlecht IQ10 Jahre Bildungsjahre Vorhergesagter Wert

IQ34 Jahre
0 100 11 101.3
0 100 13 103.1
0 100 17 106.8 Männer
0 100 21 110.5
1 100 11 96.7
1 100 13 98.5
1 100 17 102.2 Frauen
1 100 21 105.8
32
Diskussion
Interpretation der Ergebnisse

• Bildung hat eine positive „Wirkung“ auf die Intelligenz im Erwachsenalter
• Bei gleicher Intelligenz im Alter von 10 Jahren (und bei Kontrolle von
Geschlechtsunterschieden in der Intelligenz) ging mit jedem Jahr mehr an
Bildung eine Steigerung der Intelligenz von 0.92 IQ-Punkten einher
Korrelative Studien
•Zentrale Aspekte
• Begriffe
•Beispielstudien
• COACTIV-Studie
34
Forschungsanliegen: Professionswissen von Mathematiklehrkräften
Forschungsfrage und –stand

• Ausgewählte Forschungsfrage des COACTIV-
Forschungsprogramms
• Hat das fachspezifische Professionswissen Einfluss auf
die Unterrichtsgestaltung und die
Kompetenzentwicklung in Mathematik
• Forschungsstand: Professionswissen
• Distale Indikatoren
• Abschlüsse
• Kurszahl
• Zertifizierung
• Forschungsziel
• Entwicklung und Validierung von standardisierten Tests
zur Erfassung des Fachwissens und des
fachdidaktischen Wissens von Mathematiklehrkräften
Kunter, M., Baumert, J., Blum, W., Klusmann, U., Krauss, S., & Neubrand, M. (2011). Professionelle Kompetenz von Lehrkräften: Ergebnisse des Forschungsprogramms COACTIV. Münster: Waxmann. 35
Methode: Stichprobe
9. Klasse (2003) 10. Klasse (2004)
Schüler(innen) in
Mathematik- PISA PISA
klassen
Mathematik- COACTIV COACTIV

Lehrkräfte
Stichprobe im
Längsschnitt
Stichprobe
• COACTIV „dockte“ an PISA an
• große, heterogene Längschnittstichprobe von 4.353 Schüler*innen, 181 Lehrkräften
in 194 Klassen an 119 Schulen (Gymnasien, Mittelschulen, Realschulen,
Gesamtschulen) 36
Ist 21024 – 1 eine Primzahl?
Test zur Erfassung des Fachwissens von Mathematiklehrkräften

• Definition: Mathematikwissen auf vertieftem Schulstoffniveau
• Testitems mit offenem Antwortformat
• Doppelkodierung aller Antworten auf Basis eines Kodiermanuals von geschulten
Kodierern
• Reliabilität: Cronbachs Alpha α = 0.83
37
 richtig
Ist 21024 – 1 eine Primzahl?
Nein, denn es gilt: a2 - b2 = (a - b)·(a + b).

Demnach lässt sich 21024 - 1 zerlegen in
(2512 – 1)(2512 + 1)
38
Eine Schülerin sagt:

Ich verstehe nicht,
warum  1  1  1
Bitte versuchen Sie Ihrer Schülerin diesen Sachverhalt auf

möglichst vielen verschiedenen Wegen verständlich zu
machen.
Test zur Erfassung des fachdidaktischen Wissens von Mathematiklehrkräften

• Definition: Wissen, wie man mathematische Inhalte Schüler*innen verfügbar machen
kann
• Facetten „Instruktion“, „Aufgabenwissen“, Schülerkognitionen
• Testitems mit offenem Antwortformat
• Doppelkodierung aller Antworten auf Basis eines Kodiermanuals von geschulten
Kodierern
• Reliabilität: Cronbachs Alpha α = 0.77
39
 richtig  falsch
2 ∙ (-1) = -2
-1 +1 „Das ist eben so!“
1 ∙ (-1) = -1
0 ∙ (-1) = 0
(-1) ∙ (-1) = 1
(-2) ∙ (-1) = 2 „Das ist etwas, was gelernt
und angewendet werden
muss und nicht etwas, was
erklärt werden muss“
-2 -1 0 1 2 -1 0 1
„Mathematische
.
„Multiplizieren mit -1 bedeutet ins
Definitionen
Gegenteil umkehren: z.B. Kredit in nachschauen“
Schulden und umgekehrt. Das Gegenteil
von -1 (Euro) Schulden ist 1 (Euro) -1 = -1
Guthaben.“ (-1) .∙
(-1) (-1) = 1
„Man kann (-1)•(-1) auch als doppelte (-1) ∙ (-1) ∙ (-1) = -1
Verneinung verdeutlichen“ (-1) . (-1) ∙ (-1) ∙ (-1) = 1
40
Ergebnisse: Zusammenhang Fachwissen und fachdidaktisches Wissen
Fachwissen begünstigt den Aufbau des fachdidaktischen Wissens

• Korrelation r = .79: Je höher das Fachwissen, desto höher ist das fachdidaktische
Wissen von Mathematiklehrkräften
• Es gibt keine Lehrkräfte mit hohem Fachwissen und niedrigem fachdidaktischem
Wissen
Krauss, S. (2009). Fachdidaktisches Wissen und Fachwissen von Mathematiklehrkräften der Sekundarstufe: Konzeptualisierung, Testkonstruktion und Konstruktvalidierung im Rahmen der COACTIV-Studie. Kassel: Universität Kassel. 41
Multimethodale Erfassung von Basisdimensionen des Unterrichts

• Klassenführung: Lehrkräfte- und Schülerfragebogen
• Störungspräventive Unterrichtsführung
• Effektive Zeitnutzung
• Kognitive Aktivierung: Aufgabenratings von eingesammelten Klassenarbeiten
• pro Lehrkraft lagen im Mittel 53 Aufgaben vor
• Aufgabenratings zu
• Kognitive Anforderungen (z.B. Argumentationsniveau,
Modellierungsniveau)
• Curriculare Anforderungen
• Konstruktive Unterstützung: Schülerfragebogen
• Konstruktiver Umgang mit Fehlern und Geduld
• Respekt und Verantwortung
• Aufmerksamkeit für den individuellen Arbeitsprozess
42
Kovariaten und zentrale Ergebnisvariable (Outcome)

• Zentrale Ergebnisvariable (10. Klasse)
• curricular-sensitiver PISA-Mathematiktest
• Kovariaten (9. Klasse)
• PISA-Mathematiktest
• PISA-Lesetest
• Kognitive Fähigkeiten („Intelligenz“)
• Sozioökonomischer Status der Eltern (SES)
• Bildungsniveau der Eltern
• Migrationserfahrung
43
Methode: Mehrebenen-Mediationsmodell
Welche Fragen beantwortet dieses statistische Modell?

• Wie beeinflusst
• das fachdidaktische Wissen die Unterrichtsqualität? Pfeil 1
• die Unterrichtsqualität die Mathematikleistung in der 10. Klasse? Pfeil 2
• Ausschluss von Alternativerklärungen
• Sind diese Effekte auch dann zu beobachten, wenn Merkmale der Schüler, die
die Zugehörigkeit zu Klassen/Schularten und den Kompetenzwert beeinflussen,
bzw. die Schulart selbst kontrolliert werden? Pfeile 3 und 4
44
Ergebnisse: „Black-Box-Modell“: Effekt des fachdidaktischen Wissens
auf die Mathematikleistung am Ende der 10. Klasse
Interpretation
• Über je mehr fachdidaktisches Wissen Mathematiklehrkräfte verfügten, um so
größer war die Mathematikleistung der Schüler*innen (bei Kontrolle
Lernausgangslagen in der 9. Klasse und Leistungsunterschieden zwischen den
Schularten) Baumert, J., Kunter, M., Blum, W., Brunner, M., Voss, T., Jordan, A., … Tsai, Y. M. (2010). Teachers’ mathematical knowledge, cognitive activation in the classroom, and
student progress. American Educational Research Journal, 47, 133–180.
45
Ergebnisse: Zusammenwirken des fachdidaktischen Wissens und der
Unterrichtsqualität auf die Mathematikleistung am Ende der 10. Klasse
Interpretation (nur der statistisch signifikanten Beziehungen; fett gedruckt)

• Über je mehr Fachdidaktisches Wissen Mathematiklehrkräfte verfügten, um so
höher ausgeprägt waren die kognitive Aktivierung, die curricularen Anforderungen
sowie die konstruktive Unterstützung des Unterrichts
• Je höher die kognitive kognitiven und die curricularen Anforderungen sowie die
Klassenführung des Unterrichts waren, desto besser war die Mathematikleistung der
Schüler*innen Baumert, J., Kunter, M., Blum, W., Brunner, M., Voss, T., Jordan, A., … Tsai, Y. M. (2010). Teachers’ mathematical knowledge, cognitive activation in the
46
classroom, and student progress. American Educational Research Journal, 47, 133–180.
Diskussion
Wie stark ist der Effekt des fachdidaktischen Wissens?

• Zusätzliche Analysen der PISA-Daten zeigten, dass der mittlere Lernzugewinn von Klasse 9
auf Klasse 10 in der mathematischen Kompetenz bei d = 0,35 Standardabweichungen lag
• Black-Box-Modell: Wenn man zwei Klassen mit vergleichbarer Schülerzusammensetzung in
Klasse 9 hat (= Kontrolle der Kovariaten auf Schüler- und Klassenebene), dann ist
• für eine Mathematiklehrkraft, deren fachdidaktisches Wissen von 80% der anderen
Lehrkräfte übertroffen wird (= Prozentrang 20), ein Kompetenzzugewinn von d ≤ .21
Standardabweichungen zu erwarten,
• wohingegen für eine Lehrkraft, deren fachdidaktisches Wissen lediglich von 20% der
anderen Lehrkräfte übertroffen wird (= Prozentrang 80), ein Kompetenzzugewinn von
d ≥ .49 Standardabweichungen zu erwarten.
• Der Unterschied im Kompetenzzugewinn der Schüler*innen, die von diesen beiden
Mathematiklehrkräften unterrichtet wurden, lag also bei etwa einem Schuljahr
Baumert, J., Kunter, M., Blum, W., Brunner, M., Voss, T., Jordan, A., … Tsai, Y. M. (2010). Teachers’ mathematical knowledge, cognitive activation in the classroom, and student progress. American Educational Research Journal, 47,
133–180. 47
Diskussion
Wie beeinflusst das Zusammenwirken des fachdidaktischen Wissens und der

Unterrichtsqualität den Kompetenzerwerb der Schüler?
• Das fachdidaktische Wissen beeinflusst die kognitiven Anforderungen, die
curricularen Anforderungen und die konstruktive Unterstützung im
Unterricht, nicht aber die Klassenführung.
• Die Kognitiven und die curricularen Anforderungen sowie die Klassenführung
beeinflussen die Mathematikleistung.
• Der Effekt des fachdidaktischen Wissens auf den Kompetenzerwerb wird vor
allem über die Komponenten der kognitiven Aktivierung und curricularen
Anforderungen vermittelt
48
Zusammenfassung
49
Ökologische Validität
COACTIV: Aspekte der Ökologischen Validität

• Personen
• Schüler*innen in den PISA-Klassen
• Mathematiklehrkräfte der PISA-Klassen
• Erhebungsmaterialien
• eingesammelte Klassenarbeiten
• PISA-Mathematiktests
• pädagogische Interventionen
• realer Unterricht in den PISA-Klassen aus Sicht der Schüler- und Lehrkräfte
Korrelative Designs: Merkmale
COACTIV: Umsetzung des korrelativen Designs

• Mathematiklehrkräfte unterschieden sich im fachdidaktischen Wissen und hinsichtlich der
Unterrichtsqualität in ihren Klassen
• Fachdidaktisches Wissen und Unterrichtsqualität konnten nicht aktiv manipuliert werden
• Die Zuweisung von Schüler*innen auf Schulklassen erfolgte nicht randomisiert
• Mit dem Mehrebenen-Mediationsmodell wurde analysiert, inwiefern beobachtete Unterschiede
im fachdidaktischen Wissen oder in der Unterrichtsqualität die Mathematikleistung von
Schüler*innen beeinflussten
51
Korrelative Designs: Stärken und Schwächen
COACTIV: Stärken und Schwächen

• Interne Validität?
• Fachdidaktisches Wissen und Unterrichtsqualität konnten nicht aktiv manipuliert werden
• Mehrebenen-Mediationsmodell: Die Kovariaten auf Schüler- und Klassenebene helfen den
Selektionsmechanismus in Schularten zu kontrollieren bzw. kontrollieren für Unterschiede in
Lernausgangslagen, die die mathematische Kompetenz beeinflussen
• Externe Validität: Breite Generalisierbarkeit der Ergebnisse durch
• ökologisch-valide Studienanlage
• große, heterogene Stichprobe von Lehrkräften und Schüler*innen
52
Korrelative Designs: Bedingungen der Kausalität
COACTIV: Kausale Beziehung zwischen fachdidaktischem Wissen und Kompetenzerwerb

in Mathematik?
1. Bedingung: Die Ursache geht der Wirkung zeitlich voraus
• Wir beobachten die natürliche Variation im fachdidaktischen Wissen und der
Unterrichtsqualität und beobachten hinterher die Mathematikkompetenz von
Schülerinnen und Schülern. Die Kovariaten wurden alle in der 9. Klasse erfasst.
2. Bedingung: Die Ursache steht mit der Wirkung in Beziehung
• Fachdidaktisches Wissen hing (auch bei Kontrolle der Kovariaten) mit der
mathematischen Kompetenz in der 10. Klasse statistisch zusammen
3. Bedingung: Ausschluss plausibler Alternativerklärungen
• Durch die Kontrolle von Kovariaten auf Schüler- und Klassenebene, wurden die
Selektionsprozesse in Schularten approximiert bzw. für wichtige
Lernausgangslagen kontrolliert, die die mathematische Kompetenz beeinflussen.
53
Korrelative Designs: Kontrafaktisches Modell
COACTIV: Kontrafaktisches Modell

• Definition: Wirkung/Effekt
• Welche Mathematikleistung hätten die Schüler*innen erzielt, wenn sie nicht von einer
Mathematiklehrkraft mit hohem Niveau an fachdidaktischem Wissen, sondern stattdessen
von einer Mathematiklehrkraft mit niedrigem Niveau an fachdidaktischem Wissen
unterrichtet worden wären?
• Ergebnis des „Black-Box-Modells“
• Wenn man zwei Klassen mit vergleichbarer Schülerzusammensetzung an derselben Schulart
in der 9. Klasse hat, dann ist für die Schüler*innen in der 10. Klasse ein Leistungszugewinn
in Mathematik
• von d ≤ .21 Standardabweichungen zu erwarten, wenn das fachdidaktisches Wissen
ihrer Mathematiklehrkraft bei Prozentrang 20 oder darunter liegt
• von d ≥ .49 Standardabweichungen zu erwarten, wenn das fachdidaktisches Wissen
ihrer Mathematiklehrkraft bei Prozentrang 80 oder darüber liegt
54
Zusammenfassung: Was Sie heute lernen konnten
Korrelative Studien
•Zentrale Aspekte
• Stärken und Schwächen korrelativer Designs, Ökologische Validität, Statistische
Kontrolle und Schätzung kausaler Effekte
•Beispielstudien
• COACTIV-Studie
55

04.4 UP Vorlesung Korrelative Studien Mit Audio

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

04.4 UP Vorlesung Korrelative Studien Mit Audio

Hochgeladen von

Copyright:

Verfügbare Formate

Vorlesung

Einführung in die Methoden der empirischen

1. Einführung in das Thema und statistische Grundlagen

Überblick: Studiendesigns / Versuchspläne

Korrelative Studien: Stärken und Schwächen

Ziel der Modellierung: Minimierung von Selektionseffekten

• Ein Selektionseffekt liegt vor, wenn sich Personen in einer pädagogischen

• Randomisierung: Das beste Mittel, um solchen Selektionseffekten zu begegnen, ist

• Statistische Modellierung: Man kann versuchen, den Zuweisungsprozess zu den

Welche statistischen Modelle werden eingesetzt? (Legewie, 2012)

• Hierarchisch Lineare Modelle / Mehrebenenmodelle

• Propensity Score Matching

Man kann/soll diese statistischen Modelle kombinieren (Ho et al., 2007)

• z.B. Regressionsmodelle auf Basis von Propensity Score Matching

• Es besteht die Gefahr, dass nicht die pädagogische Maßnahme, sondern

Naive Abschätzung des Trainingseffekts

Bessere Abschätzung des Trainingseffekts

Noch bessere Abschätzung des Trainingseffekts mit dem Regressionsmodell

Statistische Modellierung des Trainingseffekts mit dem Regressionsmodell

Statistische Modellierung des Trainingseffekts mit dem Regressionsmodell

Statistische Modellierung des Trainingseffekts mit dem Regressionsmodell

Statistische Modellierung des Trainingseffekts mit dem Regressionsmodell

Wie funktioniert die Berechnung von Werten mit dem Regressionsmodell?

Prätestleistung Vorhergesagte Posttestleistung Beispiele

Vergleich der geschätzten Effekte des LekoLemo-Trainings auf die Lesekompetenz

Definition und Bedeutung

Welche Anforderungen werden an Kontrollvariablen/Kovariaten gestellt?

Kovariaten müssen explizit erfasst werden

Bildung und Intelligenz?

Regressionsmodell: Gleichung und Bedeutung der Variablen

Ergebnisse der Regressionsanalyse

Ergebnisse der Regressionsanalyse: Veranschaulichung der Regressionsgleichung

Geschlecht IQ10 Jahre Bildungsjahre Vorhergesagter Wert

𝐼𝑄 34 𝐽𝑎h𝑟𝑒 , 𝑖=49.7+ 0.92 ∙ 𝐵𝑖𝑙𝑑𝑢𝑛𝑔𝑖 +0. 42 ∙ 𝐼𝑄 𝑖 − 4 .65 ∙ 𝐺𝑒𝑠𝑐h𝑙𝑒𝑐h𝑡 𝑖

Interpretation der Ergebnisse

Forschungsfrage und –stand

9. Klasse (2003) 10. Klasse (2004)

Mathematik- COACTIV COACTIV

Ist 21024 – 1 eine Primzahl?

Test zur Erfassung des Fachwissens von Mathematiklehrkräften

Nein, denn es gilt: a2 - b2 = (a - b)·(a + b).

Eine Schülerin sagt:

Bitte versuchen Sie Ihrer Schülerin diesen Sachverhalt auf

Test zur Erfassung des fachdidaktischen Wissens von Mathematiklehrkräften

Fachwissen begünstigt den Aufbau des fachdidaktischen Wissens

Multimethodale Erfassung von Basisdimensionen des Unterrichts

Kovariaten und zentrale Ergebnisvariable (Outcome)

Welche Fragen beantwortet dieses statistische Modell?

Interpretation (nur der statistisch signifikanten Beziehungen; fett gedruckt)

Wie stark ist der Effekt des fachdidaktischen Wissens?

Wie beeinflusst das Zusammenwirken des fachdidaktischen Wissens und der

COACTIV: Aspekte der Ökologischen Validität

COACTIV: Umsetzung des korrelativen Designs

COACTIV: Stärken und Schwächen

COACTIV: Kausale Beziehung zwischen fachdidaktischem Wissen und Kompetenzerwerb

COACTIV: Kontrafaktisches Modell

Das könnte Ihnen auch gefallen