Handout zum Referat: Geplante Einzelvergleiche 19.12.2007 Seminar: Methodenkritisches Lesen. WS 07/08 Dozentin: Dr. A. Jain ReferentInnen: K.

Dragon, A. Henning, K. Kienzle, S. Melzig, T. Scherzer 1. Einfhrung Definition: In einem Einzelvergleich oder Kontrast werden immer zwei Gruppenmittelwerte miteinander verglichen. Im Fall der komplexeren Vergleiche kann jeder dieser Mittelwerte auch aus mehreren Gruppenmittelwerten gebildet werden Unterschieden werden: Paarvergleiche und komplexe Vergleiche (je nach Anzahl involvierter Mittelwerte) Geplante/a priori Vergleiche und ungeplante/a posteriori/post hoc Vergleiche Orthogonale und nicht orthogonale Vergleiche Einzelvergleiche und multiple Vergleiche (je nachdem, ob nur ein oder mehrere Vergleiche durchgefhrt werden und zusammengefasst werden) Die geplanten Vergleiche stellen die Methode der Wahl zur Datenauswertung dar, wenn es darum geht, vor der Untersuchung aufgestellte Hypothesen mglichst valide zu prfen. (nach Hager, 1987). Obwohl wesentlich hufiger eingesetzt, ist die Varianzanalyse zur Auswertung hypothesentestender Untersuchungen nicht besser geeignet, denn: Sie liefert globalere Ergebnisse als Einzelvergleiche. Sie kann zwar Auskunft geben, ob es zwischen vorhandenen Mittelwerten einen Unterschied gibt. Bei mehr als 2 Faktorstufen kann jedoch keine Angabe darber gemacht werden, wo dieser liegt! Gefahr: Die varianzanalytische H0 entspricht in vielen Fllen nicht der statistischen Vorhersage, die aus den TIH abgeleitet wurde. 2. Einfach (paarweise) Einzelvergleiche Einfachster und hufigster Fall: Vergleich zweier Mittelwerte

Einzelvergleiche knnen als t-Test oder als F-Test berechnet werden Vorteil des t-Test: Adquate berprfung gerichteter Hypothesen F- und t-Test lassen sich ineinander berfhren: F= t2 oder t= F

Unterschied zwischen dem normalen t-Test und Einzelvergleich: Die Fehlervarianz wird nicht nur aus den Werten der verglichenen Gruppen, sondern aus denen aller Gruppen berechnet Voraussetzung: Varianzhomogenitt Genauere Schtzung der Populationsvarianz beim Einzelvergleich. Hhere Teststrke durch mehr Freiheitsgrade (wenn keine -Adjustierung vorgenommen wird)

Allgemeine Formel fr den Einzelvergleich: Bei gleich groen Stichproben:

Bei unterschiedlich groen Stichproben:

df = N K 2.1 Paarweise Einzelvergleiche in mehrfaktoriellen Versuchsplnen

bzw.

K (n 1)

Bei Einzelvergleichen in mehrfaktoriellen Versuchsplnen unterscheidet man vier verschiedene Arten von Einzelvergleichen 1. Einzelvergleiche auf der Ebene der Haupteffekte prinzipiell: Gleiche Datenanalyse wie bei der Berechnung der Haupteffekt, aber nur zwei davon werden verglichen Vergleich von zum Beispiel B2 mit B3 hier im Beispiel: Unterscheidet sich die Behaltensleistung von Verben und Adjektiven, unabhngig von der Prsentationsart? 2. Einzelvergleiche auf der Ebene der einfachen Haupteffekte auch bedingte Einzelvergleiche genannt Frage danach, ob sich zwei Stufen eines Faktors unter einer bestimmten Stufe des anderen Faktors unterscheiden Vergleich von z.B. B2 mit B3 in A1 hier im Beispiel: Unterscheidet sich die Behaltensleistung von Verben und Adjektiven bei akustischer Prsentation? 3. Interaktionseinzelvergleiche Vergleich zwei bedingter Einzelvergleiche Vergleich von z.B. (B2 B3 in A1) mit (B2-B3 in A2) hier im Beispiel: Ist der Unterschied in der Behaltensleistung von Verben und Adjektiven bei akustischer Prsentation grer als bei optischer? sehr hufige Art der Fragestellung streng genommen kein paarweiser Vergleich, da vier Werte miteinander verglichen werden 4. Einzelvergleiche einzelner Zellen z.B. Vergleich von B1 in A1 mit B3 in A2 hier im Beispiel: Ist die Behaltensleistung von Substantiven, die akustisch prsentiert werden, besser, als die von Adjektiven, die optisch prsentiert werden inhaltlich hier nicht besonders sinnvoll

Die allgemeine Berechnung erfolgt ber die schon bekannte Formel (s.o.). Hierbei bezieht sich n aber auf die Anzahl an Beobachtungen unter den verglichenen Bedingungen. MQFehler ist bei Versuchsplnen ohne Messwiederholung immer gleich, bei Versuchplnen mit Messwiederholung unterschiedlich.

2.2 Paarweise Einzelvergleiche in Versuchsplnen mit Messwdh. Das Finden der jeweils angemessenen Fehlervarianz ist der einzige Unterschied in der Berechnung und gleichzeitig auch ein Problem. Sind die Voraussetzungen fr die Verwendung einer Fehlervarianz (Homogenitt und Zirkularitt), die auf mehr Zellen als den gerade verglichenen beruht, wird bei jedem Einzelvergleich die Fehlervarianz benutzt, die zu dem Effekt gehrt, zu dem auch der Einzelvergleich gehrt. Sind mehrere Effekte betroffen, werden die entsprechenden Fehlervarianzen gepoolt, d.h. die entsprechenden SAQn werden addiert und durch die entsprechenden Freiheitsgrade geteilt. Bestehen Zweifel an der Erfllung der Voraussetzungen, werden die Vergleiche als normale t-Tests fr abhngige Stichproben durchgefhrt, welche allerdings eine geringere Power haben, da er auf weniger Freiheitsgrade beruht.

3. Komplexe Einzelvergleiche Zusammenfassung der Mittelwerte einzelner Gruppen und Vergleich mit einem anderen Mittelwert

Bsp.: Vergleich mehrerer Treatmentgruppen mit einer Kontrollgruppe berprfte Hypothese: Unterscheiden sich die Behandlungsgruppen von der Kontrollgruppe bzw. schneiden sie insgesamt besser ab? Berechnung: Einfhrung von Kontrastgewichten Spezifizierung der Kombination und Gewichtung der Mittelwerte Summe jeweils Null

Bsp.: 3 Behandlungsgruppen (1/3) 1 Kontrollgruppe (-1) Ma D = Produktsumme der Koeffizienten mit den jeweiligen Gruppenmittelwerten Mittelwerte der Behandlungsgruppe werden gemittelt und die Differenz zum Mittelwert der Behandlungsgruppe wird gebildet Am praktischsten Gewichte so whlen, dass positive und negative Koeffizienten sich jeweils zu 1 bzw. -1 summieren Allgemeine Regel: D berechnet sich aus der Summe der einzelnen Mittelwerte multipliziert mit ihren Kontrastgewichten Summe der Kontrastgewichte ist Null Beliebig viele Vergleiche konstruierbar Auswahl richtet sich nach der mglichst przisen Umsetzung der zu testenden Hypothesen Prfung der Differenz D auf Signifikanz anhand der t-Verteilung Berechnung von Kontrasten in mehrfaktoriellen Designs mglich Fehlervarianz: MQFehler des Effekts, zu dem die beiden verglichenen Mittelwerte gehren Nenner: n = Anzahl der Messwerte des jeweiligen Mittelwertes

4. Problem der -Fehler-Kumulierung und a-Adjustierung -Fehler-Kumulierung: Bei der Durchfhrung mehrerer Einzelvergleiche (Familie von Vergleichen) ist die Wahrscheinlichkeit, einen -Fehler zu begehen deutlich hher ausgeprgt Nach folgender Formel lsst sich auf der Grundlage der Anzahl der Vergleiche und des Signifikanzniveaus des einzelnen Vergleichs das neue Signifikanzniveau fr die Familie von Vergleichen errechnen: K F = 1- (1- V) 6 Beispiel: 6 Vergleiche: 1- (1- 0,05) = 0,265 Fehlerwahrscheinlichkeit liegt bei 27% Vereinfachte Formel: F = K* V -Adjustierung: Das Signifikanzniveau wird fr die einzelnen Vergleiche so erhht, dass fr die Familie der Vergleiche die gewnschte -Fehlerwahrscheinlichkeit resultiert. Bonferroni-Korrektur (angewendet bei wenigen Vergleichen, wenn eine Korrektur durchgefhrt werden soll): 1/K V = 1- (1- F ) oder V = F / K Ergebnis = Wert, der von einer berschreitungswahrscheinlichkeit unterschritten werden muss, damit diese als signifikant eingestuft werden kann Sollen a posteriori alle Vergleiche durchgefhrt werden, gibt es eigens fr diesen Zweck konstruierte Verfahren mit hherer Teststrke (Beispiel: Tukey-Test) berlegungen: Durch die -Adjustierung steigt der -Fehler sinkt die Teststrke Da eine -Adjustierung umso strker ausfllt, je mehr Vergleiche durchgefhrt werden sollten nur so viele Vergleiche wie ntig durchgefhrt werden (abhngig vom Einzelfall und verfolgten Ziel: hypothesentestender oder explorativer Charakter?)

Wann muss eine -Adjustierung vorgenommen werden und wann nicht? In der Literatur kontrovers diskutiert Notwendig ist eine Adjustierung bei vielen, post hoc durchgefhrten Vergleichen Hager (1987): Frage der -Adjustierung hngt von der logischen Verknpfung zwischen den geprften Vergleichen in Bezug auf die berprfte Hypothese ab Bei zwei Testhypothesen zur berprfung einer statistischen Vorhersage kann ein schwaches Kriterium (mindestens ein Unterschied wird signifikant) oder strenges Kriterium (beide werden signifikant) angelegt werden. Nur im Falle der oder-Verknpfung kann der -Fehler kumulieren Keine -Adjustierung muss vorgenommen werden: Bei Einsatz eines strengen Kriteriums Wenn die Tests vollstndig voneinander abhngig sind (redundante Informationen erfassen) Wenn verschiedene Vergleiche sich auf unterschiedliche Hypothesen beziehen 5. Einzelvergleiche a priori oder a posteriori
A priori Vergleiche ohne vorherige Varianzanalyse mglich Prfung von Hypothesen wenige Vergleiche Einzelvergleich oder multipler Vergleich A posteriori Vergleiche Anschlussverfahren einer Varianzanalyse Generierung von Hypothesen viele bzw. alle mglichen Paarvergleiche nur multipler Vergleich

Situationsspez. -Fehler-Korrektur; geringere Korrektur wenig Verlust an Teststrke

immer -Fehler- Korrektur; starke Korrektur groer Verlust an Teststrke (konservativer Test)

6. Orthogonale und nichtorthogonale Einzelvergleiche Berechnung smtlicher paarweiser Vergleiche berlappende, redundante Informationen Regel: K * (K-1)/2 mgliche Paarvergleiche K-1 orthogonale Vergleiche durch einen vollstndigen Satz orthogonaler Vergleiche wird also die gesamte in den Daten enthaltene Information ausgeschpft und keine redundante Information analysiert!!! Problem: durchgefhrten Vergleiche entsprechen meist nicht den inhaltlichen Hypothesen Konstruktion eines vollstndigen Satz orthogonaler Vergleiche nur als Ersatz fr Varianzanalyse sinnvoll bei gezielter Hypothesenprfung ist die Orthogonalitt der Vergleiche irrelevant!!!

7. Varianzanalyse vs. Einzelvergleich

Varianzanalyse Unspezifisch, global Gesamtanalyse der Information Keine genaue Testung der Hypothesen Zweiseitiger Test Keine -Adjustierung erforderlich Einzelvergleich Spezifisch Teilanalyse der Information Gezielte Auswahl zum Testen der Hypothesen Einseitiger Test Gewinn an Teststrke -Adjustierung erforderlich Verlust an Teststrke

8. Voraussetzungen fr Einzelvergleiche Gleiche Voraussetzungen wie VA vor allem Varianzhomogenitt als Grundlage fr die Logik der Einzelvergleiche: Fehlervarianzschtzung ber alle Daten Fehlervarianzschtzung ber: untersuchte Messwerte konventioneller t-Test Verschiedene Varianzen beider verglichener Gruppen/fehlende Varianzhomogenitt Welch-Test Literatur: Hussy, W. & Jain, A. (2002). Experimentelle Hypothesenprfung in der Psychologie, S. 208231. Gttingen: Hogrefe.