Hypothesentestung und Statistische Signifikanz

Ausgewhlte Kapitel der Forschungsmethoden und Evaluation

Wintersemester 2006/2007 Fachbereich fr Psychologie

Referentinnen: Vivien Breuer, Tina Bommer, Sonja Borchert

Gliederung:

1.

Einleitung Nullhypothesentestung und statistische Signifikanz Das Konzept des Bayes- Theorems Diskussion
2

2.

3.

4.

1. Einleitung
Was bedeutet ein signifikantes Ergebnis?

Fehlinterpretationen der Signifikanz

Bei einem Experiment werden die Mittelwerte der Experimental- und der Kontrollgruppe (20 Vp) untersucht. Die zweiseitige Testung der Nullhypothese H0: 1 = 2 ergibt t= 2,7 und p= 0,01.

Welche der folgenden Aussagen sind richtig, welche falsch? 1. Die experimentelle Hypothese ist absolut bewiesen (d.h. es gibt einen Unterschied zwischen den Populationsmittelwerten). 2. Die Wahrscheinlichkeit der Gltigkeit der H1 betrgt 99,99%.

Kritik am Signifikanztest

- zu viele Fehlinterpretationen mglich

- wird zu mechanisch angewandt - d.h. teilweise Anwendung ohne Verstndnis mglich

2. Nullhypothesentestung und Statistische Signifikanz

Kurze Einfhrung
Inferenzstatistische Hypothesentestung
Bei der inferenzstatistischen Hypothesenprfung wird getestet, ob die empirischen Daten mit den theoriegeleiteten Erwartungen vereinbar sind; diese Erwartungen knnen z. B. Unterschiede, Zusammenhnge oder Vernderungen sein.

Hypothesen

-Zusammenhangshypothesen -Unterschiedshypothesen

Ungerichtete Hypothese/ Gerichtete Hypothese H0: 1 = 2 (Nullhypothese) H1 : 1 2

(Ungerichtete Alternativhypothese)

oder H1 : 1 < 2
(Gerichtete Alternativhypothese)
9

Spezifische / Unspezifische Hypothesen

H0 : 1

2 + a

H1 : 1 > 2 + a

z.B.: das neue Medikament ist (mindestens) um den Betrag a besser als das alte Medikament.

10

Fehlerarten bei statistischen Entscheidungen

In der Population gilt H0 : Krankheit nicht vorhanden/gesund H1 : Krankheit vorhanden

Entscheidung Akzeptiere H0: Testergebnis negativ Richtige Entscheidung Spezifitt 1- Falsche Entscheidung falsch-positiv -Fehler Falsche Entscheidung falsch-negativ -Fehler Richtige Entscheidung Sensitivitt 1- (Teststrke/Power)

Verwerfe H0: Testergebnis positiv

11

Frage: Was ist schlimmer Alpha- oder Beta-Fehler? Antwort: Kommt auf die Folgen an, die die beiden Fehlerarten nach sich ziehen.

Beispiel: Fehldiagnose einer Krankheit

H0: Der Patient ist gesund. H1: Der Patient ist krank. Alpha-Fehler: Risiko, eine Krankheit zu

behandeln, die nicht vorhanden ist Beta-Fehler: Risiko, eine Krankheit zu bersehen
12

Signifikanztests
Der Signifikanztest ermittelt die Wahrscheinlichkeit, mit der das gefundene empirische Ergebnis sowie Ergebnisse, die noch extremer sind als das gefundene Ergebnis, auftreten knnen, wenn die Populationsverhltnisse der Nullhypothese entsprechen: p(Daten|H).

13

Irrtumswahrscheinlichkeit p oder - Fehler Wahrscheinlichkeit

Wahrscheinlichkeit, mit der wir uns irren wrden, wenn wir die Nullhypothese H0 flschlicherweise zugunsten der Alternativhypothese H1 verwerfen. Statistik-Software-Programme geben die exakte Irrtumswahrscheinlichkeit der Daten in einem p-Wert an.
14

 - Fehler Wahrscheinlichkeit
Wahrscheinlichkeit, mit der wir uns irren wrden, wenn wir die Alternativhypothese H1 flschlicherweise zugunsten der Nullhypothese H0 verwerfen. Voraussetzung ist, dass die Parameter der H1-Verteilung bekannt sind. Sie ist bei unspezifischen Alternativhypothesen nicht zu bestimmen.
15

Beziehung zwischen - und -Fehler-Wahrscheinlichkeit

Abb. 1 Schematische Darstellung der - und -Fehler-Wahrscheinlichkeit , entnommen aus: Bortz (5. Auflage, 2005), S. 122.

- und -Fehler-Wahrscheinlichkeit verndern sich gegenlufig.

16

Konsequenzen fr die Forschungspraxis

Je strker man sich dagegen absichern will, eine an sich richtige H0 zu verwerfen (niedriges Alpha-Fehler-Niveau), desto grer wird die Wahrscheinlichkeit, dass die H0 flschlicherweise beibehalten wird (hohe Beta-FehlerWahrscheinlichkeit). Innovative Forschungen in einem relativ jungen Untersuchungsgebiet, bei denen die Folgen einer flschlichen Annahme von H1 vorerst zu vernachlssigen sind, htten also bei einem Alpha-Niveau von 1% nur wenig Chancen, der Wissenschaft neue Impulse zu verleihen. In derartigen Untersuchungen ist deshalb auch ein Alpha-Niveau von 10% zu rechtfertigen. (Bortz, 1999, S. 122).
17

Signifikanzniveau -Fehler-Niveau
Die Irrtumswahrscheinlichkeit, die ein Untersuchungsergebnis maximal aufweisen darf, damit die Alternativhypothese als besttigt gelten kann. Fr diesen Grenz oder Schwellenwert werden per Konvention 5% oder 1% (vor einer Untersuchung!) festgelegt.
18

Abb. 2: Ablehnungsbereich der H0 bei zweiseitigem (a) und einseitigem (b) t-Test, entnommen aus: Bortz & Dring (2002), S. 498.

19

Signifikanzstufen
p 0,05 p 0,01 p 0,001 p> signifikant sehr signifikant hchst signifikant nicht signifikant

Ist die Gre der Irrtumswahrscheinlichkeit p kleiner als %, bezeichnet man das Stichprobenergebnis als statistisch signifikant.
20

Beta-Fehler-Niveau
Hier besteht keine feste Konvention (kontextabhngig). Wenn es um eine gut begrndete Alternativhypothese geht, sollte fr das Beta-Fehler Niveau einen Wert von 20% vorgesehen werden.

21

Verringerung der Alpha-FehlerWahrscheinlichkeit

grer werdende Diskrepanz von x 0 kleiner werdender Populationsstreuung =0 Vergrerung des Stichprobenumfangs
>

22

Statistische Signifikanz und praktische Bedeutsamkeit

Ein hypothesenkonformer Unterschied ist bei gengend groen Stichproben und einer gegebenen Populationsstreuung immer signifikant. Umgekehrt gilt auch, dass groe (und bedeutsame) Unterschiede bei zu kleinen Stichproben nicht signifikant werden, also unentdeckt bleiben. Die korrekte Anwendung eines Signifikanztests und die Interpretation der Ergebnisse unter dem Blickwinkel der praktischen Bedeutsamkeit sind essentielle und gleichwertige Bestandteile der empirischen Hypothesenprfung.
23

Signifikanzaussagen
Signifikanztests untersuchen die Wahrscheinlichkeit p der Daten D unter Annahme einer Hypothese H0 p(D|H0) Das heit, 1. es sind nur Aussagen ber die Wahrscheinlichkeit der Daten mglich und 2. H0 fungiert als Tatsache.
24

Illustration am Beispiel:
N = 10.000 Frage: Wie wahrscheinlich ist ein positives Testergebnis, wenn der Patient in Wirklichkeit gesund ist? = 1% p = 0,01%

25

Graphische Darstellung

H0

= 1%

p = 0,01%
26

Ergebnis
Die Wahrscheinlichkeit, ein positives Testergebnis zu erhalten, wenn der Patient in Wirklichkeit gesund ist (= Gltigkeit der H0), betrgt 0,01%. Das Ergebnis ist hoch signifikant. Die H0 wird abgelehnt und die H1 vorlufig angenommen; unsere Interpretation lautet: Der Patient ist krank.
27

Vorsicht: Umkehrschlsse sind nicht mglich: Es ist keine Aussage zur Wahrscheinlichkeit p der Hypothese H1 unter den vorliegenden Daten D mglich: Die Wahrscheinlichkeit der Gltigkeit der H1 betrgt 99,99%. Diese Interpretation ist unzulssig!

28

Graphische Darstellung 2

H0
99,99%

H1

= 1%

p = 0,01%
29

3. Das Konzept des Bayes-Theorems

30

3. Das Bayes - Theorem

Es untersucht die Wahrscheinlichkeit p der Hypothese H bei den vorliegenden Daten D: p(D|H) x p(H) p(H|D) = p(D) = p(D H) p(D)

31

Der Baum der Wahrscheinlichkeiten:

Population (N = 10.000) 99,99% gesunde Personen 0,01% 99,99% 99,9% 0,01% infizierte Personen 0,1%

T
p(T) =

p(T|gesund) x p(gesund) + p(T|infiziert) x p(infiziert)

= 0,01% x 99,99% + 99,9% x 0,01% 0,02%

32

gesund T

Population (N = 10.000)

T
Definitionen: rot: p(gesund T) rosa: p(gesund) blau: p(T)

p(gesund|T) =

p(gesund T) p(T)
33

Bestimmung von p(gesund|T)

p(D|H) x p(H) p(H|D) = p(D) p(T|gesund) x p(gesund) p(T)
0,01% x 99,99% 0,02% 50%

p(gesund|T) =

p(gesund|T) =

34

Ergebnis:
Die Wahrscheinlichkeit der Hypothese unter den vorliegenden Daten betrgt p(gesund|T) 0,50. Das heit, im vorliegenden Beispiel ist eine Person, die ein positives Testergebnis erhlt, nur mit 50%iger Wahrscheinlichkeit HIV-positiv.

35

Zum Abschluss:
Ergebnisse der anfangs erwhnten Studie

Abb. 3: Prozentuale Hufigkeit, mit der Fehler einer bestimmten Art gemacht wurden, entnommen aus: Haller (1999, S. 7)
36

Literatur
Bortz, J. (1999). Statistik fr Sozialwissenschaftler (5. Aufl.; Kapitel 4: Formulierung und berprfung von Hypothesen, S. 107-131). Berlin u.a.: Springer. Bortz, J. & Dring, N. (1995). Forschungsmethoden und Evaluation (3. Aufl., Kapitel 8.1: Grundprinzipien der statistischen Hypothesentestung, S. 492-502; Kapitel 9.1: Statistische Signifikanz und praktische Bedeutsamkeit, S. 600-603). Berlin, Heidelberg: Springer. Haller, H. (1999). Was bedeutet Signifikanz? Eine empirische Semesterarbeit. Unter: heikohaller.de/literatur/Semesterarbeit_Haller_99.pdf. Haller, H. & Kraus, S. (2002). Misinterpretations of significance: A problem students share with their teachers? Methods of Psychological Research Online, 17, 1-20. Available: http.//www.mpr-online.de.

37