Brauchen mehr Qualitt bei

Wahlumfragen!
neuwal Grnder Dieter Zirnig und Meinungsforscher Peter Hajek stellen neue
Qualittskriterien vor und pldieren fr deren Einhaltung. Meinungsforschungsinstitute
als auch Medien sind jetzt gefordert!
Durch die Bundesprsidentenwahlen wurden zwei Problemfelder ersichtlich: Die Institute
stehen vor neuen Herausforderungen bei der Erhebung der Sonntagsfrage, und die Medien
mssen ihren Umgang mit der Darstellung von politischen Umfragen berdenken. Weiter wie
bisher, wird nicht gehen, sagt Meinungsforscher Peter Hajek. Die Meinungsforschung ist nach
dem ersten Wahlgang der Bundesprsidentenwahl in Misskredit geraten. Der FP-Kandidat
Norbert Hofer wurde in den letzten Umfragen vor der Wahl bei rund 24 Prozent eingestuft. Am
Wahltag lag er bei 35 Prozent. Norbert Hofer war deutlich unterbewertet, Van der Bellen ist
berbewertet worden. Das Ergebnis der anderen Kandidaten Griss, Khol und Hundstorfer
wurde hingegen gut geschtzt.
Zirnig: In acht von zehn Fllen stimmt die Einschtzung
Besteht also doch Grund zur Hoffnung? Zumindest kein Grund, zum Verteufeln aller
Wahlumfragen. Dieter Zirnig, Grnder des unabhngigen Politikblogs neuwal.com, hat die
Wahlumfragen der letzten Jahre analysiert und kommt zu dem Schluss, dass acht von zehn
Umfragen den Ausgang einer Wahl sehr gut beschreiben. Soll heien, die prognostizierten
Ergebnisse liegen innerhalb der Schwankungsbreite. Zirnig mahnt dennoch eine
Neuausrichtung ein: Sowohl Meinungsforschung als auch Medien sind gefordert neue,
weitreichende Qualittskriterien aufzustellen und einzuhalten. Diese Kriterien knnen zwar
ungenaue Erhebungen nicht restlos verhindern, aber wieder klar machen, wofr die
Sonntagsfrage steht: Fr eine Momentaufnahme. Qualitativ hochwertige Umfragen gehen
darber hinaus und liefern eine fundierte Einschtzung aber nur unter bestimmten
Voraussetzungen und darber mssen Leser und Seher informiert und aufgeklrt werden. Gibt
es etwa Unsicherheiten in der Befragung, muss darber aufgeklrt werden und mssen die
Grenzen der Aussagekraft mittransportiert werden und an Herausforderungen mangelt es
wahrlich nicht.

Die goldenen Zeiten der Festnetztelefonie sind vorbei. Darauf haben wir uns lngst eingestellt.
Der Anteil von Mobilnummern in unseren Stichproben liegt heute bereits bei 70 Prozent. Das
Problem dabei? Die Jungen machen mit ihren Smartphones alles, nur nicht telefonieren. Wir
erreichen die jungen Menschen mit niedriger Bildung immer schwerer. Diese Gruppe whlt aber
zu einem groen Teil die FP. Diese Whler versuchen wir jetzt auch via Online-Befragung zu
erreichen. Das funktioniert zum Teil schon sehr gut skizziert Hajek.
Auffallend fr ihn war und ist nach wie vor die deutliche Zurckhaltung, am Telefon die
Sonntagsfrage zu beantworten. Die klassische Marktforschung hat dieses Problem nahezu
nicht. Das heit, wir knnen die Menschen zum Auto- oder Mbelkauf am Telefon befragen,
aber bei der Sonntagsfrage stoen wir an die Grenzen der Auskunftswilligkeit und
Ehrlichkeit, sagt er.
Hajek: Unser Versuchslabor ist der Wahltag
Ein Verzicht auf Wahlumfragen wre aber fatal, die Meinungsforschung braucht zur
Weiterentwicklung Umfragen vor Wahlen. So wurden vor dem zweiten Wahlgang Umfragen
gemacht, aber nicht publiziert.
Ergebnis: In den Rohdaten lagen Hofer und van der Bellen bei 43 zu 43. Die Erkenntnis daraus
war: Besteht ausreichend Zeit, lassen sich mittels Telefonbefragung die schwer zu erreichenden
Zielgruppen weiterhin gut erreichen, muss es schnell gehen, macht es Sinn, auf einen
Methodenmix aus Telefon- und Online-Befragung zu setzen.
Und zum Vorwurf der Beeinflussung der Whler? Wir brauchen eine pragmatische wie kritische
Haltung. Der Vorwurf lautet ja regelmig, die Umfrage beeinflusst taktische Whler. Die Wahl
wre quasi ganz anders ausgegangen. Vor 15 Jahren hat sich eine Parlamentarische
Enquete-Kommission damit beschftigt, im Raum stand, drei Wochen vor der Wahl Umfragen
zu verbieten. Fazit nach zwei Jahren Diskussion: Insgesamt sind die Effekte erstens klein und
zweitens als vllig unbedenklich einzustufen. Daran hat sich bis heute nichts gendert, sagt
Zirnig.
Stand: 23.06.2016
Inhalt
1. Qualittskriterien
1.1. Sieben Allgemeine Qualittskriterien fr Meinungsforschung
1.1. 10+1 Qualittskriterien fr Publikationen in Medien
Brauchen mehr Qualitt bei Wahlumfragen!

1.2. Sieben Qualittskriterien fr Meinungsforschung

2. Beispiele
3. Insights: Status Quo der Wahlumfragen

1. Qualittskriterien

Basis

Meinungsforschung

Medien

Bezahlung

1. Daten

1. Auftraggeber

Kommunikation

2. Visualisierung

2. Institut

Transparenz

3. Rohdaten

3. Umfragegre n

Regelmigkeit

4. Interpretation

4. Deklarierte Personen
-Stichprobengre

Umfragen vor Wahlen

5. Erluterung

5. Schwankungsbreite(n)

6. Vollstndigkeit

6. Umfragezeitraum

7. Offenlegung

7. Erhebungsmethode

8. Zielgruppe

9. Fragestellung

10. Mehr Infos (Download)

10+1 Know-How

Brauchen mehr Qualitt bei Wahlumfragen!

1.1. Sieben Allgemeine Qualittskriterien fr Meinungsforschung

Hajek und Zirnig haben folgende Kriterien definiert, die die Zusammenarbeit von Medien und
Meinungsforschung qualitativ weiter bringen wrde.
1

Bezahlung

Trotz der finanziell angespannten Situation vieler

Verlage sollten Medien wieder dazu bergehen,
zumindestens die Feldarbeitskosten der
Meinungsforschungsinstitute voll abzugelten. Wenn
gespart wird, hat das zwangslufig Auswirkung auf die
Qualitt.

Kommunikation

Auftraggeber und Medium sollten in einem stndigen

Diskurs stehen. Medien sollten nicht nur ad-hoc
Auftrge vergeben. Nur ein regelmiger Austausch
garantiert Know-How und Erfahrung bei der
Interpretation von Meinungsforschungsergebnissen.

Transparenz

Die Kommunikation aller Wahldaten muss Standard

werden. Sogenannte "interne Daten" sollte die mediale
Aufmerksamkeit verweigert werden. Seriositt und
transparenz knnen nicht garantiert werden.

Regelmigkeit

Durch regelmige Wahlumfragen lassen sich

Trendverlufe besser darstellen, statistische Ausreier
(Stichwort: 95%iges Sicherheitsniveau) knnen besser
erkannt werden. Die reine Fokussierung auf "vor der
Wahlzeit" dient hingegen der Zuspitzung von
Stimmungen.

Umfrage vor der Wahl

Die Medien sollten dazu bergehen, mindestens sieben

Tage vor der Wahl keine Umfrage mehr zu publizieren.
Noch besser wren zwei Wochen, um sich nicht dem
Vorwurf des horse-race Journalismus auszusetzen.

Brauchen mehr Qualitt bei Wahlumfragen!

1.1. 10+1 Qualittskriterien fr Publikationen in Medien

Medien sollten strikt dazu bergehen alle relevanten Informationen zur Umfrage dem Leser zur
Verfgung zu stellen. Zudem sollten die Medien fr internes Know-how in Sachen Umfragen
und Statistik sorgen.

Auftraggeber

Von wem wurde die Umfrage in Auftrag gegeben?

Institut

Von wem wurde die Umfrage durchgefhrt?

Umfragegre n

Wieviele Personen wurden befragt?

Deklarierte Personen
Stichprobengre

Wieviele deklarierte Antworten gibt es?

Schwankungsbreite(n)

Wie hoch ist die maximale Schwankungsbreite bzw.

wie hoch sind die jeweiligen Schwankungsbreiten fr
die jeweiligen ausgewiesenen Parteien?

Umfragezeitraum

In welchem Zeitraum wurde die Umfrage

durchgefhrt?

Erhebungsmethode

Mit welcher Methode wurden die Antworten

eingeholt?

Zielgruppe

Zielgruppendefinition

Fragestellung

10

Mehr Infos als

Download

Wie lautet die genaue Fragestellung?

Wurden mehr Informationen zum Beispiel in

PDF-Form mit nheren Details zur
(Gesamt-)umfrage verffentlicht?
Eine Person in jeder Redaktion, die mit Umfragen

10+
1

Wissen

umzugehen wei und statistische Basiswissen hat,

um auch kleine Auswertung eigenstndig
durchfhren kann.

Brauchen mehr Qualitt bei Wahlumfragen!

1.2. Sieben Qualittskriterien fr Meinungsforschung

Die Standardinformationen sollten knftig um folgende nachfolgende Qualittskriterien ergnzt
werden:

Daten

Lieferung der Daten in Tabellenform

Visualisierung

Hauptergebnisse grafisch aufbereiten

Rohdaten

Lieferung der Daten als SPSS-Rohdatenfile

Interpretation

Interpretation und Szenarienbildung durch

Meinungsforschung in verbaler Form

Erluterung

Erluterung Zustandekommen der Hochschtzung

durch Meinungsforschung

Vollstndigkeit

Online-Publikation aller von Meinungsforschung zur

Verfgung gestellten Informationen

Offenlegung

Offenlegung von politischen Mandaten des Instituts

gegenber dem Auftraggeber

Brauchen mehr Qualitt bei Wahlumfragen!

2. Beispiele

1.Grafik

2.Text

3.InfoBox

Infografik,diedas

JournalistischerBeitrag,der

Auslagerungsmtlicher

Umfrageergebnismit

sichumdieverffentlichten

Kriterien(110)ineineInfobox

Schwankungsbreiteausgibt.

Datendreht.DieAnalyse

inFormZahlen,Datenund

Detailswerdenander

drehtsichzustzlichum

Faktenumeinenvollstndigen

Bildunterleisteabgedruckt.

Fakten,wobeidas

Hintergrundder

Dasgewhrleisteteine

Grundgerstdazudie

Datenerhebungzugarantieren.

Grundinformation,fallsdas

definiertenQualittskriterien

Bildunabhngigvom

sind.

Textkommuniziertwird.

BeispieleinerqualitativhochwertigpubliziertenWahlumfrage

DiesePublikationeinerWahlumfragebeinhaltetsmtlichezehndefiniertenQualittskriterien.

ARDDeutschlandTrend
5.November2015
Originalquelle:http://www.tagesschau.de/inland/deutschlandtrend/index.html
Visualisierung:https://neuwal.com/wahlumfragen/wahlumfrage.php?uid=1012

Brauchen mehr Qualitt bei Wahlumfragen!

3. Insights: Status Quo der Wahlumfragen

Diese bersicht ist nach der geringsten Abweichung von Wahlumfragenim Vergleich zum
Wahlergebnis gereiht. Das bedeutet: Je geringer die Summe der absoluten Differenz der
jeweiligen Umfragewerte ist, desto eher prziser die Umfrage.
Ein zweiter Wert innerhalb der Schwankungsbreite zeigt an, zu welchem Prozentsatz die
Wahlumfragen innerhalb der Schwankungsbreite richtig prognostiziert wurden.
Fazit: Die Umfragewerte liegen zu 82 % innerhalb der Schwankungsbreite

Vergleich Wahlumfragen vs. Wahlergebnis (2013-2016)

Quelle und Analyse: Dieter Zirnig, (c) neuwal.com
Stand: 14.05.2016
Details:
https://docs.google.com/spreadsheets/d/1cyPtJPp49i8QHhVczBcYlt6l9zid7By83xc3ETxNE6w/edit?usp=sharing

Tage
publiziert in oder
Wahl

innerhalb

vor

Abweichun

Schwankun

der

Institut

Auftraggeber

Quelle

g (in %)

Wahl

Gallup

STERREICH

STERREICH

400

4,30

83,3

2015

OGM

Kurier

Kurier

811

5,00

83,3

NRW13

Gallup

neos.eu

neuwal.com

1800

5,20

100

2015

GMK

Mein Bezirk

400

5,50

100

10

NRW13

OGM

Kurier

Kurier

780

6,00

100

Unique Research

profil

profil

500

6,20

100

Gallup

STERREICH

STERREICH

400

6,20

100

Wien 2015

Unique Research

Kronen Zeitung

Kronen Zeitung

1000

6,80

83,33

15

Wien 2015

OGM

Kurier

Kurier

793

6,90

100

Karmasin

Heute

Heute

800

7,20

100

Unique Research

Heute

Heute

500

7,70

100

20

Obersterreich
2015
Obersterreich

Obersterreich

EU Wahl 2014
NRW13

NRW13
Obersterreich
2015

Brauchen mehr Qualitt bei Wahlumfragen!

Steiermark
2015

OGM

Kleine Zeitung

Kleine Zeitung

500

8,10

75

21

EU Wahl 2014

Hajek

ATV

ATV

1000

8,20

66,67

10

NRW13

Hajek

ATV

ATV

1000

8,20

85,71

10

Unique Research

Heute

Heute

800

8,80

83,33

EU Wahl 2014

Gallup

STERREICH

STERREICH

400

9,20

83,33

15

Wien 2015

Gallup

STERREICH

STERREICH

400

9,20

100

21

Market

Der Standard

Der Standard

401

9,50

83,33

13

Gallup

STERREICH

STERREICH

400

9,70

85,71

37

Edwin Berndt

VN

VN

504

10,00

66,67

15

Wien 2015

Gallup

STERREICH

STERREICH

400

10,00

100

EU Wahl 2014

OGM

Kurier

Kurier

807

10,20

83,33

14

NRW13

meinungsraum.at

neos.eu

neos.eu

700

10,20

100

10

NRW13

Karmasin

profil

profil

500

10,20

100

15

Unique Research

Heute

Heute

404

10,40

100

15

Market

Der Standard

Der Standard

405

10,40

100

OGM

Kurier

Kurier

502

11,00

75

2015

Spectra

ON

ON

500

11,30

83,33

14

NRW13

Spectra

ON

ON

11,60

100

15

NRW13

Market

Der Standard

Der Standard

1000

11,60

85,71

NRW13

Market

Der Standard

Der Standard

400

11,80

100

14

meinungsraum.at

News

News

623

12,00

83,33

15

GMK

Mein Bezirk

Mein Bezirk

500

12,13

NRW13

Gallup

STERREICH

STERREICH

400

12,20

100

16

NRW13

Gallup

STERREICH

STERREICH

400

12,20

100

23

EU Wahl 2014

Gallup

STERREICH

STERREICH

400

12,40

100

10

OGM

Kleine Zeitung

Kleine Zeitung

305

12,40

66,67

17

Humaninstitut

Eigenauftrag

N/A

800

12,70

100

12

Wien 2015

Obersterreich
2015
Burgenland
2015
Vorarlberg
2014

EU Wahl 2014
Wien 2015
Steiermark
2015
Obersterreich

Vorarlberg
2014
Tirol 2013

11

Klagenfurt
GRW 2015
NRW13

Brauchen mehr Qualitt bei Wahlumfragen!

Steiermark
2015

Gallup

STERREICH

STERREICH

400

13,10

75

16

IMAS

Kronen Zeitung

Kronen Zeitung

750

13,30

100

23

Spectra

ON

ON

700

13,50

100

15

OGM

Kleine Zeitung

Kleine Zeitung

300

13,70

66,67

17

meinungsraum.at

News

News

800

14,40

83,33

17

M+R

Eigenauftrag

Eigenauftrag

800

16,20

62,5

21

Karmasin

profil

profil

400

16,30

10

Tiroler

Tiroler

Obersterreich
2015
NRW13
Villach 2015
EU Wahl 2014
Steiermark
2015
Krnten 2013

Tirol 2013

Karmasin

Tageszeitung

Tageszeitung

500

16,39

20

Tirol 2013

Gallup

STERREICH

STERREICH

300

16,57

16

Salzburg 2013

meinungsraum.at

NEWS

NEWS

400

17,60

18

Krnten 2013

Market

Der Standard

Der Standard

402

18,10

20

Krnten 2013

Gallup

STERREICH

STERREICH

200

18,30

EU Wahl 2014

Market

Der Standard

Der Standard

404

18,40

Salzburg 2013

Gallup

STERREICH

STERREICH

300

19,60

Krnten 2013

Gallup

STERREICH

STERREICH

200

20,10

21

GRW 2015

IMAS

Krone

Krone

600

20,20

Salzburg 2013

OGM

Kurier

Kurier

404

20,40

2015

Market

Der Standard

Der Standard

388

21,10

75

16

BPW16

Hajek

ATV

ATV

700

22,20

50

16

BPW16

OGM

Kurier

Kurier

889

22,40

33,33

BPW16

Gallup

STERREICH

STERREICH

400

22,40

50

11

BPW16

Gallup

STERREICH

STERREICH

400

24,20

66,67

17

BPW16

OGM

BLZ

BLZ

1013

25,80

66,67

17

BPW16

Unique Research

Heute

Heute

429

26,00

66,67

17

BPW16

meinungsraum.at

meinungsraum.at

meinungsraum.at

312

30,40

50

GRW 2015

Humaninstitut

Eigenauftrag

APA

450

31,10

33,33

20

Krnten 2013

Humaninstitut

Eigenauftrag

650

44,10

50

11

Klagenfurt
66,67

16
14

Steiermark

Klagenfurt

Brauchen mehr Qualitt bei Wahlumfragen!

15