Die Umfrageinstitute — wer dahintersteht und wer am nächsten dran lag

Regelmäßig veröffentlichen in Deutschland INSA, Forsa, Infratest dimap, Allensbach, die Forschungsgruppe Wahlen, Verian (früher Kantar/Emnid), YouGov, GMS, Ipsos, pollytix und Civey Sonntagsfragen. Wer hinter jedem Haus steht — Gründung, Eigentümer, Methode, Fallzahl —, steht ausführlich auf der Seite Umfrageinstitute im Porträt.

Fast alle veröffentlichten Umfragen entstehen im Auftrag von Medien: die Forschungsgruppe Wahlen für das ZDF, Infratest dimap für die ARD, INSA unter anderem für die Bild, Allensbach für die FAZ. Das ist kein Makel, sondern die übliche Finanzierung — Meinungsforschung kostet Geld, und ohne Auftraggeber gäbe es die Zahlen nicht.

Entscheidend ist die Unterscheidung zwischen Medien-Auftrag und Partei-Auftrag. Umfragen, die eine Partei selbst bestellt, werden meist nicht veröffentlicht — und wenn doch, selten die ungünstigen. Wer eine Umfrage liest, sollte den Auftraggeber kennen; auf PolitikCheck steht er bei jeder Erhebung dabei.

Legt man zwei Umfragen vom selben Tag nebeneinander, findet man regelmäßig Unterschiede von zwei oder drei Prozentpunkten. Das wirkt wie ein Widerspruch, ist aber meist keiner: Die Institute messen dasselbe mit verschiedenen Werkzeugen.

Der größte Unterschied ist die Erhebungsart. Wer telefonisch erreichbar ist, unterscheidet sich systematisch von dem, der sich für ein Online-Panel angemeldet hat — nach Alter, Beruf und politischem Interesse. Dazu kommt die Gewichtung: Keine Stichprobe bildet die Bevölkerung von allein korrekt ab, also rechnen die Institute sie an bekannte Größen heran. Wie genau, ist Betriebsgeheimnis — und ein wesentlicher Grund für die Unterschiede.

Und schließlich der statistische Fehlerbereich: Bei rund 1.000 Befragten liegt er bei etwa drei Prozentpunkten für große Parteien. Zwei Institute, die 24 und 21 Prozent messen, können also beide recht haben. Ausführlich steht das in unserem Artikel zur Sonntagsfrage.

Über viele Wahlen hinweg zeigt sich bei manchen Instituten ein Muster: Sie weisen eine bestimmte Partei im Mittel etwas höher oder niedriger aus als das spätere amtliche Ergebnis. Dieses wiederkehrende Muster heißt House-Effect.

Wichtig ist die Unterscheidung zwischen Rauschen und Muster. Ein einzelner Ausschlag ist normal und sagt nichts. Erst wenn ein Haus dieselbe Partei über viele Wahlen hinweg in dieselbe Richtung verschätzt, wird daraus ein belegbarer Effekt. Auf der Seite Genauigkeit zeigen wir das je Institut als Abweichungsbalken je Partei — und auch das ist eine Beschreibung, keine Wertung.

Wie gut ein Institut ist, lässt sich nicht an einer laufenden Umfrage ablesen, sondern nur im Rückblick: Man vergleicht die letzte Umfrage jedes Instituts vor einer Wahl mit dem amtlichen Endergebnis und misst die Abweichung. Genau das rechnen wir über rund 95 Bundestags-, Landtags- und Europawahlen.

Dabei zeigt sich: Es gibt nicht „das beste" Institut. Ein Haus kann beim Durchschnittsfehler vorn liegen und trotzdem häufiger die Mehrheitsverhältnisse falsch anzeigen; ein anderes trifft die stärkste Kraft zuverlässig, streut aber stärker. Deshalb stellen wir mehrere Maße nebeneinander — letzte Umfrage, Wahlkampf-Schnitt, „stärkste Kraft richtig", Fehler bei kleinen Parteien — statt einer einzigen Rangliste.

Ein Institut mit nur wenigen ausgewerteten Wahlen sollte man ohnehin nicht gegen eines mit über neunzig stellen — ein paar zufällig gute Treffer sagen wenig über die dauerhafte Treffsicherheit.

Interessant ist nicht nur, wo die Institute heute stehen, sondern wie sie eine Partei über die Zeit gesehen haben. Im Reiter Trend je Institut zeigt eine Linie je Haus, wie es eine gewählte Partei über die Quartale eingeschätzt hat.

Dort wird zweierlei sichtbar: Wo die Linien auseinanderlaufen, sehen die Institute dieselbe Lage unterschiedlich — meist bei jungen oder kleinen Parteien, für die noch wenig Erfahrung mit dem richtigen Gewichtungsverfahren vorliegt. Wo sie zusammenlaufen, sind sich die Häuser einig, und der Wert ist entsprechend belastbar.

Aus alldem folgt eine einfache Leseregel: Einer einzelnen Umfrage sollte man nie folgen. Aussagekräftig wird erst der Durchschnitt mehrerer Institute über mehrere Wochen — genau deshalb bildet PolitikCheck im Umfrage-Aggregat den gewichteten Schnitt statt einer einzelnen Zahl.

Zweitens: Eine Bewegung von ein, zwei Punkten zwischen zwei Erhebungen ist meist Rauschen, kein Trend. Ein Trend wird erst sichtbar, wenn mehrere Häuser über mehrere Wochen in dieselbe Richtung zeigen.

Und drittens: Umfragen sind keine Prognose. Sie messen eine Stimmung von heute — nicht, wie die Wahl ausgeht. Zwischen beidem liegen die Wahlbeteiligung und die vielen, die sich erst in den letzten Tagen entscheiden.