Gute Prognosen erkennt man immer erst hinterher. Mit der Verkündung des vorläufigen amtlichen Endergebnisses können wir nun endlich bewerten, wie gut und präzise unsere Prognosen waren. Für die Bundestagswahl haben wir nicht nur die Zweitstimmenanteile der Parteien sowie die daraus resultierende Wahrscheinlichkeiten für bestimmte Szenarien berechnet (unter anderem, welche Partei drittstärkste Kraft wird), sondern auch eine Prognose über den Ausgang in den 299 Wahlkreisen abgegeben. Auch für die Größe des zukünftigen Bundestags hatten wir eine Prognose abgegeben. Wie gut waren die Prognosen von zweitstimme.org?

Wie gut war unsere Zweitstimmen-Vorhersage?

Zuerst die nackten Zahlen: Die Union erreichte 32,9% der Zweitstimmen (die zweitstimme.org-Vorhersage vom 22.9.2017: 35,7%), die SPD 20,5% (zweitstimme.org: 22,4%), die AfD 12,6% (zweitstimme.org: 10,8%), die FDP 10,7% (zweitstimme.org: 9,3%), die Linke 9,2% (zweitstimme.org: 9,5%), B’90/Die Grünen 8,9% (zweitstimme.org: 7,8%), Andere 5,0% (zweitstimme.org: 4,5%). Im Mittel über diese Vorhersagen lagen wir also 1,4 Prozentpunkte daneben. Für Wahlvorhersagen ist das ein sehr guter Wert. Wie die letzten Umfragen vor der Wahl haben auch unsere Vorhersagen sowohl den Absturz der Union und der SPD als auch die Zugewinne der AfD unterschätzt.

Überraschung? Ja, aber…

Sollten wir deshalb überrascht sein? Nicht unbedingt, wenn man einen weiteren wichtigen Aspekt unserer Vorhersagen ernst nimmt: Prognosen sind immer mit Unsicherheit behaftet, und wir haben diese Unsicherheit in der Grafik noch einmal in den Bändern rund um unsere spezifischen Vorhersagen dargestellt. Diese Bänder geben an, in welchem Bereich wir den tatsächlichen Wert mit einer Wahrscheinlichkeit von 83% vermuten. Das heißt, dass das tatsächliche Wahlergebnis nicht in diesem Bereich liegt, ist so wahrscheinlich wie bei einem Würfelwurf eine 6 zu würfeln - nicht sehr wahrscheinlich, aber doch möglich. Das unterscheidet unsere Vorhersagen von der unkritischen Annahme, dass Umfrageerebnisse (und die damit kommunizierte Unsicherheit) das Wahlergebnis nicht nur genau, sondern auch mit wenig Unsicherheit vorhersagen lassen. Wir haben dagegen in unseren Prognosen immer den Raum für Überraschungen (mit einer gewissen Wahrscheinlichkeit und in einem bestimmten Bereich) gesehen und diesen Unsicherheitsbereich auch quantifiziert und kommuniziert.

Für die Beurteilung von Wahlvorhersagen kommt es deshalb auch darauf an, ob die jeweilige Vorhersage mit einer angemessenen Unsicherheit kommuniziert wurde - in unserem Fall beurteilen wir also, ob sich die Balken mit den tatsächlichen Wahlergebnissen mit den Balken unserer Prognose überschneiden. Und das ist tatsächlich für alle Parteien der Fall, denn alle tatsächlichen Wahlergebnisse befinden sich im Bereich innerhalb der jeweiligen Bänder.

Wie gut waren wir bei der Vorhersage von Ereignissen?

Zu den anderen Wahrheiten des Wahlabends gehören auch folgende Ergebnisse:

1. Dem neuen Bundestag werden 7 Parteien angehören - CDU, CSU, SPD, AfD, FDP, Die Linke und B’90/Die Grünen. (Wahrscheinlichkeit in unserer finalen Prognose am 22.9. 99%)
2. Die Union bleibt stärkste Fraktion im Bundestag. (Wahrscheinlichkeit 96%)
3. Die AfD ist drittstärkste Partei geworden. (Wahrscheinlichkeit 55%)
4. FDP (Wahrscheinlichkeit >99%), AfD (Wahrscheinlichkeit >99%), Linke (Wahrscheinlichkeit 70%) und Grüne (Wahrscheinlichkeit 33%) haben Stimmen dazugewonnen, SPD (Wahrscheinlichkeit 83%) und CDU/CSU (Wahrscheinlichkeit 89%) massiv Stimmen verloren.
5. Nur zwei rechnerische Koalitionsoptionen scheinen prinzipiell möglich: Eine Fortsetzung der Großen Koalition (der die SPD aber schon eine Absage erteilt hat) (Wahrscheinlichkeit >99%) und eine erstmalige Auflage des Jamaika-Bündnisses (Wahrscheinlichkeit 88%) auf Bundesebene.
6. Der Bundestag ist zum GröBaZ geworden, also zum größten Bundestag aller Zeiten. Die liegt an der extrem hohen Zahl an Überhangmandaten, die vor allem durch das schlechte Zweitstimmenergebnis der CSU in Bayern, aber auch durch ein ähnlich schwaches Abschneiden der CDU in anderen Bundesländern - bei gleichzeitiger Dominanz bei den Ersttimmen - erzeugt wurden. (Wahrscheinlichkeit, dass der Bundestag größer als 2013 wird 97%)

Wir haben nahezu alle dieser Ergebnisse bereits im Vorhinein vorhergesagt. Lediglich die Möglichkeit von prozentualen Zugewinnen bei den Grünen hatten wir zuletzt mit 33% Wahrscheinlichkeit als nicht allzu wahrscheinlich prognostiziert.

Wie gut waren wir mit unserer Erststimmen-Vorhersage?

Des Weiteren haben wir ebenfalls den Ausgang in den 299 Wahlkreise vorhersagt, jedoch abgestuft mit welcher Sicherheit wir die Wahlkreis Gewinner prognostizieren können. In 130 von 133 von uns als “Sicher” eingestuften Wahlkreisen haben wir den Gewinner korrekt vorhersagt und in 52 von 52 der als “Wahrscheinlich” eingestuften. In den 72 Wahlkreisen, für welche wir eine “Tendenz” hatten, lagen wir in 66 Fällen richtig. Die verbliebenen 42 Wahlkreise haben wir als “Offen” eingeschätzt. Damit haben wir insgesamt 248 von 257 vorhergesagten Wahlkreisen korrekt vorhergesagt das ist eine Treffergenauigkeit von 96% .

Einschätzung der Wahlkreise	Anteil korrekt vorhergesagt
Sicher	130 von 133
Wahrscheinlich	52 von 52
Tendenz	66 von 72
Offen	42

Auch unsere Einteilung der Wahlkreise in “Sicher”, “Wahrscheinlich”, “Tendenz” und “Offen”, erweist sich als sinnvoll. Der mittlere Abstand zwischen Gewinner und Erstunterlegenem in Prozentpunkten lag in als “Sicher” eingeschätzten Wahlkreisen bei 21,4 Prozentpunkten, in als “Wahrscheinlich” eingeschätzten Wahlkreisen bei 9,3 Prozentpunkten, in Wahlkreisen mit einer “Tendenz” bei 6,7 Prozentpunkten und in “Offenen” Wahlkreisen bei 4,0 Prozentpunkten.

Wie gut waren wir mit unserer Vorhersage der Sitzverteilung?

Aus der Kombination unserer Zweitstimmen-Vorhersage mit der Vorhersage der Direktmandate haben wir auch eine Prognose über die Sitzverteilung erstellt. Wir haben prognostiziert, dass in 5 von 6 Fällen der Bundestag eine Größe von 646 bis 773 Mandaten haben wird. Mit einer Wahrscheinlichkeit von 97% haben wir einen größeren Bundestag als die 631 Sitze der letzten Legislaturperiode vorhergesagt. Wir haben es auch als durchaus möglich eingeschätzt, dass der nächste Bundestag sogar mindestens 700 Sitze umfassen wird, dies bezifferten wir mit einer Wahrscheinlichkeit von 45%. Der neue Bundestag hat nun 709 Sitze, unsere Vorhersage lag also auch hier richtig.

Zuletzt: Und es gab doch Überraschungen.

Trotzdem gab es auch für uns überraschende Ergebnisse. So haben wir zum Beispiel die AfD in keinem Wahlkreis auch nur in der Nähe eines Direktmandats gesehen (wie alle anderen Vorhersagen der Direktmandate übrigens auch). Hier lagen wir also in mindestens drei Wahlkreisen richtig daneben. Genauso zeigt der Blick auf die Sitzverteilung, dass wir die AfD in den neuen Bundesländern tendenziell unterschätzt haben und die CDU in den alten Bundesländern tendenziell überschätzt haben. Das ist aber kein Grund für uns den Kopf in den Sand zu stecken. Wir wollen aus diesen Überraschungen lernen und so unser Modell für zukünftige Wahlen verbessern. Wir werden dann auch hier an dieser Stelle detailliert auf diese Überraschungen und unsere Erklärungsansätze für diese eingehen.