Fussball-WM 2018 - Konnte unsere INWT Prognose punkten?
Nachdem die INWT Statistics Prognose für die Bundestagswahl 2017 für uns ein voller Erfolg war, wollten wir es auch in diesem Jahr wieder wissen. Und zwar ganz genau. Wer gewinnt die FIFA WM 2018? Wer sind die Gruppensieger? Und wie viele Tore wird Deutschland gegen seinen nächsten Gegner erzielen? Diese und viele weitere Fragen beschäftigten uns im Vorfeld der Weltmeisterschaft. Wir entwickelten ein Data Science-Modell um Antworten auf diese Fragen zu liefern. Dieses Modell nutzt als Datengrundlage die Ergebnisse der Qualifikations- und Freundschaftsspiele aller teilnehmenden Fußballteams der letzten zwei Jahre, die FIFA-Weltrangliste sowie Buchmacherquoten. Wir haben die Fußball-Weltmeisterschaft 2018 mit Hilfe unseres Data Science-Modelles 10.000 Mal simuliert und so die Wahrscheinlichkeiten für den nächsten Fußball-Weltmeister und damit die WM-Favoriten bestimmt.
Nun, da Frankreich als Weltmeister feststeht, und es das deutsche Team nicht wie erhofft zum Doppelsieg geschafft hat, wollen wir ein Fazit ziehen. Wie hat unsere Prognose anhand der der tatsächlichen Ergebnisse der WM, im Vergleich mit dem Tierorakel Achilles und zu anderen statistischen Prognosen abgeschnitten?
Die INWT Fußball-WM-Prognose 2018 – Sieg nach Punkten oder bittere Niederlage?
Nachdem das berühmte Orakel der Fußball-Weltmeisterschaft 2010 – die Krake Paul – in Rente ging (R.I.P.), wurde er bei der diesjährigen WM von einer weißen, tauben Katze namens Achilles aus der Eremitage in St. Petersburg abgelöst. Achilles gab seine Vorhersage bekannt, indem er sich für eines von zwei mit Team-Flaggen versehenen Schälchen mit Katzenfutter entschied. Damit sagte die weiße Katze voraus, wer seiner Meinung nach gewinnen wird. Unser Prognose-Modell berechnet darüber hinaus für jedes mögliche Spielergebnis Wahrscheinlichkeiten. So konnte man sehen, wie wahrscheinlich ein bestimmtes Spielergebnis war, z.B., dass Deutschland Weltmeister wird. Zusätzlich zeigten wir die wahrscheinlichsten Torverhältnisse für jedes Spiel der deutschen Mannschaft.
Data Science vs. Tierorakel Achilles – Wer geht als Sieger vom Platz?
Was den Vergleich zwischen der Prognosegüte der Fußball-WM-Prognose von Achilles und unserer INWT Prognose erheblich erschwert ist die Tatsache, dass kaum Daten zu Achilles‘ Vorhersagen im Internet zu finden sind. Nach einiger Recherche konnten wir aber Daten zu ein paar Spielen finden. Um für diese Spiele einen Vergleich zu ziehen, werden wir die Wahrscheinlichkeiten unserer Prognose zu absoluten Aussagen runden. Und hier ist das Ergebnis der Prognosen (in grüner Schrift die korrekten Prognosen, rot die inkorrekten Prognosen):
5 : 4 für Data Science!
Die Fußball WM Prognose von INWT im Vergleich zu anderen Prognosen
Neben dem Tierorakel Achilles standen aber noch weitere „Konkurrenten“ mit im Ring. Wie hat INWT also im Vergleich zu diesen anderen Prognosen abgeschnitten? Wenn man sich unsere Komplettprognose für alle Teams vor dem Anpfiff der WM vom 14. Juni ansieht, so lagen wir mit dem Finale Deutschland gegen Brasilien mit Deutschland als Gewinner nicht ganz richtig:
Nicht nur gewann Deutschland nicht die Fußball-WM gegen Brasilien – es kam auch zu einem sehr unwahrscheinlichen und noch nie dagewesenen Vorrundenaus für die deutsche Mannschaft. Tatsächlich sind Fußballergebnisse sogar schwerer vorhersagbar als Wahlergebnisse. Fußball ist ein Spiel, bei dem Emotionen in Teams genauso dazugehören wie auf den Zuschauertribünen und in den Wettbüros, bei dem die Tagesform, die Dynamik und spontane Ereignisse im Stadion und somit der Zufall eine große Rolle spielen, bei dem aus den historischen Daten und der Spielerstärke nicht alles determiniert ist. Die Performance des deutschen Teams mit seinen guten Leistungen in der Vergangenheit und starken Einzelspielern und seinem schlechten Abschneiden in der WM ist dafür ein gutes Beispiel. Das ist einerseits genau das Tolle am Fußball, das macht die Spannung aus. Und selten gab es so viele Überraschungen bei einer Fußball-WM wie in diesem Jahr.
Andererseits ist es aus genau diesem Grund beim Fußball recht schwierig, eine hohe Prognosegüte zu erreichen und alle WM-Finalisten und den WM-Champion korrekt vorherzusagen; dies hat keine der uns bekannten Prognosen geschafft. Um uns dennoch ein umfassendes Bild der Prognosegüte verschiedener statistischer Prognosen zu machen, evaluieren wir die Prognosen für alle tatsächlich eingetretenen Teamergebnisse. Ein übliches Vorgehen ist es, sich hierfür die Wahrscheinlichkeiten für das tatsächlich eingetretene Ergebnis des jeweiligen Teams, also die Phase, in der ein Fußballteam ausgeschieden ist, anzusehen. Je höher diese Wahrscheinlichkeiten, desto besser ist natürlich das Modell. Aus der obigen Tabelle, die in der gleichen Form auch von den meisten Konkurrenzprognosen veröffentlicht wurde, kann man diese Wahrscheinlichkeiten leicht ableiten. Dazu mehrere Beispiele:
- Frankreich wurde WM-Champion und hat von uns dafür eine Wahrscheinlichkeit von 10,5% bekommen.
- Kroatien hat das Finale verloren und hat dafür von uns die Wahrscheinlichkeit von 4,5% (Wahrscheinlichkeit ins Finale zu kommen) - 1,6% (Wahrscheinlichkeit Weltmeister zu werden) = 2,9%
- Brasilien ist im Viertelfinale ausgeschieden und hat von uns 68,8% (Wahrscheinlichkeit in das Viertelfinale zu kommen) - 48,4% = 20,4% bekommen
- Deutschland ist in der Gruppenphase ausgeschieden und hat dafür von uns die Wahr-scheinlichkeit 100% – 93,5% = 6,5% bekommen.
Mit den folgenden vier statistischen Prognosen haben wir unser Modell verglichen.
- Prognose FiveThirtyEight von Nate Silver
- Prognose Achim Zeileis (Uni Innsbruck)
- Prognose UBS
- Prognose Groll, Ley und Schauberger
| Tatsächliches Teamergebnis | Prognose INWT | Prognose FiveThirtyEight | Prognose Zeileis | Prognose UBS | Prognose Groll et al. |
|---|---|---|---|---|---|
| Frankreich | 10,5% | 8,0% | 12,3% | 7,3% | 11,2% |
| Brasilien | 20,4% | 20,0% | 19,2% | 15,4% | 17,5% |
| Spanien | 23,2% | 16,0% | 25,5% | 18,0% | 15,3% |
| Deutschland | 6,5% | 10,0% | 10,9% | 11,4% | 13,5% |
| England | 10,7% | 13,0% | 11,2% | 12,7% | 14,2% |
| Belgien | 13,8% | 13,0% | 12,7% | 12,2% | 15,3% |
| Argentinien | 30,0% | 28,0% | 30,1% | 29,3% | 31,1% |
| Portugal | 26,4% | 22,0% | 28,2% | 26,8% | 21,4% |
| Uruguay | 21,2% | 16,0% | 17,3% | 16,2% | 24,0% |
| Schweiz | 34,5% | 30,0% | 28,1% | 36,4% | 28,3% |
| Mexiko | 33,4% | 31,0% | 27,8% | 31,8% | 27,6% |
| Russland | 16,2% | 15,0% | 16,1% | 16,1% | 8,1% |
| Polen | 33,5% | 45,0% | 42,1% | 35,9% | 39,4% |
| Kolumbien | 40,1% | 37,0% | 33,7% | 36,1% | 46,1% |
| Schweden | 30,6% | 33,0% | 28,4% | 22,6% | 32,3% |
| Iran | 86,2% | 83,0% | 73,5% | 69,2% | 86,2% |
| Nigeria | 76,5% | 70,0% | 58,8% | 58,2% | 84,2% |
| Peru | 59,4% | 59,0% | 68,3% | 58,4% | 60,8% |
| Serbien | 66,7% | 59,0% | 61,0% | 68,5% | 63,8% |
| Senegal | 57,7% | 67,0% | 62,1% | 57,3% | 60,3% |
| Island | 72,6% | 71,0% | 69,1% | 62,7% | 63,4% |
| Kroatien | 2,9% | 4,0% | 3,7% | 0,5% | 3,8% |
| Südkorea | 85,5% | 85,0% | 73,2% | 76,9% | 82,1% |
| Dänemark | 30,8% | 33,0% | 27,8% | 14,7% | 32,9% |
| Australien | 81,2% | 82,0% | 74,8% | 66,5% | 83,8% |
| Marokko | 79,5% | 72,0% | 72,7% | 81,2% | 69,7% |
| Costa Rica | 79,8% | 83,0% | 77,4% | 80,8% | 78,6% |
| Japan | 77,0% | 57,0% | 63,7% | 62,8% | 79,5% |
| Ägypten | 65,3% | 65,0% | 60,7% | 71,2% | 54,5% |
| Tunesien | 77,0% | 84,0% | 76,5% | 78,1% | 77,2% |
| Saudi-Arabien | 87,4% | 84,0% | 80,8% | 78,5% | 82,5% |
| Panama | 92,7% | 88,0% | 76,8% | 91,3% | 88,9% |
| Mittelwert | 47,8% | 46,3% | 44,5% | 43,9% | 46,8% |
Für bestimmte Fußballteams war mal das eine, mal das andere statistische Prognosemodell am besten. Insgesamt - über alle Teams hinweg – hat jedoch erfreulicherweise tatsächlich unsere Prognose die höchste mittlere Wahrscheinlichkeit für das tatsächliche Teamergebnis einer Fußballmannschaft im Verlauf der WM geliefert. Die Kollegen Groll, Ley und Schauberger folgen gleich dahinter mit einem Prozentpunkt Unterschied. Schlusslicht ist die Prognose der UBS mit respektablen 44% mittlerer Wahrscheinlichkeit für die tatsächlichen Teamergebnisse.
Die Annahme, dass alle Mannschaften gleich stark wären hätte im obigen Vergleich nur zu einer mittleren Wahrscheinlichkeit von 33 % geführt. Unsere Prognose lag mit knapp 48% 15 Prozentpunkte über diesem Wert.
Verbesserungspotential
Den konkreten Weltmeister in einer Fußball-WM vorherzusagen ist aufgrund des hohen Einflusses menschlicher Emotionen und Tagesleistung natürlich ein schwieriges Unterfangen. Insgesamt und auch im Vergleich mit anderen Prognosen aus der Tier- und Data Science-Welt können wir allerdings zufrieden sein. Wir und unsere Konkurrenten haben als höchste Wahrscheinlichkeiten circa 20% für den wahrscheinlichsten Weltmeister angegeben – es ist also deutlich wahrscheinlicher, dass eine solche Vorhersage falsch statt richtig liegt. Dennoch lagen unsere Prognosen als auch die Prognosen der Konkurrenten bis auf wenige Ausnahmen wie Deutschland sogar bei der überraschungsreichen Fußball WM 2018 tendenziell richtig.
Verändern würden wir beim nächsten Mal die Datenbasis. So würden wir beim nächsten Mal auf die Inklusion des FIFA-Rankings verzichten. Das FIFA-Ranking basiert ausschließlich auf den vergangenen Freundschafts-, Qualifikations-, Kontinentalmeisterschafts-, Confed-Cup- sowie WM-Spielen, welche aber auch schon durch unser Modell, das noch einige weitere Faktoren berücksichtigt, genutzt werden. Ohne das FIFA-Ranking wäre unsere Prognose retrospektiv betrachtet noch etwas besser ausgefallen – Deutschland hätte etwa eine geringere Chance auf den Titel bekommen.
Wie geht es weiter?
Wir sind ein sportbegeistertes Team, das sich nicht nur in der Freizeit, sondern auch am Arbeitsplatz mit Sport und der Prognose von Spielergebnissen auseinandersetzt. Es hat uns entsprechend viel Spaß gemacht, so ein großes Event wie die Fußball-Weltmeisterschaft 2018 zu begleiten. Mit den Learnings aus diesem Jahr wird es vielleicht eine erneute WM Prognose geben, wenn die Frauen im Sommer 2019 um den Weltmeistertitel kämpfen. Und bei einer Sache sind wir uns ganz sicher: im nächsten Jahr wird Deutschland länger im Spiel bleiben als bei der diesjährigen WM - und vielleicht ja sogar die USA von ihrem Thron katapultieren...