Sieben große Sprachmodelle spazierten in eine Weltmeisterschaft. Nein, das ist nicht die Vorlage für einen Witz , es handelt sich um ein tatsächliches Benchmark-Projekt, das jedes der 104 Spiele des Turniers 2026 durch identische Prompts laufen ließ und dabei eingefrorene Daten verwendete, damit niemand behaupten konnte, die Modelle hätten heimlich einen Blick auf die Ergebnisse geworfen. Man sollte es sich als kontrolliertes Experiment vorstellen, nicht als Kneipendiskussion.
Die Schlagzeilenzahl sieht ordentlich aus. Die Trefferquoten kletterten auf 70 %, was sich nach jener Art von Zahl anhört, die man einrahmen und über seinen Schreibtisch hängen möchte.
Gräbt man jedoch eine Schicht tiefer, erzählen die Brier-Scores , eine Kalibrierungskennzahl, die übermäßiges Selbstvertrauen bestraft , eine leisere, weniger schmeichelhafte Geschichte. Den richtigen Gewinner zu wählen und die Wahrscheinlichkeit dieses Ergebnisses korrekt einzupreisen, sind zwei wirklich unterschiedliche Fähigkeiten, und diese Modelle bewiesen größtenteils nur eine davon.
Die Wett-Simulation war der Punkt, an dem die Dinge aufschlussreich wurden, manchmal auf schmerzhafte Weise. Jedes Modell beendete die Saison in den roten Zahlen. Einige verloren Geld in einem Tempo, das ein Roulette-Rad umsichtig aussehen ließe. Der Schuldige war nicht so sehr schlechte Vorhersagen, sondern fehlgeleitetes Selbstvertrauen , die Modelle setzten durchweg so, als wären sie sicherer, als es die Beweislage rechtfertigte.
Diese Lücke ist es wert, dabei zu verweilen. Die Lösung besteht nicht einfach in mehr Daten oder einem größeren Modell. Was fehlt, ist ein Kalibrierungstraining, das übermäßiges Selbstvertrauen so bestraft, wie es ein guter Analyst tun würde , nicht nur die Frage stellend „Wer gewinnt?“, sondern „Wie sicher sollte ich mir tatsächlich sein, und was kostet mich der Irrtum?“ Bis Projekte wie dieses diese Disziplin von Anfang an in die Bewertungskriterien einbauen, wird die 70-%-Schlagzeile weiterhin Ergebnisse schönfärben, die den Kontakt mit einem Wettbüro nicht überstehen.
Was ist die KI-Weltmeisterschafts-Vorhersage-Benchmark?
Bevor wir anfangen, Konfetti auf Algorithmen zu werfen, sollten wir ehrlich sein, was dieser Benchmark eigentlich ist und was er zu erreichen versucht.
Im Kern handelt es sich um einen unkomplizierten Reproduzierbarkeitstest. Mehreren großen Sprachmodellen werden identische Prompts und derselbe eingefrorene Datenschnappschuss vorgelegt, ohne Zugriff auf Websuche, was der entscheidende Punkt ist. Das Abschneiden der Live-Suche verhindert, dass ein Modell heimlich auf aktualisierte Statistiken oder aktuelle Verletzungsberichte schielt , das KI-Äquivalent zum Einschmuggeln eines Schummelzettels in eine Prüfung. Jede rohe JSON-Ausgabe wird genau so gespeichert und validiert, wie sie erzeugt wurde. Keine nachträglichen Bearbeitungen, kein bequemes Runden.
Die Weltmeisterschaft 2026 ist das Thema, mit Vorhersagen, die von einzelnen Spielergebnissen bis zum letztendlichen Champion reichen. Die Wahl eines Turniers mit 48 Mannschaften als Testfall ist ehrlich gesagt klug, denn das erweiterte Turnierschema bedeutet, dass es erheblich mehr Raum gibt, in dem ein Modell spektakulär falsch liegen kann, was dem Benchmark echten diagnostischen Wert verleiht. Ein Modell, das bei einem Turnier mit 32 Mannschaften richtig vorhersagt, könnte sich einfach auf historisches Gewicht stützen. Mehr Spiele, mehr Exposition. Tatsächlich hat die groß angelegte Demonstration hinter diesem Projekt sieben verschiedene LLMs dazu gebracht, Vorhersagen für alle 104 Spiele und 15 turnierbezogene Fragen zu erstellen.
Was der Benchmark noch nicht adressiert, ist die Konfidenzkalibrierung. Zu wissen, dass ein Modell Brasilien als Sieger auswählte, sagt weniger aus, als zu wissen, wie sicher es sich dabei angeblich war und ob diese Sicherheit mit den tatsächlichen Ergebnissen korrelierte. Die Veröffentlichung von Kalibrierungswerten neben der reinen Genauigkeit würde die Methodik erheblich schärfen.
Die öffentliche Struktur bedeutet, dass jeder die Methodik überprüfen kann, was wirklich nützlich ist. Ergebnisse, die auf verborgenen Anpassungen beruhen, sind nichts weiter als Pressemitteilungen mit Extraschritten.
Welche KI-Modelle haben Spielausgänge am besten vorhergesagt?
Vergessen wir für einen Moment die Bestenliste, denn die Zahlen hier verdienen mehr als einen flüchtigen Blick auf denjenigen, der ganz oben gelandet ist.
Claude Sonnet belegte bei TuringStats den ersten Platz mit einer Trefferquote von 47 % und einem Brier-Score von nahezu 0,63. Diese zweite Zahl ist diejenige, die man sich genauer ansehen sollte. Ein starker Brier-Score zeigt, dass das Modell einem mitteilt, *wie sicher* es sich ist, nicht nur, was es für wahrscheinlich hält , und dieser Unterschied ist enorm wichtig, wenn man entscheiden muss, ob man einer Vorhersage vor einer K.-o.-Runde der Weltmeisterschaft vertrauen soll. In 47 % der Fälle richtig zu liegen, klingt bescheiden, bis man erkennt, dass die meisten Menschen in den Pressekabinen nicht wesentlich besser abschneiden.
DeepSeek und Gemini zeigten in bestimmten Auswertungen Trefferquoten von bis zu 70 %, doch ihre Brier-Scores lagen je nach Datensatz zwischen 0,44 und 0,51. Diese Diskrepanz ist ein Warnsignal. Ein Modell, das hohe Trefferquoten erzielt, dabei aber bei der Kalibrierung schwächelt, signalisiert im Grunde, dass es mit seiner Sicherheit einfach Glück hatte , wie ein Experte, der im Nachhinein jedes Ergebnis als „offensichtlich“ bezeichnet. Zuversicht ohne Genauigkeit ist nichts als Lärm im feinen Anzug.
Kein einzelnes Modell setzte sich in jedem Test durchgehend gegen die anderen durch, und das ist selbst eine unterbelichtete Geschichte. Die Kennzahlen verändern sich je nach Stichprobengröße, je nachdem, welche Spiele einbezogen wurden, und welche Bewertungsregeln angewendet wurden. Mistral Large erreichte tatsächlich dieselbe Trefferquote von 47 % wie Claude Sonnet, wies jedoch einen schwächeren Brier-Score von 0,68 auf, was verdeutlicht, wie Genauigkeit allein wackligere Wahrscheinlichkeitsschätzungen verschleiern kann.
Nach einem eindeutigen Sieger aus diesem Vergleich zu verlangen, ist also die falsche Frage , was man eigentlich wissen möchte, ist, welches Modell zum jeweiligen Kontext passt, den man bewertet.
Wenn das Ziel eine klügere Analyse der Weltmeisterschaft ist, lautet der praktische Vorschlag: Brier-Scores sollten gemeinsam mit Trefferquoten als Standardkriterien in der Berichterstattung verwendet werden, nicht als optionale Randnotizen.
Warum weichen KI-Genauigkeits- und Kalibrierungswerte voneinander ab?
Wenn man versucht, die Vorhersagen eines KI-Fußballmodells im Vorfeld der WM 2026 zu verstehen, sollte man sich zunächst klarmachen, dass Genauigkeit und Kalibrierung völlig unterschiedliche Dinge messen. Genauigkeit sagt dir, ob das Modell den richtigen Sieger ausgewählt hat. Kalibrierung sagt dir, ob das Modell bei dieser Wahl auch wirklich *verstanden* hat, was es tat. Diese beiden Dinge können erheblich voneinander abweichen, und zu wissen, warum, hilft dabei, diese Tools ehrlicher zu lesen.
Nehmen wir die Heimsieg-Prävalenz. In der Gruppenphase der Weltmeisterschaft verschwindet der Heimvorteil praktisch vollständig, da es effektiv nur eine gastgebende Nation gibt, doch KI-Modelle, die auf Daten aus nationalen Ligen trainiert wurden, tragen diese Heimsieg-Verzerrung in ihre Vorhersagen. Das Modell sammelt korrekte Top-Label-Treffer, während es gleichzeitig stillschweigend die Wahrscheinlichkeit hinter jedem einzelnen falsch einschätzt. Ein Modell, das eine Zuversicht von 68% für einen Sieg Spaniens gegen Marokko stempelt, sagt etwas Konkretes aus , dass dieses Ergebnis ungefähr zwei von drei Versuchen eintreten sollte. Wenn es stattdessen näher an der Hälfte der Fälle eintritt, war das Label richtig, aber die Mathematik falsch.
Die Verlustfunktionen, die den meisten dieser Modelle zugrunde liegen, helfen dabei nicht. Sie sind darauf ausgelegt, richtige Treffer zu belohnen, nicht korrekt bewertete Wahrscheinlichkeiten, sodass das Modell auf die Schlagzeilenzahl optimiert und nicht auf die ehrliche Zahl. Über Tausende von Spielen hinweg haben sich Vorhersagen mit einer Zuversicht von 65-70% tatsächlich näher an 82,5% der Fälle als korrekt erwiesen, was zeigt, wie konservativ diese Kalibrierungsschichten tatsächlich sind. Man kann es sich wie einen Experten vorstellen, der jedes Ergebnis richtig vorhersagt, aber keine Unsicherheit einräumt. Beeindruckend , bis die K.-o.-Runden beginnen und die knappen Margen zu beißen anfangen.
Chaotische Spielereignisse verschärfen dies speziell im K.-o.-Fußball. Eine einzelne rote Karte in der 23. Minute zwischen gleichwertigen Mannschaften kann Ergebnisse auf eine Weise verändern, die kein Vorab-Modell saubern abbilden kann. Das Signal wird dünn, die Klassen werden inkonsistent, und die Divergenz zwischen Genauigkeit und Kalibrierung ist dann keine Marotte mehr, sondern ein grundlegendes Merkmal der Architektur selbst.
Der praktische Vorschlag hier ist unkompliziert: Verlange beide Zahlen von jedem Modell, das du zur Analyse der WM 2026 verwendest. Ein Modell, das Genauigkeit ohne Kalibrierungswerte veröffentlicht, zeigt dir nur die Hälfte des Zeugnisses. Proper Scoring Rules , Brier-Scores, Log-Loss , sollten direkt neben der Trefferquote stehen. Ohne sie vertraust du einer selbstbewussten Stimme, die sich dieses Selbstbewusstsein noch nicht verdient hat.
Kann KI die Quoten des Wettmarktes schlagen?
Jeder, der ein Fußballmodell entwickelt und versucht hat, damit zu wetten, wird einem dasselbe erzählen, meist mit dem Gesichtsausdruck jemandes, der gerade nach einer schwierigen Länderspielpause seinen Kontostand überprüft hat: Es funktioniert, bis es nicht mehr funktioniert, und das „nicht mehr“ kommt schneller, als man hoffen würde. Selbst eine naive Grundlinie, die einfach das historisch häufigste Ergebnis wählt, kann eine Genauigkeit von 45, 48% erreichen, ein ernüchternder Maßstab für alle, die überzeugt sind, ihr Modell habe einen echten Vorteil gefunden.
Scharfe Wettmärkte nehmen Informationen so auf, wie ein guter defensiver Mittelfeldspieler Druck absorbiert, leise, effizient und ohne einem viel Spielraum zu lassen. Öffentliche Daten, historische Ergebnisse, sogar manche private Informationen, sind bereits eingepreist, bevor die meisten Modelle überhaupt daran gelangen. Die Margen, die diesen Prozess überstehen, sind dünn, und sobald man Transaktionskosten und die Einsatzlimits berücksichtigt, die Buchmacher verhängen, sobald sie den Verdacht haben, dass jemand etwas Nützliches weiß, werden diese Margen noch dünner.
Die tatsächlichen Gelegenheiten häufen sich rund um Timing- und Aufmerksamkeitslücken. Späte Mannschaftsnachrichten vor einem Gruppenspiel der Weltmeisterschaft 2026, sagen wir, Marokko rotiert drei Stammspieler vor einem Muss-Sieg-Spiel, oder ein Wetterwechsel, der ein technisch präzises Spiel in einen physischen Kraftakt verwandelt, das sind die Momente, in denen ein gut kalibriertes Modell dem Markt kurzzeitig einen Schritt voraus sein kann. Nischen-Qualifikationsspiele und weniger im Rampenlicht stehende Konföderationen ziehen ebenfalls weniger Aufmerksamkeit der Buchmacher auf sich, was mehr Spielraum zum Arbeiten schafft. Aber solche Räume füllen sich schnell, wenn Leute merken, dass die Tür offen steht.
Der praktische Vorschlag hier ist einfach: Behandeln Sie jeden identifizierten Vorteil als verderblich. Dokumentieren Sie ihn, messen Sie ihn, und gehen Sie davon aus, dass seine Haltbarkeit kürzer ist, als Sie denken. Buchmacher verfolgen profitable Konten und passen ihre Preisgestaltung entsprechend an, sodass die Strategie, die im März funktioniert, im Juni bereits irrelevant sein kann. Flexibilität in den eigenen Ansatz einzubauen, anstatt dasselbe Modell immer weiter zu nutzen, bis es nicht mehr funktioniert, macht den Unterschied zwischen etwas Nützlichem lernen und einfach langsam Geld verlieren.
Was passiert, wenn KI echtes Geld auf Spiele wettet?
Es gibt einen bedeutsamen Unterschied zwischen der Aussage, ein Modell „schneide bei Sportprognose-Benchmarks gut ab“, und der Beobachtung, wie es über eine achtmonatige Saison hinweg langsam ein sechsstelliges Startkapital aufzehrt. Genau das haben Forscher getan , sie spielten komplette Saisons mit einem Startkapital von 100.000 £ oder 10.000 $ nach und ließen führende KI-Modelle sequenzielle Wetten auf Hunderte von Spielen platzieren. Niemand ging beeindruckt daraus hervor. Jedes Modell schloss im Minus ab, wobei die besten unter ihnen noch ROI-Werte von -11 % und -13,6 % verzeichneten.
Der Mechanismus hinter diesen Verlusten lohnt ein genaueres Verständnis. Die Kelly-Kriterium-Einsatzbemessung, die Wettbeträge anhand der wahrgenommenen Vorteilslage und Konfidenz skaliert, bestrafte selbst geringe Fehlkalibrierungen mit unverhältnismäßiger Härte. Ein Modell, das bei seinen eigenen Wahrscheinlichkeitsschätzungen leicht überzogen selbstsicher ist, verliert nicht einfach allmählich , es setzt größere Beträge als angemessen, verstärkt Fehler kumulativ und ging in manchen Testläufen noch vor Saisonende vollständig bankrott. Bemerkenswert ist, dass strukturierte Prognosemodelle wie Poisson-basierte Ansätze, Elo-artige Bewertungssysteme und tabellarisches maschinelles Lernen tendenziell auf weit vorhersehbarere und begrenztere Weise scheitern als die hier getesteten großen Sprachmodelle.
Hier ist, was das eigentlich über KI und den WM-Zyklus 2026 aussagt, in dem jedes große Wettbüro diese Systeme aufmerksam beobachtet: Vorherzusagen, welches Team gewinnt, ist eine grundlegend andere Fähigkeit als die korrekte Bepreisung der Wahrscheinlichkeit dieses Ausgangs. Ein Modell kann Brasilien als Favoriten in einem bestimmten Spiel identifizieren und trotzdem gefährlich falsch liegen, *wie stark* dieser Favorit tatsächlich ist. Genau in dieser Marge verschwindet das Geld.
Die sinnvolle Lösung liegt nicht in mehr Daten oder einem größeren Modell , sie liegt in einer besseren Quantifizierung von Unsicherheit und ehrlichen Tests zur Wahrscheinlichkeitskalibrierung, *bevor* echte Einsätze ins Spiel kommen. Leaderboard-Genauigkeitswerte erfassen das schlicht nicht. Ein zurückgehaltener Kalibrierungsdatensatz, ausgewertet mit Brier-Scores oder Reliability-Diagrammen, würde diese Schwächen weit früher aufdecken als ein leergeräumtes Bankroll.
