GlobeBench: Kein KI-Modell löst die Hälfte der Aufgaben zur Textsimulation von Welten

5. November 2026Quelle: Patronus AI

Patronus AI hat GlobeBench veröffentlicht, einen Benchmark mit 1.632 Aufgaben, der prüft, ob Sprachmodelle als textbasierte Weltsimulatoren taugen. Laut dem Unternehmen erreicht GPT-6 Astra mit 49,57 % den höchsten Wert, kein Modell löst auch nur die Hälfte des Benchmarks, und 631 Aufgaben bleiben von allen Modellen ungelöst.

Das Wichtigste in Kürze

GlobeBench umfasst 1.632 Aufgaben aus fünf Domänen und 19 Simulationsfähigkeiten.
GPT-6 Astra führt mit 49,57 %, dahinter folgt Grok 4.6 mit 28,13 %.
631 Aufgaben bleiben von allen 20 getesteten Modellen ungelöst.
Schema Conformance ist mit etwa 6 % die schwierigste Fähigkeit.
Vier Claude-Modelle verweigerten 3.696 Antworten, die als Fehlschläge zählten.

Was GlobeBench misst

GlobeBench umfasst fünf Domänen und 19 Simulationsfähigkeiten. Jede Aufgabe gibt einem Modell die vollständige Agententrajektorie und eine abschließende Aktion vor und verlangt dann eine Vorhersage der Reaktion der Umgebung. Die Vorhersage wird mit einer Referenz verglichen, die durch tatsächliches Ausführen der Aktion im Backend der jeweiligen Aufgabe gewonnen wurde.

Patronus AI zufolge wurden 1.137 der 1.632 Aufgaben mit Trajektorien gebaut, die das Team selbst entworfen hat. Die übrigen 495 stammen aus ausführbaren Open-Source-Backends wie BFCL, TextWorld, τ²-bench und SymPy. Jede Aufgabe durchläuft 12 automatische Qualitätsprüfungen. Sie betreffen unter anderem die Konsistenz der Antwort mit dem sichtbaren Verlauf, die Reproduzierbarkeit der Referenzantwort sowie die Eindeutigkeit und fehlende Dopplung der Aufgabe. Die Studie ist auf arXiv veröffentlicht und wurde für den NeurIPS 2026 IAEval Workshop angenommen.

Die Fähigkeiten lassen sich vier Kompetenzen zuordnen: State Coherence, Causal Correctness, Interface Fidelity und Constraint Enforcement. Eine Fähigkeit ist dabei ein konkretes Verhalten der Umgebung, etwa sich einen Wert zu merken, der viele Runden zuvor geschrieben wurde.

Warum Simulatoren wichtig sind

Patronus AI argumentiert, dass der Bau stabiler, hochwertiger Sandboxes ineffizient und schwer zu pflegen bleibt, während Reinforcement Learning auf Softwareentwicklung, Computernutzung und wissenschaftliche Entdeckung skaliert wird. Sprachmodelle als Simulatoren hätten in jüngeren Arbeiten die Ergebnisse nachgelagerter Aufgaben verbessert, so das Unternehmen, und verweist auf Qwens AgentWorld sowie eine NeurIPS-2026-Veröffentlichung von Darshan Deshpande von Patronus AI.

Das Unternehmen vertritt die Ansicht, dass heutige Modelle nicht gut genug sind, um echte RL-Umgebungen zu ersetzen. Wenn ein Simulator Fehler macht, die ein Agent ausnutzen kann, lernt dieser beim Training die Fehler des Simulators statt das tatsächliche Verhalten der echten Software. Patronus AI zufolge zeigte kein früherer Benchmark, welche Teile der Simulation scheitern, weshalb man GlobeBench entwickelt habe.

Eine Beispielaufgabe betrifft eine Linux-Shell, in der eine Datei am Ende die Bezeichnung russet-willow-54 enthält. Die abschließende Aktion fragt nach Zeilenanzahl, Bytegröße und einer Prüfsumme der Datei. Die richtige Antwort lautet 17 Bytes: die 16 Zeichen der Bezeichnung plus der vom Schreibbefehl angehängte Zeilenumbruch. Neun der 20 Modelle antworteten korrekt. Kimi K3 und GLM 5.3 sagten 16 Bytes voraus, weshalb auch ihre Prüfsummen falsch waren. Vier Claude-Modelle verweigerten die Antwort.

Ergebnisse von 20 Modellen

Der Benchmark umfasste 18 universell einsetzbare große Sprachmodelle und zwei Modelle, die speziell als digitale Weltmodelle entwickelt wurden. Jedes Modell gab pro Aufgabe eine Antwort, ohne Beispiele im Prompt und ohne erneute Versuche. Die universellen Modelle liefen mit der hohen Reasoning-Einstellung ihres Anbieters. Verweigerungen zählten als Fehlschläge.

Die Bewertung prüft, ob der vorhergesagte Zustand korrekt ist, nicht ob die Antwort nur plausibel wirkt. Deterministische Prüfungen entscheiden über Vorhersagen, die der richtigen Antwort nachweislich entsprechen oder ihr widersprechen, den Rest übernimmt ein LLM als Richter.

GPT-6 Astra: 49,57 %, also 809 Aufgaben.
Grok 4.6: 28,13 %.
Claude Opus 5.5: 26,35 %.
Qwen 3.8 Max: 25,31 %.

Astras Vorsprung auf den zweitplatzierten Grok beträgt 350 Aufgaben. Die über alle Modelle gepoolte Erfolgsquote liegt bei 19,68 %.

Die Erfolgsquoten unterscheiden sich je nach Fähigkeit stark. Schema Conformance mit 200 Aufgaben ist mit etwa 6 % am schwersten. Content Repetition mit 11 Aufgaben ist mit etwa 66 % am leichtesten.

Verweigerungen und was die Ergebnisse bedeuten

Vier Claude-Modelle verweigerten 3.696 Antworten, die allesamt als Fehlschläge gewertet wurden. Laut Patronus AI stammen fast alle Verweigerungen von den Schutzmechanismen von Anthropic, die Anfragen blockieren, welche Cyberschäden ermöglichen könnten, etwa durch Malware, und auch harmlose Cybersicherheitsarbeit treffen können. Bei Claude Fable 5 blieben 1.309 Aufgaben ohne Antwort, bei Claude Opus 5 waren es 1.048, bei Claude Fable 5.1 750 und bei Claude Opus 5.5 678. Über alle Modelle hinweg blieben 3.786 von 32.640 Entscheidungen ohne Antwort, darunter 90 leere Ausgaben.

Für Teams, die modellbasierte Simulatoren für das Agententraining erwägen, zeigen die Ergebnisse eine deutliche Lücke. Selbst das beste Modell scheitert an etwa der Hälfte der Aufgaben, und Patronus AI zufolge soll der Benchmark aufzeigen, wo die aktuellen Schwächen liegen.