Aleph Alphas Kolibri lässt Nutzer den Denkaufwand von keiner bis hoher Stufe wählen

Ein einziges hybrides Modell mit Regler

Kolibri ist laut Aleph Alpha ein einziges hybrides Modell, das entweder direkt antwortet oder mit niedrigem, mittlerem oder hohem Aufwand nachdenkt. Hoch ist dabei die Standardeinstellung. Das Unternehmen ordnet es neben Qwen3, Llama-Nemotron und GPT-OSS ein, die einen ähnlichen hybriden Ansatz verfolgen.

Der Parameter reasoning_effort wird als ein Satz im System-Prompt umgesetzt und nicht als spezielles Token. Aleph Alpha zufolge fiel die Wahl auf einen Satz, weil das Modell ihm folgen kann, bevor es ein einziges Aufwand-Label gesehen hat. Die Sätze reichen von „Reasoning is disabled“ für keine Denkleistung bis zu einer hohen Einstellung, bei der das Modell plausible Alternativen abwägen sowie Korrektheit und Klarheit priorisieren soll.

Motiviert wurde der Ansatz durch die Latenz. Längeres Nachdenken steigert bekanntermaßen die Genauigkeit bei schwierigen Problemen. Im Beitrag heißt es jedoch, dass ein Reasoning-Modell, das gefragt wird, was 2 + 3 ergibt, vor der Antwort 5 womöglich eine ganze Seite lang denkt. Aleph Alpha wollte deshalb ein Verhalten, das sich selbstständig an den Schwierigkeitsgrad eines Prompts anpasst, sowie einen Regler für Nutzer, denen Geschwindigkeit wichtiger ist als Genauigkeit.

Nachträgliche Kennzeichnung des Aufwands

Die Traces des überwachten Feintrainings (SFT) verzeichneten nicht, wie viel Aufwand in sie geflossen war. Daher kennzeichnete das Team jede Spur, indem es deren Denklänge maß. Zunächst änderte es die Maßeinheit. Kolibri Origin, der interne Vorgänger, zählte Zeichen. Ein Reasoning-Token umfasst jedoch zwischen 2,43 und 5,69 Zeichen, wobei Mathematik am unteren Ende liegt. Ein Schwellenwert von 2.000 Zeichen entsprach daher in einem Datensatz 822 Tokens und in einem anderen 351. Kolibri zählt nun Tokens.

Das Team definierte außerdem einen Austausch als sämtliche Denkvorgänge des Assistenten zwischen zwei von einer Person geschriebenen Zügen. Eine Tool-Schleife mit zwanzig Aufrufen zählt als ein Austausch.

Eine einfache Aufteilung in die niedrigsten 30 Prozent, die mittleren 30 bis 70 Prozent und die höchsten 30 Prozent der Längen erwies sich laut Beitrag als ungeeignet, weil die Länge hauptsächlich vom Themenbereich abhängt. Die mittlere Chat-Spur umfasst 310 Tokens, die mittlere Mathe-Spur 8,2K. Bei zusammengefassten Schwellenwerten wurden 49 Prozent der Chats als niedrig und 83 Prozent der Mathematik als hoch eingestuft. Das Label verriet damit hauptsächlich den Quelldatensatz.

Schwellenwerte pro Datensatz zu setzen, half, da die mittleren Spurlängen über 74 Datensätze hinweg zwischen 27 und 90K Tokens liegen. Innerhalb der Datensätze blieb die Streuung jedoch groß. In einem Mathematik-Datensatz reicht die mittlere 95-Prozent-Spanne der Spuren von 430 bis 79K Tokens.

Berücksichtigung des Schwierigkeitsgrads

Um den Schwierigkeitsgrad zu erfassen, setzte Aleph Alpha GLM-5.2 als LLM-Richter bei 100.000 Gesprächen ein und bewertete sie als einfach, mittel oder schwierig. Diese Einschätzungen verdichtete das Unternehmen in einem 2B-Studentenmodell, ähnlich wie bei DEITA. Das Studentenmodell bewertet jedes Gespräch viermal. Die Bewertungen werden gemittelt und in Richtung der schwierigeren Stufe gerundet. Das Unternehmen erklärt, eine schwierige Anfrage mit zu wenig Denkleistung koste mehr als eine einfache mit zu viel. In 84,8 Prozent der Fälle stimmt das Studentenmodell mit GLM-5.2 überein.

Der Schwierigkeitsgrad erklärt einen Großteil der Streuung. Im Mathematik-Datensatz liegen die mittleren Werte je nach Einstufung bei 592, 2,6K und 18K Tokens. Über alle Datensätze hinweg denken die Modelle bei schwierigen Prompts bis zu 31,3-mal länger nach als bei einfachen. Beim Programmieren und im Chat beträgt der Faktor 21, in der Wissenschaft 5,5. Tool-Nutzung und Sicherheit reagieren dagegen kaum.

Die Schwellenwerte werden pro Gruppe angepasst, also pro Datensatz und Schwierigkeitsstufe. 176 Gruppen in 69 Datensätzen erreichen die erforderlichen 200 Austausche; jede erhält ihr eigenes 30. und 70. Perzentil. Kleinere Gruppen und nicht bewertete Gespräche greifen auf die Schwellenwerte des jeweiligen Datensatzes zurück.

Um einen harten Schnitt zu vermeiden, den ein Modell als Stelle lernen könnte, an der es mit dem Denken aufhören soll, werden die Labels probabilistisch vergeben. Die Länge einer Spur wird durch Interpolation im logarithmischen Raum zwischen den beiden Perzentilen auf einem Intervall von 0 bis 1 eingeordnet. Die Wahrscheinlichkeit für ein Label nimmt mit der Entfernung vom Zentrum des jeweiligen Bereichs entsprechend einer Gaußverteilung ab.

Ergebnisse und ihre Bedeutung

Aleph Alpha berichtet, dass der SFT-Checkpoint bei 23 von 24 Benchmarks auf mittlerer Stufe länger nachdenkt als auf niedriger und auf hoher Stufe noch länger. Auf der niedrigen Stufe behält er 96 Prozent seines hohen Ergebnisses bei, während er 35 Prozent so lange nachdenkt. Das veröffentlichte Modell behält nach Angaben des Unternehmens 98 Prozent bei und verwendet 76 Prozent der Completion-Tokens.

Für Nutzer bedeutet das praktisch, dass der Denkaufwand Qualität gegen Latenz abwägt, ohne dass sie selbst beurteilen müssen, wie schwierig ihr Prompt ist. Das Modell ermittelt, wie viel Denkleistung eine Anfrage benötigt. Diese Zahlen stammen aus der eigenen Evaluierung von Aleph Alpha.