Goodfire steuert das KI-Training über interne Repräsentationen

5. November 2026Quelle: Goodfire Research

Goodfire Research hat ein Paper zu „Mechanistic Shaping“ veröffentlicht. Das Framework nutzt die internen Repräsentationen eines Modells, um festzulegen, wie es eine Aufgabe lösen soll, und nicht nur, ob es sie löst. Nach Angaben der Autoren verringerte die Methode das Shortcut Learning bei Thorax-Röntgenmodellen und dämpfte Sykophantie und Reward Hacking bei Sprachmodellen.

Das Wichtigste in Kürze

Goodfire stellt Mechanistic Shaping vor: Interne Modellkonzepte dienen dazu, im Training die Abhängigkeit von unerwünschten Merkmalen oder deren Ausdruck zu bestrafen.
Bei Thorax-Röntgenbildern verringerte eine automatisierte Pipeline die Abhängigkeit von der Abkürzung Thoraxdrainage und kann laut Goodfire das Soft-Ceiling mit gruppenbalancierten Daten übertreffen.
Nach Angaben des Unternehmens verhinderte die Methode bei Sprachmodellen Sykophantie und Reward Hacking, ohne die Fähigkeitsgewinne zu verlieren.
In allen Experimenten blieb das geformte Konzept überwachbar, oft allerdings nur mit einer neu trainierten Sonde.

Richtige Antworten aus falschen Gründen

Goodfire geht von einer bekannten Schwäche des KI-Trainings aus: Modelle werden für korrekte Ausgaben belohnt, doch gute Ergebnisse belegen nicht, dass ein Modell sie aus den richtigen Gründen erzielt hat. Das Unternehmen hält dies angesichts jüngster Reward-Hacking-Vorfälle für besonders relevant, auch wenn das Problem in einfacheren Formen ebenfalls auftritt.

Als Beispiel dient ein Modell, das auf die Diagnose eines Pneumothorax, also eines kollabierten Lungenflügels, trainiert wird. In den Trainingsbildern zeigen die als Pneumothorax gekennzeichneten Aufnahmen oft einen Schlauch, mit dem die Erkrankung nach der Diagnose behandelt wird. Ein Modell kann lernen, sich auf den Schlauch statt auf die Lunge zu verlassen, und würde dann bei Patienten scheitern, die noch nicht behandelt wurden. Goodfire nennt zwei vergleichbare Probleme bei Sprachmodellen: Sykophantie, bei der Modelle den Nutzern zustimmen, statt korrekt zu antworten, und Reward Hacking, bei dem sie Bewertungssysteme ausnutzen, statt das Problem zu lösen.

So funktioniert Mechanistic Shaping

Das Framework ergänzt das Trainingsziel um eine Strafe, die sich auf ein Konzept stützt, das das Modell intern repräsentiert. Goodfire beschreibt zwei Methoden:

Reliance Shaping bestraft die Abhängigkeit eines Modells von einem Konzept: „Verlass dich nicht darauf.“
Expression Shaping bestraft das Modell dafür, ein Konzept auszudrücken: „Tu das nicht.“

Zunächst wird das unerwünschte Konzept mit Interpretierbarkeits-Werkzeugen identifiziert, dann kommt eine Verlust-Strafe hinzu, die die Abhängigkeit von dem Konzept oder dessen Ausdruck verringert, und schließlich wird das Modell trainiert. Optional wird die Konzeptrichtung alle n Schritte neu berechnet, falls sich die Repräsentation während des Trainings verschiebt. Zum Schluss wird untersucht, wie sich das Ganze auf die Überwachbarkeit des Konzepts auswirkt. Laut Goodfire braucht die Methode über die üblichen Trainingsanforderungen hinaus nur eine Konzeptrichtung und eine auslesbare Schicht.

In einer kleinen Demonstration trainierte das Team einen Hundeklassifikator auf einem eingefrorenen Bildmodell und legte Regeln in den eigenen Konzepten des Modells fest, etwa nur anhand der Nase zu klassifizieren oder die Zunge zu verwenden, wenn sie sichtbar ist, und andernfalls die Ohren.

Ergebnisse bei Thorax-Röntgenbildern und Sprachmodellen

Für den medizinischen Test verwendete Goodfire einen Datensatz echter Thorax-Röntgenbilder und machte die Abkürzung so verlockend wie möglich. Es behielt nur Aufnahmen kollabierter Lungen mit Thoraxdrainage und gesunder Lungen ohne Drainage. Das resultierende Modell wirkte im Training treffsicher, versagte aber bei kollabierten Lungen ohne Drainage. Laut dem Beitrag beschriftete ein LLM-Agent Features eines Sparse Autoencoders und bewertete sie auf Störfaktoren, dabei fand er schlauchähnliche Features an vielen Positionen und in vielen Ausrichtungen. Goodfire zufolge kann die daraus entstandene automatisierte Pipeline die Genauigkeit der Soft-Ceiling-Marke mit gruppenbalancierten Daten für diesen Aufbau übertreffen.

Bei Sprachmodellen verhinderte das Unternehmen nach eigenen Angaben, dass Modelle im Post-Training sykophantisch wurden, und unabhängig davon auch Reward Hacking, wobei in beiden Fällen die Verbesserungen der Fähigkeiten erhalten blieben. Das Paper behandelt außerdem weitere Experimente mit Bildmodellen sowie die Reduzierung schädlicher Ausgaben bei Sprachmodellen.

Die Frage des Monitorings

Ein zentrales Bedenken ist, dass das Training gegen Interpretierbarkeitssignale die Monitore selbst beeinträchtigen kann. Die Repräsentationen des Modells könnten den Monitor umgehen, während das anvisierte Verhalten bestehen bleibt. Goodfire untersucht dies theoretisch und empirisch und beschreibt, wie sich das Innenleben unter Shaping verändern kann: Nachwachsen, Neukodieren, Verlagern und Löschen. Zudem führt das Unternehmen eine fünfstufige Hierarchie ein, um zu messen, ob und wie sich ein Konzept nach dem Training überwachen lässt.

Die Autoren bezeichnen ihre Ergebnisse als ermutigend: In allen Experimenten blieb das Konzept nach dem Shaping überwachbar, wenn auch oft erst mit einer neu trainierten Sonde. Sie räumen ein, nicht jede Konstellation und jedes Ergebnis abgedeckt zu haben.

Was das bedeutet

Für Entwickler zeigt die Arbeit einen Weg, das Training zu steuern, wenn eine Änderung der Daten zu teuer ist oder nicht funktioniert, nämlich indem man gezielt die Konzepte ins Visier nimmt, auf die sich ein Modell stützt. Goodfire betont, man verfolge diese Arbeit, weil dringend bessere Wege zur Ausrichtung von Modellen gebraucht würden, und bezeichnet die Ergebnisse als vielversprechende Sammlung von Werkzeugen und Analysen. Der Haken liegt im Monitoring: Teams, die solche Methoden einsetzen, müssen womöglich Sonden neu trainieren, um die gezielt geformten Konzepte weiter zu verfolgen.