Google setzt neue Maßstäbe bei der Prüfung von KI-Ingenieurleistungen

Der Test geht über Lehrbuchfragen hinaus

Googles Team AI & Infrastructure hat Physical-Engineering's Last Exam, kurz PLE, gemeinsam mit Mercor entwickelt. Der Benchmark soll messen, wie gut führende Modelle Arbeiten ausführen können, die für den Bau der physischen Welt erforderlich sind.

Google zufolge zeigen bestehende Tests, die größtenteils auf Lehrbuchfragen basieren, nicht, ob ein KI-Agent unter der Aufsicht eines zugelassenen Ingenieurs einen sicheren, normgerechten und kosteneffizienten Entwurf erstellen kann. PLE soll diese Lücke schließen.

Der vollständige Benchmark umfasst 85 Arbeitsabläufe mit langfristigem Planungshorizont. Davon entfallen 30 auf den Maschinenbau, 27 auf die Elektrotechnik, 18 auf das Bauingenieurwesen und 10 auf die Tragwerksplanung. Die derzeitige öffentliche Version umfasst 29 Aufgaben, ihre Bewertungsskripte und den Bewertungscontainer.

Agenten müssen in Projektordnern für Ingenieurprojekte arbeiten

Die Aufgaben sind nicht auf die Beantwortung einer einzelnen Frage ausgelegt. Die Agenten arbeiten in containerisierten Projektordnern auf Basis der Archipelago-Umgebung von Mercor. Laut Google simuliert sie, was ein praktizierender Ingenieur für ein reales Projekt erhalten könnte.

Jede Aufgabe umfasst durchschnittlich 61 Dateien, der vollständige Benchmark enthält 5170 Dateien. Dazu gehören PDFs, Tabellen, E-Mails, zweidimensionale CAD-Zeichnungen, dreidimensionale BIM-Modelle und Dokumentversionen. Der Agent muss die geltenden Bauvorschriften und physischen Einschränkungen ermitteln, Berechnungen durchführen und anschließend fertige Unterlagen erstellen, die ein qualifizierter Prüfer kontrollieren und genehmigen kann.

Praktizierende Ingenieure erstellten 44 der Aufgaben, einschließlich der Projektordner, Eingabeaufforderungen und Bewertungskriterien. Für weitere 41 Aufgaben entwickelten Ingenieure die ursprüngliche Aufgabenstellung, während ein Agenten-Workflow die Umgebung und den Prüfer auf Grundlage lizenzierbarer Ingenieurstandards zusammenstellte. Ingenieure prüften jede dieser Aufgaben und machten sie anspruchsvoller.

Keines der getesteten Modelle erreichte 50 Prozent

Google testete 14 führende Modelle mit sieben öffentlich verfügbaren Agenten-Frameworks. Die Bewertung umfasste Antigravity, Claude Code, Codex, Hermes, OpenCode, OpenHands und Pi.

PLE vergibt keine Punkte für einen Entwurf, der eine der strengen Sicherheitsprüfungen nicht besteht. In Googles Basistest erzielte jedes Modell im privaten Testsatz weniger als 50 Prozent. Das leistungsstärkste Modell erreichte in seinem eigenen Framework eine durchschnittliche Punktzahl von 48,3 Prozent.

Die beste Agentenkonfiguration erfüllte bei den gemeinsam erstellten Aufgaben 91 Prozent der aufgabenspezifischen Anforderungen. Allerdings bestanden nur 41,3 Prozent der eingereichten Unterlagen sämtliche strengen Sicherheits- und Machbarkeitsprüfungen. Nach Angaben von Google führte die Wahl des Modells zu einem Unterschied von bis zu 50 Prozentpunkten, während der mediane Unterschied zwischen den Frameworks beim selben Modell 3 Punkte betrug. Das Framework hatte zudem einen erheblichen Einfluss auf die Kosten des Systembetriebs.

Die Forscher haben außerdem einen offenen Wettbewerb gestartet. Teilnehmer können unter ple-bench.com ihre eigene Agentenkonfiguration für den privaten Testsatz einreichen. Dort laufen 13 von Google unterstützte Modelle kostenlos auf den Servern von Google. Einzelheiten zu den Preisen werden später bekannt gegeben. Das technische Paper ist auf arXiv verfügbar, die öffentlichen Aufgaben und Bewertungswerkzeuge stehen auf GitHub bereit.