Benchmarks
AI21: Post-Training hebt Nemotron 3.5 Super über Frontier-Qualität
AI21 zufolge wurde NVIDIA Nemotron 3.5 Super VL durch Post-Training so verbessert, dass es beim globalen Payroll-Benchmark von Deel Claude Opus 5.5 übertrifft und pro 1…
Ai2s StateBench zeigt: Frontier-Modelle scheitern bei der Zustandsverfolgung über lange Eingaben
Ai2 hat StateBench vorgestellt, einen Benchmark, der misst, wie gut Sprachmodelle Entitäten verfolgen, während diese sich in langen Dokumenten verändern. Laut Ai2 können…
Google testet günstigen Klassifikator zur Weiterleitung von Gemini-Aufgaben und Senkung der Agentenkosten
Googles Entwicklerblog argumentiert, dass inzwischen die Kosten pro erfolgreicher Aufgabe und nicht der Preis pro Million Tokens über die Wirtschaftlichkeit von…
Hugging Face veröffentlicht CWE-bench v2 mit öffentlicher Bestenliste
Hugging Face hat CWE-bench v2 veröffentlicht, eine neue Version seines Benchmarks CWE-bench, unter dem Titel „CWE-bench v2: More coverage, quality, and transparency“.…
Krea 3: Bildbearbeitungsmodell zielt mit 8 Sekunden pro Bearbeitung auf Spitzenqualität
Krea hat den technischen Bericht zu Krea 3 veröffentlicht, einem grundlegenden Bild-zu-Bild-Modell, das laut Unternehmen Spitzenqualität mit schneller Generierung und…