StateBench
StateBench untersucht Zustandsänderungen in langen Dokumenten
Die Initiative StateBench testet, wie Sprachmodelle Zustandsänderungen in langen Dokumenten verfolgen. Der Beitrag wurde auf Hugging Face veröffentlicht.
Ai2s StateBench zeigt: Frontier-Modelle scheitern bei der Zustandsverfolgung über lange Eingaben
Ai2 hat StateBench vorgestellt, einen Benchmark, der misst, wie gut Sprachmodelle Entitäten verfolgen, während diese sich in langen Dokumenten verändern. Laut Ai2 können…