Firecrawl veröffentlicht Benchmark für juristische Suche mit 581 Rechercheanfragen

Ein Benchmark auf Basis von Kundensuchen

Der Benchmark umfasst Anfragen zu Gesetzen, Verordnungen, Gerichtsurteilen, Leitlinien von Behörden, Steuerentscheidungen, Gesetzesentwürfen und kommunalen Satzungen. Jede Anfrage zielt auf ein offizielles Dokument ab. Laut Firecrawl basieren die Fragen auf dem, wonach seine Kunden tatsächlich suchen.

Die Veröffentlichung mit dem Namen benchmark-legal-retrieval enthält 290 öffentliche Anfragen und 291 zurückgehaltene Anfragen. Der öffentliche Teil umfasst den Lösungsschlüssel und den Bewertungscode auf GitHub. Jede Anfrage hat eine offizielle Antwort sowie offizielle Aliasnamen und bekannte Beinahe-Treffer, etwa denselben Text auf einer Spiegelungsseite oder eine offizielle Seite, die eng mit der Antwort verbunden ist.

Firecrawl zufolge basiert der Benchmark auf vier Anforderungen: tatsächlicher Nachfrage, einem offiziellen Dokument als Antwort, deterministischer Bewertung und einer Möglichkeit, den Datensatz aktuell zu halten. Statt ein Modell zur Bewertung der Ergebnisse einzusetzen, bewertet das Unternehmen jede Suchmaschine anhand exakter Treffer gegenüber einer eingefrorenen kanonischen URL. Dadurch liefert ein erneuter Durchlauf laut Firecrawl stets dieselbe Punktzahl.

Firecrawl meldet Vorsprung bei der Genauigkeit des ersten Treffers

Im Durchlauf von Firecrawl am 3. Nov. 2026 platzierte der Government & Legal Index die offizielle Seite bei 76,2 % der Anfragen an erster Stelle. Firecrawl nennt für Exa 59,6 %, für Parallel 54,2 % und für Claude Code mit der eigenen Websuche 71,4 %.

Der Index fand die offizielle Seite bei 96,6 % der Anfragen unter den ersten 10 Ergebnissen. Zum Vergleich: Parallel erreichte im selben Durchlauf 90,5 % und Exa 89,5 %. Außerdem erschien laut Firecrawl bei 9,6 % der Anfragen eine widersprüchliche Seite unter den ersten 10 Ergebnissen des Index. Damit lag der Wert statistisch gleichauf mit Exa bei 9,6 % und Parallel bei 9,3 %.

Firecrawl zufolge sind die Suchanfragen im Index kostenlos, erfordern keine Credits und keinen API-Schlüssel. Das Unternehmen gibt den Preis für Exa mit 0,007 $ pro Anfrage und für Parallel mit 0,005 $ an. Ein vollständiger Durchlauf mit allen 581 Anfragen würde bei Exa 4,07 $, bei Parallel 2,91 $ und beim Index nichts kosten.

Wöchentlicher Bewertungs- und Verbesserungszyklus

Firecrawl beschreibt den Benchmark als eine Hälfte eines wöchentlichen Datenkreislaufs. Jede Version beginnt mit einer Stichprobe der jüngsten Suchen im Government & Legal Index. Dabei gibt es höchstens eine Anfrage pro Kundenteam, und Anfragen von Organisationen mit null Datenaufbewahrung werden ausgeschlossen. Ein Modell formuliert jede Suche in eine Zwillingsanfrage um. Dabei bleiben Gerichtsbezirk, Dokumenttyp, Aufgabe und Formulierungsstil gleich, während nach einem anderen offiziellen Dokument gefragt wird.

Anschließend erstellt das Unternehmen anhand offizieller Quellen einen Lösungsschlüssel, friert Fragen und Schlüssel ein und führt jede Suchmaschine mit demselben Datensatz aus. Bei jedem Fehltreffer prüft Firecrawl, ob die richtige Seite im Index fehlt, zu weit hinten gelistet wird oder durch einen nicht ladenden Link blockiert ist. Das Suchteam nutzt diese Informationen für Verbesserungen. Die nächste Benchmark-Version wird bewertet, bevor ihre Fehltreffer das Team erreichen.

Der Zyklus wurde innerhalb von Firecrawl bereits achtmal durchlaufen, dies ist jedoch die erste von dem Unternehmen veröffentlichte Version. Firecrawl zufolge soll der Zyklus wöchentlich fortgesetzt werden. Mit jeder neuen Version des Government & Legal Index soll eine neue öffentliche Benchmark-Version erscheinen.