Benchmark · Finanzen

FinanceBench: ATG analysiert Finanzberichte schnell und präzise

Der Test: 150 anspruchsvolle Fragen, deren Antworten in langen Finanzberichten stehen.

Von Jean-Christophe BudinAktualisiert am

Kurz gesagt

  • Bei den 150 öffentlichen Fragen von FinanceBench beantwortet ATG 138 Fragen richtig (92 %) und sucht dabei selbst in 368 Finanzberichten, also in rund 53.900 Seiten.
  • Unter denselben Bedingungen gibt Mistral für seine Agentic Search (August 2026) 86 % richtige Antworten an, bei einer mittleren Latenz von 71 s, gegenüber 11 s für ATG.
  • Mit ausschließlich europäischen KI-Anbietern beantwortet ATG 139 Fragen richtig (93 %), bei einer mittleren Latenz von 31 s, gegenüber 71 s für Mistral.

Der Test

Was ist FinanceBench?

FinanceBench ist ein öffentlicher Fragenkatalog, Ende 2023 von Patronus AI veröffentlicht, der misst, wie gut eine KI Fragen von Finanzanalysten anhand realer Dokumente beantwortet: Jahresberichte (10-K), Quartalsberichte (10-Q), Unternehmensmitteilungen (8-K) und Transkripte von Ergebnis-Calls.

Die Fragen haben eine eindeutige, überprüfbare Antwort: einen Betrag, eine Kennzahl, eine aus dem Bericht abgeleitete Erklärung. Ihre Schwierigkeit liegt in den Dokumenten: Berichte mit durchschnittlich 150 Seiten, Zahlen in Tabellen, Berechnungen aus mehreren Zeilen, Fachvokabular der Rechnungslegung.

150
öffentliche Fragen
368
SEC-Berichte
~53.900
Seiten zu durchsuchen

Drei Arten von Fragen

Extraktion von Kennzahlen

Eine Kennzahl finden oder berechnen: Investitionsausgaben, operative Marge, Liquiditätsgrad.

Analystenfragen

Allgemeine Fragen, die ein Analyst zu jedem Unternehmen stellt: Ist das Unternehmen kapitalintensiv?

Spezifische Fragen

Fragen zu einem bestimmten Unternehmen und Bericht, die ein Nachdenken über dessen Inhalt erfordern.

Ergebnisse und Vergleich

Wer
Testbedingungen

Gemeinsamer Korpus

Alle Berichte in einer einzigen Datenbank, ohne Hinweis, welcher die Antwort enthält. Die realen Bedingungen.

  • ATG, Nur europäische Anbieter, Fast-ModusGenauigkeit93 %Mittlere Latenz31 s
  • ATG, Weltweite Anbieter, Fast-ModusGenauigkeit92 %Mittlere Latenz11 s
  • Mistral Agentic Search, GLM-5.2, Suche + NavigationGenauigkeit86 %Mittlere Latenz71 s
  • Dewey, Claude Opus 4.6, agentische SucheGenauigkeit84 %Mittlere Latenznicht veröffentlicht
  • Mistral Agentic Search, GLM-5.2, nur SucheGenauigkeit79 %Mittlere Latenz108 s
  • Mistral Agentic Search, Mistral Medium 3.5, Suche + NavigationGenauigkeit79 %Mittlere Latenznicht veröffentlicht
  • Mistral Agentic Search, Mistral Medium 3.5, nur SucheGenauigkeit70 %Mittlere Latenznicht veröffentlicht
  • Dewey, GPT-5.4, agentische SucheGenauigkeit63 %Mittlere Latenznicht veröffentlicht
  • FinSage, GPT-4o, Multi-Aspekt-RAG149 Fragen, 83 BerichteGenauigkeit57 %Mittlere Latenznicht veröffentlicht
  • Balyasny, GPT-4o, verbessertes RAG, BAM-EmbeddingsGenauigkeit55 %Mittlere Latenznicht veröffentlicht
  • Unstructured, GPT-4, elementbasiertes Chunking141 Fragen, 80 BerichteGenauigkeit53 %Mittlere Latenznicht veröffentlicht
  • Balyasny, GPT-4o, verbessertes RAG, Embeddings ada-002Genauigkeit47 %Mittlere Latenznicht veröffentlicht
  • Ragie, gemeinsamer Speicher (Top-k 8)Genauigkeit27 %Mittlere Latenznicht veröffentlicht
  • Mistral, GLM-5.2, RAG in einem DurchgangGenauigkeit27 %Mittlere Latenznicht veröffentlicht
  • Mistral, Mistral Medium 3.5, RAG in einem DurchgangGenauigkeit23 %Mittlere Latenznicht veröffentlicht
  • GPT-4 Turbo, gemeinsame VektordatenbankGenauigkeit19 %Mittlere Latenznicht veröffentlicht

Alle veröffentlichten Ergebnisse

Die vollständige Tabelle, ohne Filter: jeder Wert mit Testbedingungen, Umfang, Bewertungsmethode und Quelle.

Alle veröffentlichten Ergebnisse
SystemBedingungenGenauigkeitMittlere LatenzUmfangBewertungQuelle
GPT-4 TurboOhne Dokument9 %nicht veröffentlichtVollständiger BenchmarkMenschliche PrüfungIslam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20
ATGNur europäische Anbieter, Fast-ModusGemeinsamer Korpus93 %31 sVollständiger BenchmarkLLM-Judge + menschliche PrüfungDieser Test (2026-10-02)
ATGWeltweite Anbieter, Fast-ModusGemeinsamer Korpus92 %11 sVollständiger BenchmarkLLM-Judge + menschliche PrüfungDieser Test (2026-10-02)
Mistral Agentic SearchGLM-5.2, Suche + NavigationGemeinsamer Korpus86 %71 sVollständiger BenchmarkLLM-JudgeMistral AI, Agentic Search2026-08-20
DeweyClaude Opus 4.6, agentische SucheGemeinsamer Korpus84 %nicht veröffentlichtVollständiger BenchmarkNumerischer Vergleich + LLM-JudgeDewey, financebench-eval (GitHub)2026-04-08
Mistral Agentic SearchGLM-5.2, nur SucheGemeinsamer Korpus79 %108 sVollständiger BenchmarkLLM-JudgeMistral AI, Agentic Search2026-08-20
Mistral Agentic SearchMistral Medium 3.5, Suche + NavigationGemeinsamer Korpus79 %nicht veröffentlichtVollständiger BenchmarkLLM-JudgeMistral AI, Agentic Search2026-08-20
Mistral Agentic SearchMistral Medium 3.5, nur SucheGemeinsamer Korpus70 %nicht veröffentlichtVollständiger BenchmarkLLM-JudgeMistral AI, Agentic Search2026-08-20
DeweyGPT-5.4, agentische SucheGemeinsamer Korpus63 %nicht veröffentlichtVollständiger BenchmarkNumerischer Vergleich + LLM-JudgeDewey, financebench-eval (GitHub)2026-04-08
FinSageGPT-4o, Multi-Aspekt-RAGGemeinsamer Korpus57 %nicht veröffentlicht149 Fragen, 83 BerichteMenschliche PrüfungWang et al., FinSage (CIKM 2025), arXiv:2504.144932025-04-20
BalyasnyGPT-4o, verbessertes RAG, BAM-EmbeddingsGemeinsamer Korpus55 %nicht veröffentlichtVollständiger BenchmarkMenschliche PrüfungAnderson et al. (Balyasny Asset Management), arXiv:2411.071422024-11-11
UnstructuredGPT-4, elementbasiertes ChunkingGemeinsamer Korpus53 %nicht veröffentlicht141 Fragen, 80 BerichteMenschliche PrüfungJimeno Yepes et al. (Unstructured), arXiv:2402.051312024-02-05
BalyasnyGPT-4o, verbessertes RAG, Embeddings ada-002Gemeinsamer Korpus47 %nicht veröffentlichtVollständiger BenchmarkMenschliche PrüfungAnderson et al. (Balyasny Asset Management), arXiv:2411.071422024-11-11
Ragiegemeinsamer Speicher (Top-k 8)Gemeinsamer Korpus27 %nicht veröffentlichtVollständiger BenchmarkNicht angegebenRagie, How Ragie Outperformed the FinanceBench Test2024-10-22
MistralGLM-5.2, RAG in einem DurchgangGemeinsamer Korpus27 %nicht veröffentlichtVollständiger BenchmarkLLM-JudgeMistral AI, Agentic Search2026-08-20
MistralMistral Medium 3.5, RAG in einem DurchgangGemeinsamer Korpus23 %nicht veröffentlichtVollständiger BenchmarkLLM-JudgeMistral AI, Agentic Search2026-08-20
GPT-4 Turbogemeinsame VektordatenbankGemeinsamer Korpus19 %nicht veröffentlichtVollständiger BenchmarkMenschliche PrüfungIslam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20
FinanceBench_RAGhybride Suche auf SeitenebeneEin einzelner Bericht, indexiert76 %nicht veröffentlichtVollständiger BenchmarkFilter nach Unternehmen und Jahr vor der Suche angewendet.Nicht angegebenFinanceBench_RAG (GitHub, aquib8112)2026-02-28
RagieSpeicher pro Dokument (Top-k 32)Ein einzelner Bericht, indexiert51 %nicht veröffentlichtVollständiger BenchmarkNicht angegebenRagie, How Ragie Outperformed the FinanceBench Test2024-10-22
GPT-4 TurboVektordatenbank pro DokumentEin einzelner Bericht, indexiert50 %nicht veröffentlichtVollständiger BenchmarkMenschliche PrüfungIslam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20
GPT-4 TurboGanzer Bericht mitgegeben79 %nicht veröffentlichtVollständiger BenchmarkMenschliche PrüfungIslam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20
GPT-4 TurboExakte Seite mitgegeben85 %nicht veröffentlichtVollständiger BenchmarkMenschliche PrüfungIslam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20
PathwayMulti-Agenten-Pipeline, ein Mensch beantwortet RückfragenBedingungen nicht angegeben56 %nicht veröffentlichtAnzahl der Fragen nicht angegebenEin Mensch beantwortet Rückfragen: kein autonomer Wert. Modell und Bewertung nicht angegeben.Nicht angegebenPathway, AI for SEC filings analysis2025-07-09
PathwayMulti-Agenten-PipelineBedingungen nicht angegeben42 %nicht veröffentlichtAnzahl der Fragen nicht angegebenModell und Bewertung nicht angegeben.Nicht angegebenPathway, AI for SEC filings analysis2025-07-09
Pathwayeinfaches RAGBedingungen nicht angegeben24 %nicht veröffentlichtAnzahl der Fragen nicht angegebenModell und Bewertung nicht angegeben.Nicht angegebenPathway, AI for SEC filings analysis2025-07-09

Zahlen Dritter aus deren Veröffentlichungen übernommen, ohne eigene Wiederholung. Ein reduzierter Umfang (weniger Fragen oder Berichte) macht den Test leichter.

Protokoll

Wie wir getestet haben

  1. 1

    Ein einziger Korpus

    Die 368 Berichte werden unverändert in eine Standard-Wissensdatenbank von ATG importiert, so wie es ein Kunde tun würde.

  2. 2

    Keine Datei vorgegeben

    Jede Frage wird einzeln in einer neuen Konversation gestellt. ATG muss das richtige Dokument unter den 368 finden, ohne dass es angegeben wird. Bei 11 Fragen, deren ursprüngliche Formulierung weder Unternehmen noch Zeitraum nennt, ergänzt ein fester Satz diese Angaben („Added note by ATG for disambiguation“), ohne den Rest der Frage zu ändern.

  3. 3

    Bewertung

    Ein unabhängiger LLM-Judge (Mistral Medium 3.5) vergleicht jede Antwort mit der Referenzantwort. In jedem Test wurden 4 Bewertungen durch eine menschliche Prüfung korrigiert, mit Begründung im Bericht. Eine unbeantwortete Frage zählt als Fehler.

  4. 4

    End-to-End-Latenz

    Gemessene Zeit zwischen dem Absenden der Frage und dem Ende der Antwort, einschließlich Suche, wobei die Fragen einzeln gestellt werden. Die Berichte nennen Mittelwert, Median und p90.

Transparenz

Jeder herunterladbare Bericht beschreibt unsere Methodik und nennt dann für jede der 150 Fragen die erwartete Antwort, die Antwort von ATG und die Bewertung. Jeder kann eine Bewertung nachprüfen und anfechten.

Ergebnisse

Die Ergebnisse von ATG, je KI-Richtlinie

Die getesteten Konfigurationen

Eine Zeile pro KI-Richtlinie, beide im Fast-Modus. Jede Zeile ist ein vollständiger Durchlauf über die 150 Fragen.

Die getesteten Konfigurationen
KI-RichtlinieFast
Weltweite Anbieter
Hervorgehoben

92 %

138 / 150 richtige Antworten

Mittelwert
11 s
Nur europäische Anbieter

93 %

139 / 150 richtige Antworten

Mittelwert
31 s

Genauigkeit und Antwortzeit

Je höher und weiter links ein Punkt liegt, desto richtiger und schneller ist die Antwort.

60 %70 %80 %90 %100 %050100150Mittlere Latenz (Sekunden)Mistral Agentic Search, GLM-5.2Mistral Agentic Search, GLM-5.2FastFast
ATG, Weltweite AnbieterATG, Nur europäische AnbieterMistral AI, Agentic Search

Vergleich

Im Vergleich mit Mistral Agentic Search

Am 20. August 2026 hat Mistral seine Ergebnisse auf FinanceBench veröffentlicht: dieselben 150 Fragen, dieselben 368 Berichte, mit einer agentischen Suche, die Suchanfragen aneinanderreiht und in den Dokumenten navigiert. Das ist derzeit das veröffentlichte Ergebnis, das unseren Bedingungen am nächsten kommt.

Zwei Unterschiede zu unserem Protokoll: Mistral bewertet die Antworten mit einem LLM-Judge, der an menschlichen Labels kalibriert ist, und veröffentlicht nur eine Latenz (Mittelwert und p90), ohne anzugeben, für welches Modell. Wir ordnen sie GLM-5.2 zu, dem Modell aller anderen „bis zu“-Werte des Artikels.

×6,8

Im Fast-Modus antwortet ATG in durchschnittlich 11 s, gegenüber 71 s für die schnellste von Mistral AI veröffentlichte Konfiguration: 6,8-mal schnellere Antworten.

Genauigkeit

  • ATG, Nur europäische Anbieter, Fast-Modus

    93 %
  • ATG, Weltweite Anbieter, Fast-Modus

    92 %
  • Mistral Agentic Search, GLM-5.2, Suche + Navigation

    86 %
  • Mistral Agentic Search, GLM-5.2, nur Suche

    79 %
  • Mistral Agentic Search, Mistral Medium 3.5, Suche + Navigation

    79 %
  • Mistral Agentic Search, Mistral Medium 3.5, nur Suche

    70 %
  • Mistral, GLM-5.2, RAG in einem Durchgang

    27 %
  • Mistral, Mistral Medium 3.5, RAG in einem Durchgang

    23 %

Mittlere Latenz

  • ATG, Nur europäische Anbieter, Fast-Modus

    31 s
  • ATG, Weltweite Anbieter, Fast-Modus

    11 s
  • Mistral Agentic Search, GLM-5.2, Suche + Navigation

    71 s
  • Mistral Agentic Search, GLM-5.2, nur Suche

    108 s
  • Mistral Agentic Search, Mistral Medium 3.5, Suche + Navigation

    nicht veröffentlicht
  • Mistral Agentic Search, Mistral Medium 3.5, nur Suche

    nicht veröffentlicht
  • Mistral, GLM-5.2, RAG in einem Durchgang

    nicht veröffentlicht
  • Mistral, Mistral Medium 3.5, RAG in einem Durchgang

    nicht veröffentlicht

Zahlen von Mistral aus deren Artikel übernommen, nicht von uns reproduziert.

Beispiel

Beispiel: eine Frage und die Antwort von ATG

  1. Frage (Testdatensatz, auf Englisch)

    What is the FY2018 capital expenditure amount (in USD millions) for 3M? Give a response to the question by relying on the details shown in the cash flow statement.

  2. Erwartete Antwort

    $1577.00

  3. Antwort von ATG (uneingeschränkte Richtlinie, Fast-Modus)

    $1,577 million. Per 3M's Consolidated Statement of Cash Flows (fiscal year ended December 31, 2018), the line « Purchases of property, plant and equipment (PP&E) » under Cash Flows from Investing Activities is $(1,577) million, which is the capital expenditure figure.

  4. Von ATG zitiertes Dokument

    3M_2018_10K.pdf

Bewertung: Richtig, Antwort in 7 Sekunden

Ergebnisse herunterladen

Ein Bericht pro Konfiguration, mit Protokoll, Ergebnissen und, für jede Frage, der Antwort von ATG und ihrer Bewertung. Frei zugänglich, ohne Formular.

Ergebnisse herunterladen
KI-RichtlinieFast
Weltweite AnbieterPDF, Weltweite Anbieter, Fast
Nur europäische AnbieterPDF, Nur europäische Anbieter, Fast

Häufige Fragen

Warum FinanceBench und nicht ein anderer Benchmark?

Forschende und Softwareanbieter veröffentlichen ihre Werte auf FinanceBench. Deshalb können wir uns mit Ergebnissen vergleichen, die wir nicht selbst erzeugt haben, und zwar auf echten Finanzdokumenten.

Warum haben Sie die anderen Lösungen nicht selbst getestet?

Um nicht eine Lösung, die wir beherrschen, mit Lösungen zu vergleichen, die wir schlecht konfigurieren würden. Wir zitieren die Zahlen, die jeder Anbieter oder jedes Forschungsteam veröffentlicht hat, mit ihren Testbedingungen, und ordnen sie nach Schwierigkeitsgrad.

Was ist der Unterschied zwischen weltweiten und ausschließlich europäischen Anbietern?

Das ist die KI-Richtlinie, die der Administrator wählt. „Nur europäische Anbieter“ beschränkt die Verarbeitung auf europäische Anbieter (Mistral, Scaleway, Nebius); „weltweit“ (uneingeschränkte Richtlinie) nimmt unter anderem OpenAI und Google hinzu. Wir haben den Test mit beiden Richtlinien durchgeführt, damit jeder weiß, was seine Wahl an Genauigkeit und Geschwindigkeit kostet.

Was bedeutet der Fast-Modus?

Der Fast-Modus ist der schnelle Modus von ATG, der die Antwortzeit priorisiert; in den Berichten heißt er „Fast“. Beide Tests wurden in diesem Modus durchgeführt. Die Modi Auto und Thinking, die dem Reasoning mehr Zeit lassen, sind nicht Teil dieses Benchmarks.

Gelten die Ergebnisse auch für meine Dokumente?

Sie geben eine Größenordnung für lange, tabellenreiche Finanzdokumente. Der beste Test bleiben Ihre eigenen Dokumente: Wir können die Genauigkeit von ATG während einer Demo an einer Auswahl Ihrer Fragen messen.

Und mit Ihren eigenen Berichten?

Importieren Sie Ihre Finanzberichte, stellen Sie die Fragen Ihrer Teams und messen Sie selbst die Genauigkeit der Antworten.