Benchmark · Finanzen
FinanceBench: ATG analysiert Finanzberichte schnell und präzise
Der Test: 150 anspruchsvolle Fragen, deren Antworten in langen Finanzberichten stehen.
Kurz gesagt
- Bei den 150 öffentlichen Fragen von FinanceBench beantwortet ATG 138 Fragen richtig (92 %) und sucht dabei selbst in 368 Finanzberichten, also in rund 53.900 Seiten.
- Unter denselben Bedingungen gibt Mistral für seine Agentic Search (August 2026) 86 % richtige Antworten an, bei einer mittleren Latenz von 71 s, gegenüber 11 s für ATG.
- Mit ausschließlich europäischen KI-Anbietern beantwortet ATG 139 Fragen richtig (93 %), bei einer mittleren Latenz von 31 s, gegenüber 71 s für Mistral.
Der Test
Was ist FinanceBench?
FinanceBench ist ein öffentlicher Fragenkatalog, Ende 2023 von Patronus AI veröffentlicht, der misst, wie gut eine KI Fragen von Finanzanalysten anhand realer Dokumente beantwortet: Jahresberichte (10-K), Quartalsberichte (10-Q), Unternehmensmitteilungen (8-K) und Transkripte von Ergebnis-Calls.
Die Fragen haben eine eindeutige, überprüfbare Antwort: einen Betrag, eine Kennzahl, eine aus dem Bericht abgeleitete Erklärung. Ihre Schwierigkeit liegt in den Dokumenten: Berichte mit durchschnittlich 150 Seiten, Zahlen in Tabellen, Berechnungen aus mehreren Zeilen, Fachvokabular der Rechnungslegung.
- 150
- öffentliche Fragen
- 368
- SEC-Berichte
- ~53.900
- Seiten zu durchsuchen
Drei Arten von Fragen
Extraktion von Kennzahlen
Eine Kennzahl finden oder berechnen: Investitionsausgaben, operative Marge, Liquiditätsgrad.
Analystenfragen
Allgemeine Fragen, die ein Analyst zu jedem Unternehmen stellt: Ist das Unternehmen kapitalintensiv?
Spezifische Fragen
Fragen zu einem bestimmten Unternehmen und Bericht, die ein Nachdenken über dessen Inhalt erfordern.
Ergebnisse und Vergleich
Gemeinsamer Korpus
Alle Berichte in einer einzigen Datenbank, ohne Hinweis, welcher die Antwort enthält. Die realen Bedingungen.
ATG, Nur europäische Anbieter, Fast-ModusGenauigkeit93 %Mittlere Latenz31 s
ATG, Weltweite Anbieter, Fast-ModusGenauigkeit92 %Mittlere Latenz11 s
Mistral Agentic Search, GLM-5.2, Suche + NavigationGenauigkeit86 %Mittlere Latenz71 s
Dewey, Claude Opus 4.6, agentische SucheGenauigkeit84 %Mittlere Latenznicht veröffentlicht
Mistral Agentic Search, GLM-5.2, nur SucheGenauigkeit79 %Mittlere Latenz108 s
Mistral Agentic Search, Mistral Medium 3.5, Suche + NavigationGenauigkeit79 %Mittlere Latenznicht veröffentlicht
Mistral Agentic Search, Mistral Medium 3.5, nur SucheGenauigkeit70 %Mittlere Latenznicht veröffentlicht
Dewey, GPT-5.4, agentische SucheGenauigkeit63 %Mittlere Latenznicht veröffentlicht- FinSage, GPT-4o, Multi-Aspekt-RAG149 Fragen, 83 BerichteGenauigkeit57 %Mittlere Latenznicht veröffentlicht
Balyasny, GPT-4o, verbessertes RAG, BAM-EmbeddingsGenauigkeit55 %Mittlere Latenznicht veröffentlicht
Unstructured, GPT-4, elementbasiertes Chunking141 Fragen, 80 BerichteGenauigkeit53 %Mittlere Latenznicht veröffentlicht
Balyasny, GPT-4o, verbessertes RAG, Embeddings ada-002Genauigkeit47 %Mittlere Latenznicht veröffentlicht
Ragie, gemeinsamer Speicher (Top-k 8)Genauigkeit27 %Mittlere Latenznicht veröffentlicht
Mistral, GLM-5.2, RAG in einem DurchgangGenauigkeit27 %Mittlere Latenznicht veröffentlicht
Mistral, Mistral Medium 3.5, RAG in einem DurchgangGenauigkeit23 %Mittlere Latenznicht veröffentlichtGPT-4 Turbo, gemeinsame VektordatenbankGenauigkeit19 %Mittlere Latenznicht veröffentlicht
Alle veröffentlichten Ergebnisse
Die vollständige Tabelle, ohne Filter: jeder Wert mit Testbedingungen, Umfang, Bewertungsmethode und Quelle.
| System | Bedingungen | Genauigkeit | Mittlere Latenz | Umfang | Bewertung | Quelle |
|---|---|---|---|---|---|---|
| Ohne Dokument | 9 % | nicht veröffentlicht | Vollständiger Benchmark | Menschliche Prüfung | Islam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20 | |
| Gemeinsamer Korpus | 93 % | 31 s | Vollständiger Benchmark | LLM-Judge + menschliche Prüfung | Dieser Test (2026-10-02) | |
| Gemeinsamer Korpus | 92 % | 11 s | Vollständiger Benchmark | LLM-Judge + menschliche Prüfung | Dieser Test (2026-10-02) | |
| Gemeinsamer Korpus | 86 % | 71 s | Vollständiger Benchmark | LLM-Judge | Mistral AI, Agentic Search2026-08-20 | |
| Gemeinsamer Korpus | 84 % | nicht veröffentlicht | Vollständiger Benchmark | Numerischer Vergleich + LLM-Judge | Dewey, financebench-eval (GitHub)2026-04-08 | |
| Gemeinsamer Korpus | 79 % | 108 s | Vollständiger Benchmark | LLM-Judge | Mistral AI, Agentic Search2026-08-20 | |
| Gemeinsamer Korpus | 79 % | nicht veröffentlicht | Vollständiger Benchmark | LLM-Judge | Mistral AI, Agentic Search2026-08-20 | |
| Gemeinsamer Korpus | 70 % | nicht veröffentlicht | Vollständiger Benchmark | LLM-Judge | Mistral AI, Agentic Search2026-08-20 | |
| Gemeinsamer Korpus | 63 % | nicht veröffentlicht | Vollständiger Benchmark | Numerischer Vergleich + LLM-Judge | Dewey, financebench-eval (GitHub)2026-04-08 | |
| FinSageGPT-4o, Multi-Aspekt-RAG | Gemeinsamer Korpus | 57 % | nicht veröffentlicht | 149 Fragen, 83 Berichte | Menschliche Prüfung | Wang et al., FinSage (CIKM 2025), arXiv:2504.144932025-04-20 |
| Gemeinsamer Korpus | 55 % | nicht veröffentlicht | Vollständiger Benchmark | Menschliche Prüfung | Anderson et al. (Balyasny Asset Management), arXiv:2411.071422024-11-11 | |
| Gemeinsamer Korpus | 53 % | nicht veröffentlicht | 141 Fragen, 80 Berichte | Menschliche Prüfung | Jimeno Yepes et al. (Unstructured), arXiv:2402.051312024-02-05 | |
| Gemeinsamer Korpus | 47 % | nicht veröffentlicht | Vollständiger Benchmark | Menschliche Prüfung | Anderson et al. (Balyasny Asset Management), arXiv:2411.071422024-11-11 | |
| Gemeinsamer Korpus | 27 % | nicht veröffentlicht | Vollständiger Benchmark | Nicht angegeben | Ragie, How Ragie Outperformed the FinanceBench Test2024-10-22 | |
| Gemeinsamer Korpus | 27 % | nicht veröffentlicht | Vollständiger Benchmark | LLM-Judge | Mistral AI, Agentic Search2026-08-20 | |
| Gemeinsamer Korpus | 23 % | nicht veröffentlicht | Vollständiger Benchmark | LLM-Judge | Mistral AI, Agentic Search2026-08-20 | |
| Gemeinsamer Korpus | 19 % | nicht veröffentlicht | Vollständiger Benchmark | Menschliche Prüfung | Islam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20 | |
| FinanceBench_RAGhybride Suche auf Seitenebene | Ein einzelner Bericht, indexiert | 76 % | nicht veröffentlicht | Vollständiger BenchmarkFilter nach Unternehmen und Jahr vor der Suche angewendet. | Nicht angegeben | FinanceBench_RAG (GitHub, aquib8112)2026-02-28 |
| Ein einzelner Bericht, indexiert | 51 % | nicht veröffentlicht | Vollständiger Benchmark | Nicht angegeben | Ragie, How Ragie Outperformed the FinanceBench Test2024-10-22 | |
| Ein einzelner Bericht, indexiert | 50 % | nicht veröffentlicht | Vollständiger Benchmark | Menschliche Prüfung | Islam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20 | |
| Ganzer Bericht mitgegeben | 79 % | nicht veröffentlicht | Vollständiger Benchmark | Menschliche Prüfung | Islam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20 | |
| Exakte Seite mitgegeben | 85 % | nicht veröffentlicht | Vollständiger Benchmark | Menschliche Prüfung | Islam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20 | |
| PathwayMulti-Agenten-Pipeline, ein Mensch beantwortet Rückfragen | Bedingungen nicht angegeben | 56 % | nicht veröffentlicht | Anzahl der Fragen nicht angegebenEin Mensch beantwortet Rückfragen: kein autonomer Wert. Modell und Bewertung nicht angegeben. | Nicht angegeben | Pathway, AI for SEC filings analysis2025-07-09 |
| PathwayMulti-Agenten-Pipeline | Bedingungen nicht angegeben | 42 % | nicht veröffentlicht | Anzahl der Fragen nicht angegebenModell und Bewertung nicht angegeben. | Nicht angegeben | Pathway, AI for SEC filings analysis2025-07-09 |
| Pathwayeinfaches RAG | Bedingungen nicht angegeben | 24 % | nicht veröffentlicht | Anzahl der Fragen nicht angegebenModell und Bewertung nicht angegeben. | Nicht angegeben | Pathway, AI for SEC filings analysis2025-07-09 |
Zahlen Dritter aus deren Veröffentlichungen übernommen, ohne eigene Wiederholung. Ein reduzierter Umfang (weniger Fragen oder Berichte) macht den Test leichter.
Protokoll
Wie wir getestet haben
- 1
Ein einziger Korpus
Die 368 Berichte werden unverändert in eine Standard-Wissensdatenbank von ATG importiert, so wie es ein Kunde tun würde.
- 2
Keine Datei vorgegeben
Jede Frage wird einzeln in einer neuen Konversation gestellt. ATG muss das richtige Dokument unter den 368 finden, ohne dass es angegeben wird. Bei 11 Fragen, deren ursprüngliche Formulierung weder Unternehmen noch Zeitraum nennt, ergänzt ein fester Satz diese Angaben („Added note by ATG for disambiguation“), ohne den Rest der Frage zu ändern.
- 3
Bewertung
Ein unabhängiger LLM-Judge (Mistral Medium 3.5) vergleicht jede Antwort mit der Referenzantwort. In jedem Test wurden 4 Bewertungen durch eine menschliche Prüfung korrigiert, mit Begründung im Bericht. Eine unbeantwortete Frage zählt als Fehler.
- 4
End-to-End-Latenz
Gemessene Zeit zwischen dem Absenden der Frage und dem Ende der Antwort, einschließlich Suche, wobei die Fragen einzeln gestellt werden. Die Berichte nennen Mittelwert, Median und p90.
Transparenz
Jeder herunterladbare Bericht beschreibt unsere Methodik und nennt dann für jede der 150 Fragen die erwartete Antwort, die Antwort von ATG und die Bewertung. Jeder kann eine Bewertung nachprüfen und anfechten.
Ergebnisse
Die Ergebnisse von ATG, je KI-Richtlinie
Die getesteten Konfigurationen
Eine Zeile pro KI-Richtlinie, beide im Fast-Modus. Jede Zeile ist ein vollständiger Durchlauf über die 150 Fragen.
| KI-Richtlinie | Fast |
|---|---|
| Weltweite Anbieter | Hervorgehoben 92 % 138 / 150 richtige Antworten
|
| Nur europäische Anbieter | 93 % 139 / 150 richtige Antworten
|
Genauigkeit und Antwortzeit
Je höher und weiter links ein Punkt liegt, desto richtiger und schneller ist die Antwort.
Vergleich
Im Vergleich mit Mistral Agentic Search
Am 20. August 2026 hat Mistral seine Ergebnisse auf FinanceBench veröffentlicht: dieselben 150 Fragen, dieselben 368 Berichte, mit einer agentischen Suche, die Suchanfragen aneinanderreiht und in den Dokumenten navigiert. Das ist derzeit das veröffentlichte Ergebnis, das unseren Bedingungen am nächsten kommt.
Zwei Unterschiede zu unserem Protokoll: Mistral bewertet die Antworten mit einem LLM-Judge, der an menschlichen Labels kalibriert ist, und veröffentlicht nur eine Latenz (Mittelwert und p90), ohne anzugeben, für welches Modell. Wir ordnen sie GLM-5.2 zu, dem Modell aller anderen „bis zu“-Werte des Artikels.
×6,8
Im Fast-Modus antwortet ATG in durchschnittlich 11 s, gegenüber 71 s für die schnellste von Mistral AI veröffentlichte Konfiguration: 6,8-mal schnellere Antworten.
Genauigkeit
ATG, Nur europäische Anbieter, Fast-Modus
93 %ATG, Weltweite Anbieter, Fast-Modus
92 %
Mistral Agentic Search, GLM-5.2, Suche + Navigation86 %
Mistral Agentic Search, GLM-5.2, nur Suche79 %
Mistral Agentic Search, Mistral Medium 3.5, Suche + Navigation79 %
Mistral Agentic Search, Mistral Medium 3.5, nur Suche70 %
Mistral, GLM-5.2, RAG in einem Durchgang27 %
Mistral, Mistral Medium 3.5, RAG in einem Durchgang23 %
Mittlere Latenz
ATG, Nur europäische Anbieter, Fast-Modus
31 sATG, Weltweite Anbieter, Fast-Modus
11 s
Mistral Agentic Search, GLM-5.2, Suche + Navigation71 s
Mistral Agentic Search, GLM-5.2, nur Suche108 s
Mistral Agentic Search, Mistral Medium 3.5, Suche + Navigationnicht veröffentlicht
Mistral Agentic Search, Mistral Medium 3.5, nur Suchenicht veröffentlicht
Mistral, GLM-5.2, RAG in einem Durchgangnicht veröffentlicht
Mistral, Mistral Medium 3.5, RAG in einem Durchgangnicht veröffentlicht
Zahlen von Mistral aus deren Artikel übernommen, nicht von uns reproduziert.
Beispiel
Beispiel: eine Frage und die Antwort von ATG
Frage (Testdatensatz, auf Englisch)
What is the FY2018 capital expenditure amount (in USD millions) for 3M? Give a response to the question by relying on the details shown in the cash flow statement.
Erwartete Antwort
$1577.00
Antwort von ATG (uneingeschränkte Richtlinie, Fast-Modus)
$1,577 million. Per 3M's Consolidated Statement of Cash Flows (fiscal year ended December 31, 2018), the line « Purchases of property, plant and equipment (PP&E) » under Cash Flows from Investing Activities is $(1,577) million, which is the capital expenditure figure.
Von ATG zitiertes Dokument
3M_2018_10K.pdf
Bewertung: Richtig, Antwort in 7 Sekunden
Ergebnisse herunterladen
Ein Bericht pro Konfiguration, mit Protokoll, Ergebnissen und, für jede Frage, der Antwort von ATG und ihrer Bewertung. Frei zugänglich, ohne Formular.
| KI-Richtlinie | Fast |
|---|---|
| Weltweite Anbieter | PDF, Weltweite Anbieter, Fast |
| Nur europäische Anbieter | PDF, Nur europäische Anbieter, Fast |
Häufige Fragen
Warum FinanceBench und nicht ein anderer Benchmark?
Forschende und Softwareanbieter veröffentlichen ihre Werte auf FinanceBench. Deshalb können wir uns mit Ergebnissen vergleichen, die wir nicht selbst erzeugt haben, und zwar auf echten Finanzdokumenten.
Warum haben Sie die anderen Lösungen nicht selbst getestet?
Um nicht eine Lösung, die wir beherrschen, mit Lösungen zu vergleichen, die wir schlecht konfigurieren würden. Wir zitieren die Zahlen, die jeder Anbieter oder jedes Forschungsteam veröffentlicht hat, mit ihren Testbedingungen, und ordnen sie nach Schwierigkeitsgrad.
Was ist der Unterschied zwischen weltweiten und ausschließlich europäischen Anbietern?
Das ist die KI-Richtlinie, die der Administrator wählt. „Nur europäische Anbieter“ beschränkt die Verarbeitung auf europäische Anbieter (Mistral, Scaleway, Nebius); „weltweit“ (uneingeschränkte Richtlinie) nimmt unter anderem OpenAI und Google hinzu. Wir haben den Test mit beiden Richtlinien durchgeführt, damit jeder weiß, was seine Wahl an Genauigkeit und Geschwindigkeit kostet.
Was bedeutet der Fast-Modus?
Der Fast-Modus ist der schnelle Modus von ATG, der die Antwortzeit priorisiert; in den Berichten heißt er „Fast“. Beide Tests wurden in diesem Modus durchgeführt. Die Modi Auto und Thinking, die dem Reasoning mehr Zeit lassen, sind nicht Teil dieses Benchmarks.
Gelten die Ergebnisse auch für meine Dokumente?
Sie geben eine Größenordnung für lange, tabellenreiche Finanzdokumente. Der beste Test bleiben Ihre eigenen Dokumente: Wir können die Genauigkeit von ATG während einer Demo an einer Auswahl Ihrer Fragen messen.
Und mit Ihren eigenen Berichten?
Importieren Sie Ihre Finanzberichte, stellen Sie die Fragen Ihrer Teams und messen Sie selbst die Genauigkeit der Antworten.