Benchmark · Finanzas

FinanceBench: ATG ante 150 preguntas sobre informes financieros

La prueba: 150 preguntas exigentes cuyas respuestas están en largos informes financieros.

Por Jean-Christophe BudinActualizado el

En resumen

  • En las 150 preguntas públicas de FinanceBench, ATG responde correctamente a 138 (92 %) buscando por sí mismo en 368 informes financieros, unas 53.900 páginas.
  • En las mismas condiciones, Mistral anuncia un 86 % de respuestas correctas con su Agentic Search (agosto de 2026), con una latencia media de 71 s, frente a 11 s de ATG.
  • Solo con proveedores de IA europeos, ATG responde correctamente a 139 preguntas (93 %), con una latencia media de 31 s, frente a 71 s de Mistral.

La prueba

¿Qué es FinanceBench?

FinanceBench es un conjunto público de preguntas publicado a finales de 2023 por Patronus AI para medir la capacidad de una IA de responder a preguntas de analista financiero a partir de documentos reales: informes anuales (10-K), trimestrales (10-Q), comunicados (8-K) y transcripciones de presentaciones de resultados.

Las preguntas tienen una respuesta única y verificable: un importe, un ratio, una explicación sacada del informe. La dificultad está en los documentos: informes de 150 páginas de media, cifras dentro de tablas, cálculos a partir de varias líneas, vocabulario contable.

150
preguntas públicas
368
informes de la SEC
~53.900
páginas que revisar

Tres tipos de preguntas

Extracción de métricas

Encontrar o calcular un indicador: inversiones en activo fijo, margen operativo, ratio de liquidez.

Preguntas de analista

Preguntas genéricas que un analista se hace sobre cualquier empresa: ¿es una empresa intensiva en capital?

Preguntas específicas

Preguntas propias de una empresa y de un informe, que obligan a razonar sobre su contenido.

Resultados y comparativa

Quién
Condiciones de la prueba

Corpus compartido

Todos los informes en una única base, sin indicar cuál contiene la respuesta. Las condiciones reales.

  • ATG, Solo proveedores europeos, modo rápidoPrecisión93 %Latencia media31 s
  • ATG, Proveedores de todo el mundo, modo rápidoPrecisión92 %Latencia media11 s
  • Mistral Agentic Search, GLM-5.2, búsqueda + navegaciónPrecisión86 %Latencia media71 s
  • Dewey, Claude Opus 4.6, búsqueda agénticaPrecisión84 %Latencia mediano publicado
  • Mistral Agentic Search, GLM-5.2, solo búsquedaPrecisión79 %Latencia media108 s
  • Mistral Agentic Search, Mistral Medium 3.5, búsqueda + navegaciónPrecisión79 %Latencia mediano publicado
  • Mistral Agentic Search, Mistral Medium 3.5, solo búsquedaPrecisión70 %Latencia mediano publicado
  • Dewey, GPT-5.4, búsqueda agénticaPrecisión63 %Latencia mediano publicado
  • FinSage, GPT-4o, RAG multiaspecto149 preguntas, 83 informesPrecisión57 %Latencia mediano publicado
  • Balyasny, GPT-4o, RAG mejorado, embeddings BAMPrecisión55 %Latencia mediano publicado
  • Unstructured, GPT-4, fragmentación por elementos141 preguntas, 80 informesPrecisión53 %Latencia mediano publicado
  • Balyasny, GPT-4o, RAG mejorado, embeddings ada-002Precisión47 %Latencia mediano publicado
  • Ragie, almacén compartido (top-k 8)Precisión27 %Latencia mediano publicado
  • Mistral, GLM-5.2, RAG en una pasadaPrecisión27 %Latencia mediano publicado
  • Mistral, Mistral Medium 3.5, RAG en una pasadaPrecisión23 %Latencia mediano publicado
  • GPT-4 Turbo, base vectorial compartidaPrecisión19 %Latencia mediano publicado

Todos los resultados publicados

La tabla completa, sin filtros: cada puntuación con sus condiciones de prueba, su alcance, su método de evaluación y su fuente.

Todos los resultados publicados
SistemaCondicionesPrecisiónLatencia mediaAlcanceEvaluaciónFuente
GPT-4 TurboSin documento9 %no publicadoBenchmark completoRevisión humanaIslam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20
ATGSolo proveedores europeos, modo rápidoCorpus compartido93 %31 sBenchmark completoJuez LLM + revisión humanaEsta prueba (2026-10-02)
ATGProveedores de todo el mundo, modo rápidoCorpus compartido92 %11 sBenchmark completoJuez LLM + revisión humanaEsta prueba (2026-10-02)
Mistral Agentic SearchGLM-5.2, búsqueda + navegaciónCorpus compartido86 %71 sBenchmark completoJuez LLMMistral AI, Agentic Search2026-08-20
DeweyClaude Opus 4.6, búsqueda agénticaCorpus compartido84 %no publicadoBenchmark completoComparación numérica + juez LLMDewey, financebench-eval (GitHub)2026-04-08
Mistral Agentic SearchGLM-5.2, solo búsquedaCorpus compartido79 %108 sBenchmark completoJuez LLMMistral AI, Agentic Search2026-08-20
Mistral Agentic SearchMistral Medium 3.5, búsqueda + navegaciónCorpus compartido79 %no publicadoBenchmark completoJuez LLMMistral AI, Agentic Search2026-08-20
Mistral Agentic SearchMistral Medium 3.5, solo búsquedaCorpus compartido70 %no publicadoBenchmark completoJuez LLMMistral AI, Agentic Search2026-08-20
DeweyGPT-5.4, búsqueda agénticaCorpus compartido63 %no publicadoBenchmark completoComparación numérica + juez LLMDewey, financebench-eval (GitHub)2026-04-08
FinSageGPT-4o, RAG multiaspectoCorpus compartido57 %no publicado149 preguntas, 83 informesRevisión humanaWang et al., FinSage (CIKM 2025), arXiv:2504.144932025-04-20
BalyasnyGPT-4o, RAG mejorado, embeddings BAMCorpus compartido55 %no publicadoBenchmark completoRevisión humanaAnderson et al. (Balyasny Asset Management), arXiv:2411.071422024-11-11
UnstructuredGPT-4, fragmentación por elementosCorpus compartido53 %no publicado141 preguntas, 80 informesRevisión humanaJimeno Yepes et al. (Unstructured), arXiv:2402.051312024-02-05
BalyasnyGPT-4o, RAG mejorado, embeddings ada-002Corpus compartido47 %no publicadoBenchmark completoRevisión humanaAnderson et al. (Balyasny Asset Management), arXiv:2411.071422024-11-11
Ragiealmacén compartido (top-k 8)Corpus compartido27 %no publicadoBenchmark completoNo indicadaRagie, How Ragie Outperformed the FinanceBench Test2024-10-22
MistralGLM-5.2, RAG en una pasadaCorpus compartido27 %no publicadoBenchmark completoJuez LLMMistral AI, Agentic Search2026-08-20
MistralMistral Medium 3.5, RAG en una pasadaCorpus compartido23 %no publicadoBenchmark completoJuez LLMMistral AI, Agentic Search2026-08-20
GPT-4 Turbobase vectorial compartidaCorpus compartido19 %no publicadoBenchmark completoRevisión humanaIslam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20
FinanceBench_RAGbúsqueda híbrida por páginaUn solo informe, indexado76 %no publicadoBenchmark completoFiltros por empresa y año aplicados antes de la búsqueda.No indicadaFinanceBench_RAG (GitHub, aquib8112)2026-02-28
Ragiealmacén por documento (top-k 32)Un solo informe, indexado51 %no publicadoBenchmark completoNo indicadaRagie, How Ragie Outperformed the FinanceBench Test2024-10-22
GPT-4 Turbobase vectorial por documentoUn solo informe, indexado50 %no publicadoBenchmark completoRevisión humanaIslam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20
GPT-4 TurboInforme completo incluido79 %no publicadoBenchmark completoRevisión humanaIslam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20
GPT-4 TurboPágina exacta incluida85 %no publicadoBenchmark completoRevisión humanaIslam et al., FinanceBench (Patronus AI), arXiv:2311.119442023-11-20
Pathwaypipeline multiagente, con una persona que responde a las aclaracionesCondiciones no indicadas56 %no publicadoNúmero de preguntas no indicadoUna persona responde a las peticiones de aclaración: no es una puntuación autónoma. Modelo y evaluación no especificados.No indicadaPathway, AI for SEC filings analysis2025-07-09
Pathwaypipeline multiagenteCondiciones no indicadas42 %no publicadoNúmero de preguntas no indicadoModelo y evaluación no especificados.No indicadaPathway, AI for SEC filings analysis2025-07-09
PathwayRAG simpleCondiciones no indicadas24 %no publicadoNúmero de preguntas no indicadoModelo y evaluación no especificados.No indicadaPathway, AI for SEC filings analysis2025-07-09

Cifras de terceros tomadas de sus publicaciones, sin repetir sus pruebas. Un alcance reducido (menos preguntas o informes) hace que la prueba sea más fácil.

Protocolo

Cómo lo hemos probado

  1. 1

    Un único corpus

    Los 368 informes se importan tal cual en una base de conocimiento estándar de ATG, como lo haría un cliente.

  2. 2

    Ningún archivo indicado

    Cada pregunta se plantea sola, en una conversación nueva. ATG tiene que encontrar el documento correcto entre los 368 sin que se le indique. En 11 preguntas cuyo enunciado original no menciona ni la empresa ni el periodo, una frase fija los precisa (« Added note by ATG for disambiguation »), sin cambiar el resto de la pregunta.

  3. 3

    Evaluación

    Un juez LLM independiente (Mistral Medium 3.5) compara cada respuesta con la respuesta de referencia. En cada prueba, una revisión humana corrigió 4 veredictos, con su justificación en el informe. Una pregunta sin respuesta cuenta como error.

  4. 4

    Latencia de extremo a extremo

    Tiempo medido entre el envío de la pregunta y el final de la respuesta, búsqueda incluida, con las preguntas planteadas de una en una. Los informes dan la media, la mediana y el p90.

Transparencia

Cada informe descargable detalla nuestra metodología y, para cada una de las 150 preguntas, la respuesta esperada, la respuesta obtenida por ATG y el veredicto. Cualquiera puede comprobar una evaluación y rebatirla.

Resultados

Lo que obtiene ATG con cada política de IA

Las configuraciones probadas

Una fila por política de IA, ambas en modo rápido. Cada fila corresponde a una pasada completa por las 150 preguntas.

Las configuraciones probadas
Política de IArápido
Proveedores de todo el mundo
Destacada

92 %

138 / 150 respuestas correctas

Media
11 s
Solo proveedores europeos

93 %

139 / 150 respuestas correctas

Media
31 s

Precisión y tiempo de respuesta

Cuanto más arriba y a la izquierda esté un punto, más correcta y rápida es la respuesta.

60 %70 %80 %90 %100 %050100150Latencia media (segundos)Mistral Agentic Search, GLM-5.2Mistral Agentic Search, GLM-5.2rápidorápido
ATG, Proveedores de todo el mundoATG, Solo proveedores europeosMistral AI, Agentic Search

Comparación

Frente a Mistral Agentic Search

El 20 de agosto de 2026, Mistral publicó sus resultados en FinanceBench: las mismas 150 preguntas, los mismos 368 informes, con una búsqueda agéntica que encadena búsquedas y navega por los documentos. Hoy es el resultado publicado más cercano a nuestras condiciones.

Hay dos diferencias con nuestro protocolo: Mistral evalúa las respuestas con un juez LLM calibrado con etiquetas humanas, y solo publica una latencia (media y p90) sin decir a qué modelo corresponde. Nosotros la atribuimos a GLM-5.2, el modelo de todas las demás cifras «de hasta» del artículo.

×6,8

En modo rápido, ATG responde en 11 s de media, frente a 71 s de la configuración más rápida publicada por Mistral AI: respuestas 6,8 veces más rápidas.

Precisión

  • ATG, Solo proveedores europeos, modo rápido

    93 %
  • ATG, Proveedores de todo el mundo, modo rápido

    92 %
  • Mistral Agentic Search, GLM-5.2, búsqueda + navegación

    86 %
  • Mistral Agentic Search, GLM-5.2, solo búsqueda

    79 %
  • Mistral Agentic Search, Mistral Medium 3.5, búsqueda + navegación

    79 %
  • Mistral Agentic Search, Mistral Medium 3.5, solo búsqueda

    70 %
  • Mistral, GLM-5.2, RAG en una pasada

    27 %
  • Mistral, Mistral Medium 3.5, RAG en una pasada

    23 %

Latencia media

  • ATG, Solo proveedores europeos, modo rápido

    31 s
  • ATG, Proveedores de todo el mundo, modo rápido

    11 s
  • Mistral Agentic Search, GLM-5.2, búsqueda + navegación

    71 s
  • Mistral Agentic Search, GLM-5.2, solo búsqueda

    108 s
  • Mistral Agentic Search, Mistral Medium 3.5, búsqueda + navegación

    no publicado
  • Mistral Agentic Search, Mistral Medium 3.5, solo búsqueda

    no publicado
  • Mistral, GLM-5.2, RAG en una pasada

    no publicado
  • Mistral, Mistral Medium 3.5, RAG en una pasada

    no publicado

Cifras de Mistral tomadas de su artículo, no reproducidas por nosotros.

Ejemplo

Ejemplo: una pregunta y la respuesta de ATG

  1. Pregunta (conjunto de prueba, en inglés)

    What is the FY2018 capital expenditure amount (in USD millions) for 3M? Give a response to the question by relying on the details shown in the cash flow statement.

  2. Respuesta esperada

    $1577.00

  3. Respuesta de ATG (política sin restricciones, modo rápido)

    $1,577 million. Per 3M's Consolidated Statement of Cash Flows (fiscal year ended December 31, 2018), the line « Purchases of property, plant and equipment (PP&E) » under Cash Flows from Investing Activities is $(1,577) million, which is the capital expenditure figure.

  4. Documento citado por ATG

    3M_2018_10K.pdf

Veredicto: Correcta, respuesta en 7 segundos

Descargar los resultados

Un informe por configuración, con el protocolo, los resultados y, para cada pregunta, la respuesta de ATG y su veredicto. Acceso libre, sin formulario.

Descargar los resultados
Política de IArápido
Proveedores de todo el mundoPDF, Proveedores de todo el mundo, rápido
Solo proveedores europeosPDF, Solo proveedores europeos, rápido

Para saber más

Artículos y vídeos seleccionados para entender mejor esta solución y ver cómo funciona en la práctica.

Artículos

M&A data room e IA: Datasite, Intralinks, iDeals y MCPGuía

M&A data room e IA: Datasite, Intralinks, iDeals y MCP

Usar la propia IA en la data room de M&A de Datasite, Intralinks o iDeals: IA integrada, MCP o acceso a los archivos. Lo que permite cada una y sus límites.

8 min

Preguntas frecuentes

¿Por qué FinanceBench y no otro benchmark?

Investigadores y empresas de software publican sus puntuaciones en FinanceBench. Eso nos permite compararnos con resultados que no hemos producido nosotros, sobre documentos financieros reales.

¿Por qué ATG no ha ejecutado por sí mismo las demás soluciones?

Para no comparar una solución que dominamos con soluciones que configuraríamos mal. Citamos las cifras que ha publicado cada empresa o equipo de investigación, con sus condiciones de prueba, y las ordenamos por nivel de dificultad.

¿Qué diferencia hay entre proveedores de todo el mundo y solo proveedores europeos?

Es la política de IA que elige el administrador. «Solo proveedores europeos» limita el tratamiento a proveedores europeos (Mistral, Scaleway, Nebius); «de todo el mundo» (política sin restricciones) añade, entre otros, OpenAI y Google. Hicimos la prueba con ambas para que cada cual conozca lo que le cuesta su elección en precisión y en velocidad.

¿Qué significa el modo rápido?

El modo rápido («Fast» en los informes) es el modo de ATG que da prioridad al tiempo de respuesta. Las dos pruebas se hicieron en este modo. Los modos Auto y Thinking, que dejan más tiempo al razonamiento, no forman parte de este benchmark.

¿Los resultados valen para mis documentos?

Dan un orden de magnitud para documentos financieros largos y con muchas tablas. La mejor prueba siguen siendo tus propios documentos: podemos medir la precisión de ATG con una muestra de tus preguntas durante una demo.

¿Y con tus propios informes?

Puedes importar tus informes financieros, plantear las preguntas de tus equipos y medir tú mismo la precisión de las respuestas.