Benchmarks

Benchmarks: la exactitud de nuestra IA, medida en público

Un asistente de IA que responde rápido pero mal cuesta más de lo que aporta. Sometemos ATG a benchmarks públicos y sectoriales en las condiciones de un despliegue real: se mide la solución RAG completa, no un modelo aislado. Y lo publicamos todo: el protocolo, los resultados y la respuesta de ATG a cada pregunta.

Por Jean-Christophe BudinActualizado el

Nuestras reglas para cada evaluación RAG

Condiciones reales

Todos los documentos se cargan en una única base y ATG no sabe cuál contiene la respuesta. Así ocurre en la práctica.

Todas las configuraciones, publicadas

Publicamos cada configuración probada, tanto con proveedores exclusivamente europeos como con proveedores de todo el mundo, incluso cuando obtiene peores resultados.

Comparaciones con fuentes

No ejecutamos nosotros las demás soluciones: citamos las cifras que han publicado, con la fuente, la fecha y el método de evaluación, ordenadas por nivel de dificultad.

Veredictos publicados

Para cada pregunta publicamos la respuesta de ATG y el veredicto. Cualquiera puede comprobar una evaluación y rebatirla.