Benchmarks
Benchmarks: la exactitud de nuestra IA, medida en público
Un asistente de IA que responde rápido pero mal cuesta más de lo que aporta. Sometemos ATG a benchmarks públicos y sectoriales en las condiciones de un despliegue real: se mide la solución RAG completa, no un modelo aislado. Y lo publicamos todo: el protocolo, los resultados y la respuesta de ATG a cada pregunta.
Benchmarks publicados
Estamos preparando otros benchmarks sectoriales.
Nuestras reglas para cada evaluación RAG
Condiciones reales
Todos los documentos se cargan en una única base y ATG no sabe cuál contiene la respuesta. Así ocurre en la práctica.
Todas las configuraciones, publicadas
Publicamos cada configuración probada, tanto con proveedores exclusivamente europeos como con proveedores de todo el mundo, incluso cuando obtiene peores resultados.
Comparaciones con fuentes
No ejecutamos nosotros las demás soluciones: citamos las cifras que han publicado, con la fuente, la fecha y el método de evaluación, ordenadas por nivel de dificultad.
Veredictos publicados
Para cada pregunta publicamos la respuesta de ATG y el veredicto. Cualquiera puede comprobar una evaluación y rebatirla.