Benchmarks
La précision de nos assistants, mesurée sur des tests publics
Un assistant IA qui répond vite mais faux coûte plus cher qu'il ne rapporte. Nous passons ATG sur des benchmarks publics et sectoriels, dans les conditions d'un vrai déploiement, et nous publions tout : protocole, résultats et réponse d'ATG à chaque question.
Benchmarks publiés
D'autres benchmarks sectoriels sont en préparation.
Nos règles pour chaque benchmark
Conditions réelles
Tous les documents sont chargés dans une seule base, et ATG ne sait pas lequel contient la réponse. Cela correspond aux situations terrain.
Chaque configuration publiée
Chaque configuration testée, fournisseurs européens uniquement comme fournisseurs mondiaux, est publiée, y compris quand elle fait moins bien.
Comparaisons sourcées
Nous ne refaisons pas tourner les autres solutions : nous citons leurs chiffres publiés, avec la source, la date et la méthode de notation, rangés par niveau de difficulté.
Verdicts publiés
Pour chaque question, nous publions la réponse d'ATG et le verdict. Chacun peut vérifier une notation et la contester.