Benchmarks

Die Genauigkeit unserer KI-Assistenten, öffentlich gemessen

Ein KI-Assistent, der schnell, aber falsch antwortet, kostet mehr, als er einbringt. Wir testen ATG auf öffentlichen und branchenspezifischen Benchmarks unter den Bedingungen eines echten Deployments: Gemessen wird die gesamte RAG-Lösung, nicht ein einzelnes Modell. Und wir veröffentlichen alles: Protokoll, Ergebnisse und die Antwort von ATG auf jede Frage.

Von Jean-Christophe BudinAktualisiert am

Veröffentlichte Benchmarks

Weitere Branchen-Benchmarks sind in Vorbereitung.

Unsere Regeln für jede RAG-Evaluation

Reale Bedingungen

Alle Dokumente liegen in einer einzigen Datenbank, und ATG weiß nicht, welches die Antwort enthält. Das entspricht der Praxis.

Jede Konfiguration veröffentlicht

Jede getestete Konfiguration, mit ausschließlich europäischen wie mit weltweiten Anbietern, wird veröffentlicht, auch wenn sie schlechter abschneidet.

Vergleiche mit Quellen

Wir lassen andere Lösungen nicht selbst laufen: Wir zitieren ihre veröffentlichten Zahlen mit Quelle, Datum und Bewertungsmethode, geordnet nach Schwierigkeitsgrad.

Bewertungen veröffentlicht

Für jede Frage veröffentlichen wir die Antwort von ATG und die Bewertung. Jeder kann eine Bewertung nachprüfen und anfechten.