Benchmarks
Die Genauigkeit unserer KI-Assistenten, öffentlich gemessen
Ein KI-Assistent, der schnell, aber falsch antwortet, kostet mehr, als er einbringt. Wir testen ATG auf öffentlichen und branchenspezifischen Benchmarks unter den Bedingungen eines echten Deployments: Gemessen wird die gesamte RAG-Lösung, nicht ein einzelnes Modell. Und wir veröffentlichen alles: Protokoll, Ergebnisse und die Antwort von ATG auf jede Frage.
Veröffentlichte Benchmarks
Weitere Branchen-Benchmarks sind in Vorbereitung.
Unsere Regeln für jede RAG-Evaluation
Reale Bedingungen
Alle Dokumente liegen in einer einzigen Datenbank, und ATG weiß nicht, welches die Antwort enthält. Das entspricht der Praxis.
Jede Konfiguration veröffentlicht
Jede getestete Konfiguration, mit ausschließlich europäischen wie mit weltweiten Anbietern, wird veröffentlicht, auch wenn sie schlechter abschneidet.
Vergleiche mit Quellen
Wir lassen andere Lösungen nicht selbst laufen: Wir zitieren ihre veröffentlichten Zahlen mit Quelle, Datum und Bewertungsmethode, geordnet nach Schwierigkeitsgrad.
Bewertungen veröffentlicht
Für jede Frage veröffentlichen wir die Antwort von ATG und die Bewertung. Jeder kann eine Bewertung nachprüfen und anfechten.