RAG-Audit und Evaluation: Chatbot verbessern oder ersetzen
Foto von Berke Citak auf Unsplash

RAG-Audit und Evaluation: Chatbot verbessern oder ersetzen

Ihr internes RAG enttäuscht? Audit-Raster in 7 Schichten, Tests für Ihr eigenes Tool, eine Methode zur RAG-Evaluation und Kriterien: verbessern oder ersetzen.

Leitfaden
13 Min. Lesezeit

Viele IT-Abteilungen, die wir treffen, kommen über dasselbe Szenario zur Frage nach einer RAG-Evaluation. Ein technisches Team hat 2024 oder 2025 ein eigenes RAG gebaut: einen internen Chatbot, angebunden an SharePoint oder Confluence, eine Vektordatenbank, die API eines großen Modells. Die Demo hat überzeugt, das Tool ist in Produktion, und es enttäuscht: Es antwortet am Thema vorbei oder zu langsam, als dass man sich die Mühe machen würde zu warten. Gartner hatte vorhergesagt, dass mindestens 30 % der Projekte für generative KI bis Ende 2025 nach dem POC aufgegeben würden. Für die, die überlebt haben, ist die nächste Frage die des RAG-Audits: Woher kommen diese Mängel, und was ist zu tun?

Der Reflex ist, das Modell zu wechseln. Dort liegt das Problem selten. Wir haben das an unserem eigenen RAG festgestellt: Auf dem öffentlichen Benchmark FinanceBench brachte der Wechsel von Qwen3.8 27B, dem für unseren Benchmark gewählten Modell, zu Gemini 3.8 Flash keinen signifikanten Unterschied, ebenso wenig wie ein höheres Reasoning-Budget des Modells. Ein RAG stößt zuerst wegen seiner Architektur an seine Grenzen, nicht wegen seines LLM.

Dieser Artikel liefert ein Audit-Raster in sieben Schichten, mit Tests, die Sie diese Woche an Ihrem eigenen Tool durchführen können, einer Methode zum Messen und Kriterien für die Entscheidung, ob es verbessert oder ersetzt werden sollte. Die Tests stammen aus dem, was wir bauen mussten, damit unser eigenes RAG bei mehreren unserer Kunden mit mehr als 100.000 Dokumenten zuverlässig läuft.

Welche Symptome zeigen, dass ein internes RAG auditiert werden muss?

Ein Nutzer sagt nie „der Recall der Suche ist schlecht“. Er sagt „er findet es nicht“. Jede Beschwerde einer technischen Schicht zuzuordnen, ist schon die halbe Miete des Audits. Scott Barnett und seine Mitautoren haben aus drei Deployments sieben Fehlerpunkte eines RAG erhoben. Die folgende Tabelle greift sie auf und ergänzt die, denen wir in Unternehmen begegnen: Synchronisierung, Rechte, Betrieb.

Was die Nutzer sagenWahrscheinliche UrsacheZu auditierende Schicht
„Er findet ein Dokument nicht, von dem ich weiß, dass es da ist“Dokument schlecht extrahiert oder nie indexiert; richtige Passage hinter den 5 oder 10 übernommenen eingestuft; exakte Referenz, die die Vektorsuche nicht findetIngestion, Suche
„Er erfindet etwas“Die Antwort steht nicht in den Dokumenten, und das Tool antwortet trotzdem, statt es zu sagenGenerierung
„Er antwortet nur halb“Eine einzige Suche für eine Frage, die mehrere verlangt; zu langes Dokument, kommentarlos abgeschnittenSuche, Generierung
„Er zitiert eine alte Version“Widersprüchliche Versionen, bei der Indexierung verlorene DatumsangabenIngestion, Messung
„Die Zahlen stimmen nicht“Tabelle zwischen zwei Fragmenten getrennt, Tabellenkalkulation zusammengefasst statt gelesenIngestion
„Dokumente sind verschwunden“Synchronisierung, die einen Vorfall für eine Löschung gehalten hatKonnektoren
„Er ist langsam“Schritte nacheinander statt parallel, dieselbe schwere Verarbeitung für alle Fragen, nichts angezeigt während des WartensSuche, Betrieb
„Er stürzt ab“Ein einziger Modellanbieter, schwere Verarbeitungen, die sich gegenseitig blockierenBetrieb
„Wir benutzen ihn nicht mehr“Antworten zu langsam im Vergleich zu ChatGPT; keine Schleife zwischen negativem Feedback und KorrekturenBetrieb, Messung

Dieselben Autoren ziehen aus ihren Fällen eine Lehre, die für jedes Unternehmens-RAG gilt: Seine Validierung ist erst im Betrieb möglich, und seine Robustheit entsteht im Lauf der Nutzung, nicht beim Design. Ein RAG, das ohne Messung in der Produktion ausgeliefert wird, verschlechtert sich, ohne dass es jemand bemerkt.

Warum ein selbst gebautes RAG an Grenzen stößt: die Suche in einem Durchgang

Die meisten RAG, die nach den Tutorials von 2023 und 2024 gebaut wurden, folgen demselben Schema. Die Frage wird in einen Vektor umgewandelt, die Datenbank liefert die 5 oder 10 nächstgelegenen Passagen, das Modell formuliert die Antwort aus diesen Passagen. Dieses Schema funktioniert gut für „Wie sieht unsere Homeoffice-Regelung aus?“. Es scheitert, sobald die Frage verlangt, mehrere Dokumente zu vergleichen, aufzulisten, zu zählen oder ein langes Dokument zu lesen.

FinanceBench zeigt das in Zahlen. Dieser Satz von Fragen aus der Finanzanalyse, Ende 2023 von Patronus AI veröffentlicht, verlangt, die Antwort in Hunderten von Jahres- und Quartalsberichten zu suchen. Je nachdem, wie das System sucht, ändern sich die Ergebnisse grundlegend:

KonfigurationRichtige Antworten
GPT-4 Turbo, eine Suche in einer gemeinsamen Vektordatenbank19 %
Mistral Medium 3.5, RAG in einem Durchgang22,7 %
Mistral Medium 3.5, agentische Suche mit Navigation in den Dokumenten78,7 %
GPT-4 Turbo, die richtige Seite vorab mitgegeben85 %
ATG, 368 Berichte in einer einzigen Datenbank, ohne Hinweis auf das richtige Dokument92 %, im Schnitt in 10,5 s

Die Zahlen von Mistral und ATG werden von jedem Anbieter für seine eigene Lösung veröffentlicht. Wir veröffentlichen das Protokoll und das Urteil zu jeder Frage, damit jeder es überprüfen kann.

Ein Wechsel des LLM bringt Sie nicht von einer Zeile der Tabelle in die andere. Mit demselben Modell steigt Mistral von 22,7 % auf 78,7 %, allein durch eine andere Art zu suchen. Unsere Erfahrung geht in dieselbe Richtung: Auf FinanceBench erreichen Qwen3.8 27B und Gemini 3.8 Flash Scores ohne signifikanten Unterschied, und mehr Reasoning-Budget für das Modell ändert daran auch nichts. Um die richtigen Passagen zu finden, fällt das Modell kaum ins Gewicht.

Anderswo macht es dagegen einen großen Unterschied: beim Entwurf eines komplexen Suchplans in mehreren Schritten, beim Formulieren einer langen, strukturierten Antwort oder beim Interpretieren einer schlecht formulierten Frage. In einem internen Chatbot, wo Fragen selten so präzise ankommen wie in einem Benchmark, sind diese Unterschiede sichtbar. Wenn Ihr RAG auf einem einzigen Durchgang aufgebaut ist, wird das Audit wahrscheinlich zu dem Schluss kommen, dass die Architektur geändert werden muss, nicht das Modell. Diesen Übergang vom linearen zum agentischen RAG beschreiben wir ausführlich in unserem Leitfaden.

Warum ein langsamer interner Chatbot am Ende aufgegeben wird

Ihre Beschäftigten vergleichen Ihren Assistenten nicht mit der alten Intranet-Suche. Sie vergleichen ihn mit ChatGPT, dessen Antwort fast sofort zu erscheinen beginnt, und mit den KI-Übersichten, die Google oben in seinen Ergebnissen anzeigt. Daneben verliert ein interner Chatbot, der zwanzig Sekunden lang eine Sanduhr drehen lässt, den Vergleich, selbst wenn seine Antwort besser ist. Niemand beschwert sich: Die Nutzer suchen wieder in SharePoint oder fragen den Kollegen nebenan, und die Nutzungskurve sinkt. Ein richtiger, aber langsamer Assistent wird am Ende links liegen gelassen. Ein Audit, das nur die Richtigkeit der Antworten misst, übersieht das.

Die Schwellen sind in der Ergonomie seit Langem bekannt. Jakob Nielsen fasst sie so zusammen: Eine Sekunde ist die Grenze, bis zu der der Gedankenfluss des Nutzers nicht unterbrochen wird, zehn Sekunden die Grenze, um seine Aufmerksamkeit zu halten. Darüber hinaus muss man zeigen, wie weit die Verarbeitung ist. Ein RAG, das Vektorberechnung, Suche, Reranking und Formulierung aneinanderreiht, ohne etwas anzuzeigen, überschreitet diese Schwellen leicht.

Die agentische Suche, die auf FinanceBench 56 Punkte bringt, verschärft das Problem: Mehrere Suchen dauern länger als eine. Zwischen Richtigkeit und Geschwindigkeit muss man deshalb nicht wählen. Drei Hebel erlauben beides:

  • langes Reasoning den Fragen vorbehalten, die es verlangen, und einfache Fragen sofort beantworten;
  • die Arbeit zeigen, während sie geschieht: gestartete Suchen, gelesene Dokumente, dann Text, der während der Generierung erscheint;
  • die Schritte parallel starten und jedem eine Höchstdauer geben, damit eine langsame Komponente nicht die ganze Antwort aufhält.

Bei ATG klassifiziert ein kleines Modell jede Frage in 300 Millisekunden, um sie an ein schnelles Modell oder an ein Reasoning-Modell weiterzuleiten. Der Vektor der Frage wird gleichzeitig bei zwei Anbietern angefragt, und der schnellere gewinnt. Die Suchen laufen parallel mit einem Budget von 8 Sekunden, das Reranking hat 2, und ein Modellanbieter, der nach 5 Sekunden noch nicht zu antworten begonnen hat, wird durch einen anderen ersetzt. Währenddessen sieht der Nutzer jedes aufgerufene Tool und seine Dauer, dann die Antwort Wort für Wort entstehen. Auf FinanceBench, wo eine Analystenfrage oft mehrere Suchen in Hunderten von Berichten verlangt, kommt die vollständige Antwort im Schnitt nach 10,5 Sekunden.

Wie man ein RAG auditiert: das Raster in sieben Schichten

Jede der folgenden Schichten listet auf, was zu prüfen ist, mit konkreten Tests. Die meisten lassen sich ohne Zugriff auf den Code durchführen: ein Nutzerkonto und ein paar Dokumente, deren Inhalt Sie kennen, genügen. Für jede Schicht geben wir an, was ATG tut, als Vergleichspunkt.

1. Ingestion: was Ihr RAG wirklich gelesen hat

Die Qualität einer Antwort übersteigt nie die Qualität dessen, was indexiert wurde. Gescannte PDFs, Tabellen über mehrere Seiten, Excel-Dateien, Diagramme: Ein großer Teil der Fehler entsteht hier, lange vor dem Modell.

  • Nehmen Sie eine Preistabelle, die sich über drei Seiten erstreckt, und stellen Sie eine Frage zu einer Zeile auf der letzten Seite. Verwechselt die Antwort die Spalten, hat das Fragment mit Seite 3 den Tabellenkopf verloren.
  • Fragen Sie nach einer genauen Zahl aus einer Excel-Datei. Prüfen Sie, ob sie aus der Zelle stammt und nicht aus einer Zusammenfassung, die ein Modell bei der Indexierung verfasst hat.
  • Laden Sie ein gescanntes PDF hoch und finden Sie es dann über einen Satz wieder, den es enthält.
  • Stellen Sie eine Frage, deren Antwort nur in einem Diagramm oder einem Screenshot steht.

Bei ATG wiederholt jede Fortsetzung einer zerlegten Tabelle Kopfzeile und Legende: Ohne das ist die zweite Hälfte einer Tabelle nur eine Folge von Zahlen ohne Spalten. Tabellenkalkulationen werden beim Antworten an der Quelle neu gelesen, ausgeblendete Blätter und berechnete Formeln eingeschlossen. Die von einem Vision-Modell erzeugten Bildbeschreibungen werden als zu prüfen markiert, weil sie sich oft irren, und der Agent kann sie am Originalbild kontrollieren.

2. Konnektoren und Synchronisierung: was nach sechs Monaten passiert

Eine Quelle anzubinden dauert einen Tag. Sie über Monate synchron zu halten, ohne etwas zu verlieren oder zu duplizieren, ist der schwierige Teil, und der in der Demo am wenigsten sichtbare.

  • Benennen Sie ein Dokument in Ihrem DMS um oder verschieben Sie es. Wie lange zitiert der Assistent es unter seinem alten Namen oder in seinem alten Ordner?
  • Fragen Sie das Team, was passiert, wenn die API des DMS wegen eines Vorfalls eine leere Liste zurückgibt. Lautet die Antwort „wir löschen, was nicht mehr aufgelistet ist“, kann ein Vorfall von einer Minute Ihre Wissensdatenbank leeren.
  • Dieselbe Frage für das Servicekonto eines Konnektors, dessen Passwort abläuft.
  • Suchen Sie im Index nach einer Seite „Bitte melden Sie sich an“ oder einem Captcha, das anstelle des echten Inhalts einer Website indexiert wurde.

Bei ATG blockiert ein Rückgang der Dokumentenzahl einer Quelle um mehr als 30 % jede Löschung, bis ein zweiter vollständiger Scan sie bestätigt. Ein Authentifizierungsfehler stoppt die Aktualisierung, statt als „Inhalt gelöscht“ interpretiert zu werden. Der Crawler, der Websites indexiert, erkennt Captchas, Anmeldeseiten und Seiten mit „Zugriff verweigert“, auch auf Französisch.

3. Suche: die richtige Passage unter Hunderttausenden finden

  • Suchen Sie ein Dokument über eine exakte Referenz: „NF-2024-117“, einen Produktcode, eine Vertragsnummer. Die reine Vektorsuche scheitert in diesem Fall oft, weil eine Referenz keine Bedeutung hat, die Embeddings erfassen könnten. Das ist die Aufgabe der hybriden Suche.
  • Beschränken Sie die Suche auf einen kleinen Ordner und vergleichen Sie die Ergebnisse mit dem, was Sie dort zu finden wissen.
  • Fragen Sie „Wie viele Verfahrensanweisungen behandeln X?“ oder „Liste alle 2025 unterzeichneten Verträge auf“. Ein RAG, das 10 Passagen zurückliefert, kann nicht zählen: Es extrapoliert aus dem, was es gesehen hat.
  • Stellen Sie eine Frage, die das vollständige Lesen eines Lastenhefts von 400 Seiten erfordert, zum Beispiel „Liste alle Sicherheitsanforderungen auf“.

Bei ATG kombiniert die Suche einen lexikalischen Index (BM25), einen Vektorindex und einen Reranker, der die Ergebnisse neu ordnet. Den zweiten Test zu verstehen, hat uns viel gekostet: Bei 341.000 Fragmenten dauerte eine naive gefilterte Suche 13,5 Sekunden, und das Erzwingen des approximativen Vektorindex (HNSW) fand keines der 8 erwarteten Ergebnisse, wenn der Filter 2,5 % der Sammlung abdeckte. Das System wählt seine Methode jetzt je nach Größe des Filters: 369 Millisekunden im 90. Perzentil, bei 99,8 % Recall. Approximative Vektorindizes verlieren Ergebnisse, ohne es zu melden. Bestandsfragen laufen dagegen über deterministische SQL-Abfragen, mit einer Kontrolle, die prüft, ob alle Ergebnisseiten gelesen wurden, bevor die Liste für vollständig erklärt wird.

4. Generierung: was das Modell aus den gefundenen Passagen macht

  • Stellen Sie eine Frage, von der Sie wissen, dass die Antwort nicht in den Dokumenten steht. Das richtige Verhalten ist „Ich finde diese Information nicht“, keine plausible Antwort.
  • Geben Sie ein Dokument ein, das länger ist als das Kontextfenster des Modells. Sagt der Assistent, dass er nicht alles gelesen hat, oder schneidet er das Ende ohne Hinweis ab?
  • Bei einem an eine Datenbank angebundenen Assistenten: Stellen Sie eine Frage in zwei Teilen. Weist er darauf hin, dass er nur einen der beiden beantwortet hat?
  • Prüfen Sie, ob jede Antwort ihre Quellen nennt, mit einem Link, der zur exakten Passage führt.

Selbst professionelle Tools irren sich. Laut Forschenden aus Stanford halluzinieren Lexis+ AI und die Tools von Thomson Reuters in 17 % bis 33 % der Fälle bei juristischen Fragen. Wenn spezialisierte Anbieter dem nicht entgehen, gibt es keinen Grund, warum ein ungemessenes internes RAG ihm entgehen sollte. Bei ATG ist das Lesen eines ganzen Dokuments begrenzt; darüber hinaus verweigert das Tool und lenkt den Agenten auf eine Erkundung Passage für Passage, statt stillschweigend abzuschneiden. Eine Antwort wie „Ich lese die restlichen Seiten noch einmal“, obwohl nichts getan wurde, wird erkannt und erneut angestoßen und dann als Fehlschlag gemeldet, wenn der neue Anlauf nicht reicht.

5. Zugriffsrechte, Sicherheit und Souveränität

Ein RAG stellt das Wissen des ganzen Unternehmens hinter ein einziges Eingabefeld. Das ist auch eine Angriffsfläche.

  • Entziehen Sie einem Nutzer den Zugriff auf ein Dokument. Kann er es in einer alten Unterhaltung mit dem Assistenten noch finden?
  • Fragen Sie, wo die Vektoren gespeichert werden und welche Anbieter den Inhalt der Dokumente bei der Indexierung erhalten (Bildbeschreibung, Verschlagwortung, Übersetzung), nicht nur beim Antworten.
  • Lesen Sie die Anwendungslogs: Enthalten sie Auszüge aus Dokumenten oder die Fragen der Beschäftigten?
  • Bei einem HR- oder Rechtsassistenten: Wer in der IT-Abteilung kann die gestellten Fragen lesen?

Bei ATG werden die Rechte bei jedem Lesezugriff geprüft, auch für eine Tabelle, die bereits in einer Unterhaltung extrahiert wurde. Die Anbieterrichtlinie (Europa oder weltweit) wird für die gesamte Organisation festgelegt und gilt auch für die Verarbeitung der Dokumente, denn ein „souveräner“ Modus, der sich auf die finale Antwort beschränkt, lässt das Wesentliche durch. Ein Agent kann als privat markiert werden: Seine Unterhaltungen werden für Administratoren unlesbar, die Statistiken bleiben verfügbar. Mehr zu Hosting und anwendbarem Recht finden Sie auf unserer Seite Souveräne KI.

6. Betrieb: Geschwindigkeit, Ausfälle und Last

  • Stoppen Sie die Zeit bei einem Dutzend echter Fragen, einfacher und komplexer: Zeit bis zum ersten Lebenszeichen auf dem Bildschirm, dann Zeit bis zur vollständigen Antwort. Stellen Sie dieselben Fragen ChatGPT, denn diesen Vergleich ziehen Ihre Nutzer.
  • Sagen Sie „Hallo“ oder stellen Sie eine triviale Frage. Dauert die Antwort so lange wie eine Analyse, laufen alle Fragen durch dieselbe schwere Kette.
  • Was sehen Ihre Nutzer, wenn Ihr einziger Modellanbieter ausfällt oder Sie drosselt? Dieses Risiko haben wir in den Fehlern, die nach dem POC kommen, ausführlich beschrieben.
  • Laden Sie 50 Dateien auf einmal hoch und beobachten Sie die Verarbeitungszeiten.
  • Stellen Sie auf dem Smartphone eine lange Frage, sperren Sie den Bildschirm 30 Sekunden und kehren Sie zurück. Ist die Antwort da?
  • Wenn eine Indexierung mittendrin abstürzt: Wissen Sie, welche Dokumente aktuell, halb verarbeitet oder fehlend sind?

Der Test mit den 50 Dateien stammt aus einem echten Vorfall bei uns: 56 gleichzeitig hochgeladene Dateien hatten 56 vollständige Neuberechnungen ausgelöst, die zwei Stunden lang in der Warteschlange liefen. Seitdem werden diese Verarbeitungen gebündelt. Bei ATG verfügt jede Aufgabe über mehrere Modellanbieter mit automatischem Failover, und eine Antwort wird weiter generiert, selbst wenn die Verbindung des Browsers abbricht.

7. Messung und kontinuierliche Verbesserung

  • Woher wussten Sie nach dem letzten Wechsel von Modell oder Prompt, dass der Assistent nicht schlechter antwortet als vorher?
  • Was passiert mit dem negativen Feedback der Nutzer? Wird es gelesen, nach Ursache sortiert und bis zur Korrektur verfolgt?
  • Wenn zwei Versionen einer Verfahrensanweisung in Ihren Quellen nebeneinander existieren: Welche zitiert der Assistent?
  • Wenn eine fachliche Antwort falsch ist: Wer korrigiert die Anweisungen, der Fachexperte oder ein Ticket an die IT-Abteilung?

Bei ATG wird jedes negative Feedback zu einer Aufgabe, die nach Ursache eingeordnet wird: Anweisungen des Agenten, Dokumentation, Suche, Quelle, Bug. Die Fachverantwortlichen ändern und testen die Anweisungen ihres Agenten selbst vor der Veröffentlichung. Die Plattform erkennt außerdem Widersprüche zwischen Dokumenten, eine häufige Ursache für falsche Antworten, obwohl das RAG technisch funktioniert. Ohne diese Schleife sinkt die Qualität in dem Maß, wie sich die Dokumente ändern.

RAG-Evaluation: Testset und LLM als Richter

Korrigieren ohne zu messen heißt, die Fehler zu verschieben. Bevor man das System anfasst, braucht es ein Mittel, um zu wissen, ob es besser oder schlechter antwortet als gestern.

Ein Testset aus echten Fragen

Stellen Sie 100 bis 300 Fragen aus den Nutzungslogs zusammen, jede mit ihrer richtigen Antwort und dem Dokument, das sie enthält. Mischen Sie die Typen: einfache Fragen, exakte Referenzen, Vergleiche zwischen mehreren Dokumenten, Zählungen, alte Dokumente und Fragen außerhalb des Umfangs, deren richtige Antwort „Ich weiß es nicht“ lautet. Barnett und seine Mitautoren stellen fest, dass diese unternehmensspezifischen Frage-Antwort-Paare oft fehlen: Sie aufzubauen ist das erste Ergebnis eines Audits, und ein Wert, der Ihnen bleibt, was auch immer danach kommt. Spielen Sie diesen Satz nach jedem Wechsel von Modell, Prompt oder Dokumentenverarbeitung erneut durch.

Das LLM als Richter

Jede Woche Hunderte Antworten von Hand zu bewerten, ist unrealistisch. Ein LLM als Richter (LLM-as-a-Judge) vergleicht jede Antwort mit der erwarteten Antwort und bewertet sie. Die Methode ist seriös: In der Studie von Zheng und seinen Mitautoren stimmte GPT-4 in mehr als 80 % der Fälle mit den menschlichen Präferenzen überein, so oft wie zwei menschliche Bewerter untereinander. Dasselbe Paper beschreibt auch seine Verzerrungen: Vorliebe für die zuerst präsentierte Antwort, für lange Antworten, für die eigenen Antworten. Lassen Sie eine Stichprobe von Hand gegenlesen. Auf FinanceBench werden unsere Urteile von einem LLM als Richter vergeben und dann von einem Menschen überprüft.

Was ein Score nicht zeigt

Ein Testset sieht nur die Fragen, die es enthält. Ein nie indexiertes Dokument, eine durch einen Synchronisierungsvorfall geleerte Quelle, ein falsch vererbtes Zugriffsrecht oder ein Ausfall eines Anbieters bleiben unbemerkt, solange keine Frage sie berührt, und Bestandsfragen fehlen dort oft. Ein Testset bewertet die Antwortkette, ein Audit bewertet das ganze System.

Ihr RAG verbessern oder ersetzen: wie man entscheidet

Ein Audit führt zu einer dieser Situationen:

Was das Audit zeigtWahrscheinliche Entscheidung
Lokalisierte Ursachen: ein schlecht extrahiertes Format, ein Prompt, ein KonnektorKorrigieren, dann mit dem Testset messen
Richtige, aber zu langsame AntwortenKorrigieren, wenn die Langsamkeit von einem bestimmten Schritt kommt; neu aufsetzen, wenn die ganze Kette sequenziell ist
Architektur in einem Durchgang, nur VektorsucheDie Engine neu aufsetzen, was fast einem Neubau gleichkommt
Selbst gebaute Konnektoren, die bei jeder API-Änderung brechenDie Integrationsschicht ersetzen
Weder Testset noch Feedback-Monitoring, ursprüngliches Team wegErsetzen, unter Erhalt der weiter unten aufgeführten Werte
RAG im Kern eines Produkts, das Sie verkaufen, mit dauerhaft eigenem TeamBehalten und investieren

Den letzten Fall gibt es. Wenn das RAG Ihr Produkt ist, ist es Ihr Geschäft, es zu bauen. In den anderen Fällen kostet der Prototyp wenig. Was kostet, ist alles, was ihn umgibt, und das hört nie auf. Die Modelle ändern sich mit jeder Version, die APIs der Quellen entwickeln sich, die Dokumente widersprechen sich. Der Bericht des MIT zu generativer KI in Unternehmen nennt eine Größenordnung: Bei spezialisierten Anbietern gekaufte Lösungen sind in etwa 67 % der Fälle erfolgreich, Eigenentwicklungen dreimal seltener. Die Methode dieses Berichts ist umstritten, aber der Abstand entspricht dem, was wir in der Praxis sehen.

Was man beim Ersetzen behalten sollte

Die Engine lässt sich ersetzen. Ihr Wissen über die Nutzung nicht. Vor einem Lösungswechsel sollten Sie sichern:

  • die Fragenlogs, die zeigen, was die Nutzer wirklich suchen;
  • das Testset und seine erwarteten Antworten;
  • das Fachvokabular: Akronyme, Produktnamen, alte Bezeichnungen;
  • die fachlichen Anweisungen und die Liste der maßgeblichen Quellen.

Man kann auch die Engine ersetzen und den Rest behalten. Eine Lösung wie ATG kann als Engine hinter Ihrer bestehenden Oberfläche dienen, per API oder über ein Widget, das in das Portal eingebunden wird, das Ihre Teams bereits nutzen.

Die Gegenargumente, die man im Kopf behalten sollte

Ein Anbieter schafft eine Abhängigkeit. Prüfen Sie die Reversibilität (Export der Daten, der Unterhaltungen und der Einstellungen), den Hosting-Standort und das auf die Muttergesellschaft anwendbare Recht. Benchmarks, die ein Anbieter über sich selbst veröffentlicht, unsere eingeschlossen, bleiben Behauptungen: Bestehen Sie darauf, auf Ihren eigenen Dokumenten mit Ihrem Testset zu testen.

Was ATG für ein enttäuschendes RAG anbietet

Zwei Einstiegspunkte, je nachdem, wo Sie stehen.

Ihr RAG auditieren lassen, auch wenn wir es nicht gebaut haben. Unser Audit kombiniert Interviews mit den Entwicklern und den Nutzern, eine Durchsicht des Designs, Tests auf Ihren Dokumenten mit Fragen, deren Antwort bekannt ist, und die Analyse der echten Logs, wenn es sie gibt. Rechnen Sie je nach Umfang mit einigen Tagen bis einigen Wochen. Sie erhalten eine schriftliche Diagnose und nach Wirkung geordnete Empfehlungen, von schnellen Einstellungen bis zum Wechsel des Ansatzes. Wenn ein Drittanbieter-Tool Ihren Bedarf besser erfüllt als unsere Plattform, sagen wir es Ihnen.

Die Engine durch eine Lösung ersetzen, die bereits läuft. Die in diesem Raster beschriebenen Mechanismen existieren in dem RAG von ATG: Konnektoren zu Ihren Tools, Übernahme der Zugriffsrechte, hybride und agentische Suche, Weiterleitung zwischen schnellem Modell und Reasoning-Modell, fortlaufend angezeigte Antworten, Quellenangaben, Evaluierungskampagnen, Monitoring des Feedbacks. Hosting in Europa oder auf Ihren Servern. Bei 4 Kunden und Interessenten, bei denen wir beide Optionen verglichen haben, lagen die Gesamtkosten über 2 Jahre um 55 bis 80 % niedriger als bei einer Eigenentwicklung.

Häufige Fragen zu Audit und Evaluation eines RAG

Wie auditiert man ein RAG im Unternehmen?

Indem man jede Beschwerde der Nutzer einer technischen Schicht zuordnet und dann sieben Schichten testet: Ingestion der Dokumente, Konnektoren und Synchronisierung, Suche, Generierung, Rechte und Sicherheit, Betrieb, Messung. Die meisten Tests lassen sich mit einem einfachen Nutzerkonto durchführen: eine Tabelle über drei Seiten, eine exakte Referenz, eine Zählfrage, eine Frage außerhalb des Umfangs. Ergänzt wird das durch einen Satz von Fragen mit bekannter Antwort, der erneut durchlaufen und bewertet wird.

Wie verbessert man ein RAG, das schlechte Antworten gibt?

Zuerst messen, mit einem Satz von 100 bis 300 echten Fragen, dann den Fehler lokalisieren. Wird die richtige Passage nicht gefunden, muss man bei der Ingestion oder der Suche ansetzen (hybride Suche, Reranker, mehrere Suchen). Wird die Passage gefunden, aber schlecht genutzt, bei der Generierung. Ein Modellwechsel hilft selten, die richtigen Passagen zu finden: In unseren Versuchen auf FinanceBench hat der Wechsel von Qwen3.8 27B zu Gemini 3.8 Flash den Score nicht signifikant verändert, während Mistral allein durch eine andere Art zu suchen von 22,7 % auf 78,7 % richtige Antworten kommt.

Wie evaluiert man die Qualität eines RAG?

Mit einem Testset aus echten Fragen, jede mit ihrer richtigen Antwort und ihrem Quelldokument, bewertet von einem LLM als Richter und teilweise von einem Menschen gegengelesen. Dieser Score ersetzt kein Audit, das auch die Indexierung, die Synchronisierung der Quellen und die Zugriffsrechte prüft.

Warum findet mein RAG ein Dokument nicht, das existiert?

Drei Ursachen kommen am häufigsten vor. Das Dokument wurde schlecht extrahiert oder nie indexiert (gescanntes PDF, stiller Fehler). Die richtige Passage wird gefunden, aber hinter den 5 oder 10 Ergebnissen eingestuft, die an das Modell gehen. Oder die Frage enthält eine exakte Referenz, einen Code oder einen Eigennamen, den die reine Vektorsuche schlecht findet: Dann braucht es eine hybride Suche, die exakte Wörter und Bedeutung kombiniert.

Welche Antwortzeit sollte ein interner Chatbot anstreben?

Ein erstes Lebenszeichen auf dem Bildschirm in weniger als einer Sekunde und den Beginn der Antwort in wenigen Sekunden bei einer einfachen Frage: Daran haben ChatGPT und die KI-Übersichten von Google die Nutzer gewöhnt. Eine Frage, die mehrere Suchen erfordert, darf länger dauern, sofern das Tool zeigt, was es tut. In der Ergonomie sind zehn Sekunden ohne Rückmeldung die Grenze, jenseits derer man die Aufmerksamkeit des Nutzers verliert. Zum Vergleich: ATG beantwortet die Fragen aus der Finanzanalyse von FinanceBench im Schnitt in 10,5 Sekunden.

Muss man das LLM wechseln, um ein RAG zu verbessern?

Selten als Erstes. Die meisten Enttäuschungen rühren von dem her, was das Modell erhält, nicht von dem, was es daraus macht. Auf FinanceBench beantwortet GPT-4 Turbo mit einer einfachen Suche 19 % der Fragen richtig und 85 %, wenn man ihm die richtige Seite gibt. Ein leistungsfähigeres Modell hilft danach, vor allem um komplexe Suchen zu planen, lange Antworten zu formulieren und schlecht formulierte Fragen zu verstehen.

Wie lange dauert das Audit eines RAG?

Einige Tage bis einige Wochen, je nach Umfang: Zahl der Quellen, Zugang zur technischen Dokumentation und zu den Nutzungslogs, Vorhandensein eines Testsets. Der Aufbau dieses Testsets nimmt oft einen guten Teil der Zeit in Anspruch und bleibt nützlich, wie auch immer die anschließende Entscheidung ausfällt.

Sollte man einen intern entwickelten Chatbot ersetzen?

Nicht unbedingt. Zeigt das Audit lokalisierte Ursachen, wird korrigiert. Wenn die Architektur nur eine Suche pro Frage macht, die Konnektoren regelmäßig brechen oder niemand die Qualität misst, kostet das Ersetzen der Engine oft weniger als ein Neubau. Man behält dann die Logs, das Testset und das Fachvokabular und kann die bestehende Oberfläche beibehalten.


Ein internes RAG, das enttäuscht, wurde meist für die Demo gebaut und dann ohne die Schichten ausgeliefert, die es in der Produktion richtig und schnell machen. Das Audit zeigt, welche fehlen. Bleibt eine wirtschaftliche Entscheidung: sie selbst bauen oder von einer Basis ausgehen, die sie schon hat. Um über Ihren Fall zu sprechen, vereinbaren Sie einen Austausch.

Partager :

Ähnliche Artikel

Interner KI-Chatbot für Unternehmen: Projekt richtig planenLeitfaden

Interner KI-Chatbot für Unternehmen: Projekt richtig planen

Interner KI-Chatbot für Unternehmen: wofür er wirklich taugt, was ihn vom Website-Chatbot unterscheidet, typische Fallstricke und Erfolgsbedingungen.

Wissensmanagement: Warum es scheitert und was KI ändertLeitfaden

Wissensmanagement: Warum es scheitert und was KI ändert

Warum Wissensmanagement im Unternehmen so oft scheitert, was KI am Umgang mit Wissen wirklich ändert und was sie nie ändern wird. Mit Praxisbeispiel.

KI-Wissensmanagement: 6 konkrete ProduktivitätsgewinneLeitfaden

KI-Wissensmanagement: 6 konkrete Produktivitätsgewinne

Kontextbezogene KI mit RAG im Wissensmanagement: 6 konkrete Produktivitätsgewinne für Unternehmen, die ihr Wissen besser strukturieren und teilen wollen.

Interesse an unseren Lösungen?

Erfahren Sie, wie Ask This Guy Ihre KI-Projekte beschleunigen kann

Demo buchen