Interner KI-Chatbot für Unternehmen: Projekt richtig planen

Interner KI-Chatbot für Unternehmen: wofür er wirklich taugt, was ihn vom Website-Chatbot unterscheidet, typische Fallstricke und Erfolgsbedingungen.

Leitfaden
Aktualisiert am
7 Min. Lesezeit

Wer einen KI-Chatbot für das Unternehmen plant, geht meist von einer einfachen Beobachtung aus: In den meisten Unternehmen existiert die Information. Sie ist aufgeschrieben, irgendwo. Das Problem ist nicht, dass sie fehlt, sondern dass niemand weiß, wo sie liegt, oder dass die einzige Person, die es weiß, gerade im Urlaub ist. In einer Gartner-Umfrage unter 4.861 Beschäftigten Ende 2022 gaben 47 % an, Mühe zu haben, die Informationen zu finden, die sie für ihre Arbeit brauchen.

Also tun die Mitarbeitenden, was sie schon immer getan haben: Sie fragen eine Kollegin oder einen Kollegen. Eine Frage, die eine gute Suchmaschine in dreißig Sekunden beantwortet hätte, bindet zwei Personen für zehn Minuten, und die Antwort ist nicht unbedingt die aktuelle Fassung.

Genau das soll ein interner KI-Chatbot im Unternehmen lösen. Allerdings muss man wissen, was man baut: Die Hälfte der Projekte, die diesen Namen tragen, baut in Wahrheit etwas anderes.

Interner Chatbot, Website-Chatbot: gleiches Werkzeug, zwei verschiedene Projekte

Diese Verwechslung gilt es zuerst auszuräumen, denn sie entscheidet über das Budget ebenso wie über die Erfolgskriterien.

Ein Website-Chatbot spricht mit Ihren Besuchern. Er beantwortet öffentliche Fragen, qualifiziert Interessenten und leitet sie an den Vertrieb weiter. Sein Korpus ist klein und von Ihnen selbst geschrieben, seine Antworten sind vorab freigegeben, und das Hauptrisiko ist kommerziell: Eine schlechte Antwort kostet einen Lead.

Ein interner Chatbot spricht mit Ihren Mitarbeitenden. Er antwortet auf Basis Ihrer Verfahrensanweisungen, Verträge, Protokolle, technischen Dokumentation und HR-Richtlinien. Sein Korpus ist umfangreich, heterogen, schlecht sortiert und vor allem unterschiedlichen Zugriffsrechten unterworfen. Das Hauptrisiko ist die Vertraulichkeit: Eine schlechte Antwort legt ein Dokument jemandem offen, der es nicht hätte sehen dürfen.

Website-ChatbotInterner Chatbot
ZielgruppeBesucher, InteressentenMitarbeitende
KorpusKlein, öffentlich, kuratiertUmfangreich, privat, heterogen
ZugriffsrechteEinheitlichJe nach Person unterschiedlich
ZielKonvertieren, weiterleitenWiederfinden, entscheiden, Zeit sparen
HauptrisikoEntgangener UmsatzAbfluss interner Informationen
ErfolgsmessungQualifizierte LeadsEingesparte Suchzeit

Die Architektur dagegen kann dieselbe sein: dieselbe Engine, dieselbe RAG-Basis, dieselbe Oberfläche. Wir empfehlen sogar, mit einem einzigen Werkzeug zu starten, um nicht zwei administrieren zu müssen. Was sich ändert, sind der Korpus, die Anweisungen an das Modell und die Art, wie die Antworten überwacht werden. Ein Dienstleister, der Ihnen für beide Zwecke denselben Korpus und dieselben Anweisungen vorschlägt, hat das Projekt missverstanden. Den ersten Fall behandeln wir in unserem Artikel über Website-Chatbots und Leadgenerierung.

Was einen KI-Chatbot im Unternehmen zum Laufen bringt: RAG

Ein allgemeines Sprachmodell kennt die Welt, nicht Ihr Unternehmen. Nach Ihrer Reisekostenrichtlinie gefragt, liefert es eine plausible und falsche Antwort, und das ist der schlimmste Fall: Kalai und seine Mitautoren beschreiben solche Halluzinationen als plausible, aber falsche Aussagen, die entstehen, wenn das Modell rät, statt seine Unsicherheit einzugestehen.

Die technische Antwort heißt RAG (Retrieval Augmented Generation), 2020 von Lewis und seinen Mitautoren formalisiert. Bei jeder Frage sucht das System zuerst die relevanten Passagen in Ihren eigenen Quellen und übergibt sie dann dem Modell, das daraus seine Antwort formuliert und angibt, woher sie stammen. Das Modell „weiß“ nichts über Ihr Unternehmen: Es liest bei Bedarf, was man ihm zu lesen gibt.

Schema eines internen Unternehmens-Chatbots: Die Quellen (Drive, SharePoint, Confluence, Notion, Intranet) speisen eine RAG-Engine, die die Rechte jeder Person anwendet und unter Verweis auf die Urlaubsvereinbarung 2026 antwortetSchema eines internen Unternehmens-Chatbots: Die Quellen (Drive, SharePoint, Confluence, Notion, Intranet) speisen eine RAG-Engine, die die Rechte jeder Person anwendet und unter Verweis auf die Urlaubsvereinbarung 2026 antwortet

Wie RAG in der KI funktioniert, erklären wir ausführlich in unserem eigenen Leitfaden. Drei praktische Konsequenzen:

  • Die Qualität der Antworten hängt zuerst von der Ingestion ab, nicht vom Modell. Ein schlecht konvertiertes oder schlecht zerlegtes gescanntes PDF liefert mit jedem LLM mittelmäßige Antworten: Der Benchmark OHRBench zeigt, dass die Leistung eines RAG mit dem OCR-Rauschen sinkt.
  • Die zitierten Quellen sind Teil der Antwort. Erst sie ermöglichen es dem Nutzer, nachzuprüfen, und damit zu vertrauen. Einen internen Chatbot ohne Quellenangaben öffnet nach ein paar Wochen niemand mehr.
  • Die Zugriffsrechte müssen bei der Suche greifen, nicht erst bei der Anzeige. Findet das System ein vertrauliches Dokument und beschließt dann, es nicht anzuzeigen, ist die Information bereits in die generierte Antwort eingeflossen. Deshalb empfiehlt die OWASP Vektordatenbanken, die Berechtigungen berücksichtigen.

Erweitern, was jeder tatsächlich nutzt

Ein Effekt, mit dem niemand rechnet und über den Nutzer viel sprechen: RAG erweitert den Korpus, mit dem jeder Mitarbeitende arbeitet. Im Alltag nutzt jeder die paar Dutzend Dokumente, die er kennt, und kehrt immer wieder in dieselben Ordner zurück. Der Rest existiert, wird aber nie geöffnet: die juristische Notiz einer anderen Gesellschaft, das Protokoll eines Nachbarprojekts, das Produktdatenblatt, das letzten Monat aktualisiert wurde. Ein Assistent, der im gesamten Korpus sucht, auf den der Nutzer Zugriff hat, holt diese Dokumente mitsamt Quelle in die Antwort. Der Nutzer entdeckt, wonach er gar nicht wusste, dass er suchen sollte.

Für Daten gilt dieselbe Überlegung. Ein Teil der nützlichen Information steckt nicht in Dokumenten, sondern im CRM, im ERP, im Ticketsystem oder im Projektmanagement-Tool, das die meisten Mitarbeitenden nie öffnen: zu viele Bildschirme und zu viele Berechtigungen, die man für eine einzige Frage beantragen müsste. Wird der Assistent über eine Datenbankabfrage, maßgeschneiderte Tools oder MCP-Server an diese Systeme angebunden, kann eine einzige Antwort die schriftliche Verfahrensanweisung mit dem tatsächlichen Stand der Kundenakte verknüpfen, ohne dass jemand das ERP öffnen muss.

Die Use Cases, mit denen sich ein interner Chatbot rechnet

Die Projekte, die Bestand haben, zielen alle auf dieselbe Art von Fragen: häufig gestellt, und die Antwort steht bereits irgendwo geschrieben.

Unterstützung der Querschnittsfunktionen

HR, Recht, Einkauf, IT. Diese Teams werden am häufigsten mit Fragen beansprucht, deren Antwort bereits in einem Dokument steht. Urlaub, Reisekosten, Beschaffungsprozess, Standardklauseln, Zurücksetzen von Zugängen: Ein interner Chatbot fängt einen guten Teil dieses Stroms ab und gibt Teams Zeit zurück, die nie genug davon haben.

Onboarding neuer Mitarbeitender

Die ersten drei Monate eines Mitarbeitenden sind eine lange Reihe von Fragen, die er sich nicht immer zu stellen traut. Ein interner Assistent verkürzt den Weg zur Selbstständigkeit, ohne dauerhaft einen Paten zu binden.

Technische und Produktdokumentation

Engineering-Teams, Presales, Support. Den richtigen Abschnitt der Dokumentation finden, die gültige Version einer Spezifikation oder die Historie einer technischen Entscheidung in einem Wiki mit mehreren Tausend Seiten.

Beantwortung von Ausschreibungen und Fragebögen

Sicherheit, Compliance, Kundenreferenzen: Dieselben Fragen kehren wieder, die Antworten stehen in früheren Dokumenten. Das ist einer der Use Cases, bei denen sich die Zeitersparnis am leichtesten beziffern lässt.

Projektgedächtnis

Protokolle, Entscheidungen, Abwägungen. „Warum haben wir uns 2024 für diesen Lieferanten entschieden?“ ist eine Frage, die ein gut gefütterter interner Chatbot besser beantwortet als das kollektive Gedächtnis.

Die fünf Fehler, an denen ein Projekt für einen internen Chatbot scheitert

1. Alles auf einmal anbinden. Der Ehrgeiz „wir indexieren die gesamte IT-Landschaft“ erzeugt einen Assistenten, der überall mittelmäßig ist. Fangen Sie mit einem Bereich an, in dem Sie die Qualität der Antworten beurteilen können: ein Fachgebiet, ein Team, ein Korpus.

2. Zugriffsrechte bis zur Abnahme ignorieren. Das ist das Thema, an dem Projekte auf der Zielgeraden scheitern, wenn die IT-Abteilung feststellt, dass der Assistent allen auf Basis von allem antwortet. Die Berechtigungen müssen von Anfang an aus den Quellen übernommen werden.

3. Die Dokumentenqualität vernachlässigen. Drei Versionen derselben Verfahrensanweisung, davon zwei veraltet, und der Assistent zitiert selbstbewusst die falsche. Ein Projekt für einen internen Chatbot ist fast immer auch ein Projekt zum Aufräumen der Dokumentation.

4. Nicht messen. Zwei sich ergänzende Messungen fehlen fast immer. Die erste ist ein Satz von Referenzfragen, der bei jedem Modellwechsel oder jeder neuen Quelle erneut durchlaufen wird: Ohne ihn wissen Sie nicht, ob der Assistent besser oder schlechter wird. Dafür ist die Evaluierung der Agenten da. Die zweite ist das Feedback der Nutzer: Daumen hoch oder runter, freier Kommentar, automatisch in den Unterhaltungen erkannte Stimmung, alles über die Zeit verfolgt und nach Thema oder Tag aufgeschlüsselt, um die Themen zu erkennen, die abrutschen. Genau das macht unsere Konsole Insights sichtbar.

5. Die Nutzererfahrung vernachlässigen. Ein auf dem Papier exzellenter Assistent, den niemand ein zweites Mal öffnet, ist nutzlos. Die Akzeptanz hängt an zwei sehr einfachen Punkten: einer Oberfläche, die sich ohne Anleitung bedienen lässt, und Antworten, die in wenigen Sekunden kommen. Wer warten muss, erst lernen muss, wie man Fragen formuliert, oder mit der Antwort nichts anzufangen weiß, sucht wieder selbst im Drive und kommt nicht zurück.

Selbst bauen oder kaufen?

Einen internen Chatbot aus einem Modell und einer Vektordatenbank zu bauen ist einfach, solange es um eine Demo geht.

Teuer ist alles andere: die Konnektoren zu Google Drive, SharePoint, Confluence und Notion, die inkrementelle Synchronisierung, die korrekte Extraktion von Tabellen und gescannten PDFs, die Weitergabe der Berechtigungen, die hybride Suche, die verlässliche Quellenangabe, die Qualitätsbewertung, die Kostenüberwachung und der Nutzersupport. Diese Fallstricke beschreiben wir in unserem Artikel über die klassischen Fehler eines RAG in der Produktion.

Ein vollständiger Eigenbau wird in Personenmonaten gerechnet und muss so lange gewartet werden, wie er läuft. Eine Plattform, die diese Bausteine bereits mitbringt, kostet weniger: Bei 4 Kunden und Interessenten, bei denen wir beide Optionen verglichen haben, lagen die Gesamtkosten über 2 Jahre um 55 bis 80 % niedriger als bei einem vollständig intern umgesetzten Projekt. Vor allem verkürzt sie die Zeit bis zur ersten echten Nutzung.

KriteriumEigenbauBestehende Plattform
Erster nützlicher UmfangMehrere Monate, wenn das Team bei null anfängtWenige Tage bis wenige Wochen, je nach Quellen
Konnektoren und BerechtigungenZu bauen, zu testen und zu wartenStandardbausteine bereits verfügbar, Anpassungen für spezielle Quellen
Bewertung der AntwortenVerfahren muss erst entworfen werdenMethode und Monitoring bereits integriert
WartungLiegt beim internen TeamLiegt beim Anbieter, mit der Weiterentwicklung der Plattform
Sinnvoll, wenn …Der Tech-Stack ein strategischer Vorteil istDer Wert in den Anwendungen, Regeln und Fachdaten liegt

Die Frage ist also einfach: Liegt Ihr Wert in der Infrastruktur oder in der Anpassung an Ihre Fachbereiche? Wir haben noch kein Unternehmen getroffen, dessen Antwort die Infrastruktur war.

Und die Souveränität?

Ein interner Chatbot liest Ihre sensibelsten Dokumente: Verträge, Personalakten, Finanzdaten, geistiges Eigentum. Wo diese Inhalte verarbeitet werden und von wem, klärt man vor der Unterschrift.

Vor der Unterschrift zu prüfen:

  • Wo die Dokumente, die Vektorindizes, die Logs und die Backups gehostet werden.
  • Welche Modellanbieter aufgerufen werden, aus welcher Rechtsordnung, und ob Sie die Verarbeitung auf europäische Anbieter beschränken können.
  • Was bei jeder Frage tatsächlich an das Modell übermittelt wird: die relevanten Auszüge oder das ganze Dokument.

Diesen Abwägungen haben wir eine eigene Seite gewidmet: Souveräne KI, Definition und Kriterien.

Der Ansatz von Ask This Guy

Wir setzen interne Assistenten auf einer Plattform um, die bereits die Konnektoren zu Ihren Quellen, die Dokumenten-Ingestion, die hybride Suche, die Übernahme der Berechtigungen, die Quellenangaben und das Monitoring mitbringt. Die spezifische Arbeit betrifft dann Ihr Vokabular, Ihre Regeln und Ihre Use Cases. Niemand fängt beim Tech-Stack bei null an.

Was wir bei jeder Einführung anwenden:

  • Zunächst ein enger Umfang, so gewählt, dass sich die Qualität schon in den ersten Wochen beurteilen lässt.
  • Aus Ihren Quellen übernommene Berechtigungen, damit der Assistent einem Mitarbeitenden nie etwas zeigt, das er nicht selbst öffnen dürfte.
  • Hosting in Europa und eine konfigurierbare KI-Richtlinie, bis hin zur On-Premise-Option, je nach Ihren Anforderungen.

Unsere Seite schlüsselfertiges RAG für Unternehmen beschreibt die verfügbaren Konnektoren und den Ablauf einer Einführung.

Wenn Ihr Thema über die Wahl des Werkzeugs hinausgeht, behandeln wir den Kern in Wissensmanagement: Warum Ihre Initiativen scheitern.

Häufige Fragen zum internen KI-Chatbot im Unternehmen

Was ist ein interner KI-Chatbot im Unternehmen?

Ein interner Chatbot ist ein Gesprächsassistent, der nur den Mitarbeitenden eines Unternehmens zur Verfügung steht. An die internen Dokumentenquellen angebunden (Laufwerke, Intranet, Wikis, Fachanwendungen), beantwortet er berufliche Fragen auf Basis dieser Dokumente und nennt seine Quellen, statt sich auf allgemeines Wissen aus dem Web zu stützen.

Was unterscheidet einen internen Chatbot von einem Website-Chatbot?

Der Website-Chatbot richtet sich an externe Besucher, arbeitet auf einem öffentlichen, begrenzten Korpus und verfolgt ein kommerzielles Ziel. Der interne Chatbot richtet sich an die Mitarbeitenden, arbeitet auf einem privaten, umfangreichen Korpus und mit Zugriffsrechten, die je nach Person unterschiedlich sind. Das Werkzeug kann dasselbe sein, aber Korpus, Anweisungen, Risiken und Erfolgskriterien unterscheiden sich vollständig.

Kann ein interner Chatbot die Zugriffsrechte jedes Mitarbeitenden einhalten?

Ja, sofern die Berechtigungen aus den Quellen übernommen und bei der Suche angewendet werden, statt erst nachträglich bei der Anzeige gefiltert zu werden. Jeder Nutzer darf nur Antworten auf Basis der Dokumente erhalten, die er im Ursprungssystem selbst öffnen könnte.

Wie lange dauert die Einführung eines internen Chatbots?

Wenige Tage für einen ersten Umfang auf einer bestehenden Plattform mit Standardkonnektoren. Einige Wochen, wenn die Quellen heterogen sind, die Dokumentenqualität überarbeitet werden muss oder spezielle Konnektoren zu entwickeln sind. Ein vollständiger Eigenbau wird eher in Monaten gerechnet.

Auf welche Quellen kann sich ein interner Chatbot stützen?

Die üblichen Quellen sind Google Drive, SharePoint und OneDrive, Confluence, Notion, Slack, Websites und Intranets, Dateiablagen oder FTP sowie Fachdatenbanken. Die Zahl der Konnektoren zählt weniger als die Qualität der Ingestion: Chunking, Extraktion von Tabellen, Umgang mit gescannten PDFs und Synchronisierung von Aktualisierungen. So wird aus verstreuten Dokumenten eine nutzbare KI-Wissensdatenbank.

Welchen Return on Investment bringt ein interner Chatbot?

Er wird in eingesparter Suchzeit und in vermiedenen Anfragen an die Querschnittsfunktionen gemessen. Am verlässlichsten ist es, einen engen Umfang zu wählen, die Zahl der bearbeiteten Fragen und den Anteil der als nützlich bewerteten Antworten zu messen und dann auf dieser Grundlage zu erweitern, statt auf einer theoretischen Schätzung vor dem Start.

Das Wichtigste in Kürze

Ein interner KI-Chatbot im Unternehmen ist ein Projekt der Dokumentensuche mit differenzierten Rechten. Über seinen Erfolg entscheiden die Ingestion, die Berechtigungen und die Quellenangaben, weit mehr als die Wahl des Modells. Einen Website-Chatbot hinter eine Anmeldung zu stellen ergibt noch keinen internen Chatbot.

Klein anfangen, auf einem Bereich, in dem Sie die Qualität beurteilen können. Messen. Dann erweitern. Die Projekte, die scheitern, sind fast immer die, die alles indexieren wollten, bevor sie irgendetwas bewiesen hatten.

Sie haben einen Korpus im Kopf und ein Team, das Zeit mit Suchen verliert? Buchen Sie eine Demo: Wir sagen Ihnen schnell, was sich anbinden lässt, in welcher Zeit und mit welcher Qualität.

Partager :

Ähnliche Artikel

RAG-Audit und Evaluation: Chatbot verbessern oder ersetzenLeitfaden

RAG-Audit und Evaluation: Chatbot verbessern oder ersetzen

Ihr internes RAG enttäuscht? Audit-Raster in 7 Schichten, Tests für Ihr eigenes Tool, eine Methode zur RAG-Evaluation und Kriterien: verbessern oder ersetzen.

Wissensmanagement: Warum es scheitert und was KI ändertLeitfaden

Wissensmanagement: Warum es scheitert und was KI ändert

Warum Wissensmanagement im Unternehmen so oft scheitert, was KI am Umgang mit Wissen wirklich ändert und was sie nie ändern wird. Mit Praxisbeispiel.

KI-Wissensmanagement: 6 konkrete ProduktivitätsgewinneLeitfaden

KI-Wissensmanagement: 6 konkrete Produktivitätsgewinne

Kontextbezogene KI mit RAG im Wissensmanagement: 6 konkrete Produktivitätsgewinne für Unternehmen, die ihr Wissen besser strukturieren und teilen wollen.

Interesse an unseren Lösungen?

Erfahren Sie, wie Ask This Guy Ihre KI-Projekte beschleunigen kann

Demo buchen