KI-News

Unternehmenswissen nutzbar machen - RAG & Wissensdatenbanken

May 22, 2026

Standard-KI kennt das Internet, aber nicht Ihr Unternehmen. Auf Fragen zu internen Regelungen antwortet sie flüssig, überzeugend – und erstaunlich oft frei erfunden. Der Ausweg ist nicht das teure Training eines eigenen Modells, sondern ein Verfahren mit dem sperrigen Namen Retrieval Augmented Generation. Es verwandelt den Datenschatz im Keller in einen Assistenten, der mit Quelle antwortet. Und es ist der pragmatischste Hebel, den Unternehmen derzeit haben.

Die überzeugende Lüge

Eine Mitarbeiterin tippt eine simple Frage in ChatGPT: Wie lautet noch einmal die interne Reisekostenregelung? Die Antwort kommt prompt, sauber formuliert, klingt vollkommen plausibel. Sie hat nur einen Haken: Sie ist erfunden. Das Modell kann die hauseigene Regelung gar nicht kennen – also rät es, und zwar überzeugend. Genau hier liegt das Missverständnis, das viele KI-Projekte in Unternehmen zu Fall bringt. Nicht das Modell ist das Problem. Das Problem ist der fehlende Zugriff auf das eigene Wissen.

Warum das Modell Ihr Haus nicht kennt

Sprachmodelle wie ChatGPT, Copilot oder Claude sind mit öffentlich verfügbaren Daten trainiert: Internet, Bücher, Artikel. Sie besitzen einen Wissensstichtag und kennen weder Ihre Angebote noch Ihre Verträge, weder Ihre Handbücher noch Ihr Prozesswissen. Stoßen sie an eine Lücke, antworten sie nicht mit einem ehrlichen „Weiß ich nicht“, sondern füllen sie plausibel auf. Bei Allgemeinwissen ist das verschmerzbar. Bei internen Fakten, bei Zahlen und Zusagen an Kunden, wird aus der charmanten Schwäche ein betriebliches Risiko.

Der kluge Sachbearbeiter mit dem Aktenschrank

Retrieval Augmented Generation, kurz RAG, dreht den Ablauf um: Die KI schlägt vor dem Antworten erst in Ihren eigenen Unterlagen nach. Das Bild dazu ist ein brillanter, aber neuer Sachbearbeiter, der eine Frage nicht aus dem Gedächtnis beantwortet, sondern an den Aktenschrank geht, die passende Akte zieht und auf deren Basis antwortet – mit Quellenangabe. Technisch geschieht das in vier Schritten: Die Frage wird in normaler Sprache gestellt. Das System sucht in der Wissensbasis die wirklich relevanten Stellen. Diese Stellen werden dem Modell als Kontext mitgegeben. Und das Modell formuliert die Antwort auf genau dieser Grundlage – samt Fundstelle.

Nicht trainieren, nachschlagen

Die häufigste Verwechslung lautet: RAG sei dasselbe wie ein eigenes, trainiertes Modell. Ist es nicht. Beim Finetuning wird Wissen dauerhaft ins Modell eingebrannt – teuer, langsam und schwer aktuell zu halten. Bei RAG bleibt Ihr Wissen außerhalb, in einer Datenbank, und wird nur zur Antwortzeit herangezogen. Das macht den Ansatz günstiger, aktueller und kontrollierbar. Ein aktualisiertes Dokument genügt, und schon ist die nächste Antwort auf dem neuesten Stand – ohne dass irgendetwas neu trainiert werden müsste. Wichtig zur Einordnung: Dass Ihr Wissen nicht ins Modell eingeht, ist eine Eigenschaft des RAG-Verfahrens. Davon zu trennen ist die Frage, ob ein Anbieter die zur Antwortzeit übermittelten Inhalte seinerseits zum Training verwendet – das hängt von Tarif und Vertrag ab und wird in Business-, Enterprise- und API-Angeboten per Auftragsverarbeitung in der Regel ausgeschlossen, bei kostenlosen Consumer-Tools jedoch nicht zwangsläufig.

Wo es sich zuerst lohnt

Den größten Hebel entfaltet RAG dort, wo viel dokumentiertes Wissen schwer auffindbar herumliegt. Der technische Service ruft Handbücher und gelöste Fälle ab und antwortet mit Seitenverweis statt aus dem Bauch. Der interne Wissensassistent beantwortet HR- und IT-Fragen rund um die Uhr. Der Vertrieb zieht Produkt-, Wettbewerbs- und Referenzwissen auf Zuruf heran. Und Qualität und Compliance bekommen Prüf- und Verfahrensanweisungen mit Quellenbeleg. Aus „irgendeiner Antwort“ wird so eine belastbare, nachprüfbare Auskunft.

Wo Projekte scheitern

Der Engpass ist selten die Technik. Er heißt Garbage in, garbage out: Veraltete oder widersprüchliche Dokumente führen zu schlechten Antworten, deshalb steht Datenqualität an erster Stelle. Wer alles auf einmal will, scheitert; ein klar abgegrenzter erster Anwendungsfall mit einer Wissensquelle ist der bessere Start. Berechtigungen und Datenschutz gehören von Anfang an mitgedacht, jede Antwort braucht einen Beleg, und jemand muss die Wissensbasis pflegen. RAG ist kein Allwissen, sondern ein verlässlicher Assistent für Ihr dokumentiertes Wissen.

Chefsache, kein IT-Projekt

Drei Schritte genügen für den Anfang: einen konkreten, häufigen Anwendungsfall samt passender Wissensquelle wählen; eine schlanke Wissens-Inventur erstellen (Wo liegt das Wissen, in welcher Qualität, wer darf es sehen?); und eine verantwortliche Person für die Pflege benennen. Wer das Prinzip in drei Minuten erleben will, lädt eigene PDFs in ein Werkzeug wie NotebookLM und stellt Fragen dazu – RAG im Kleinen, inklusive Quellenverweis. Die eigentliche Botschaft aber ist strategisch: Das eigene Wissen nutzbar zu halten, ist kein IT-Projekt. Es ist Chefsache.

Quellenverzeichnis

Shelf.io – „Retrieval-Augmented Generation Improves AI Content Accuracy“