„Was steht in unserem Rahmenvertrag mit dem Lieferanten zur Kündigungsfrist?“ Ein allgemeiner KI-Chat kann diese Frage nicht beantworten, er kennt Ihren Vertrag nicht. Genau hier setzt RAG an, kurz für Retrieval-Augmented Generation: Die KI sucht zuerst in Ihren eigenen Dokumenten und formuliert die Antwort dann auf dieser Grundlage, mit Verweis auf die Fundstelle. Dieser Beitrag erklärt für Geschäftsführer und IT-Verantwortliche, was RAG bei KI bedeutet, wie es technisch abläuft, wofür es sich eignet und worauf Sie vor dem Start achten sollten.
Was ist RAG bei KI? Das Prinzip in einem Satz
RAG heißt sinngemäß „durch Nachschlagen ergänzte Textgenerierung“. Das Sprachmodell, im Fachjargon LLM (Large Language Model), wird nicht neu trainiert und lernt Ihre Dokumente nicht auswendig. Es bekommt zu jeder Frage die passenden Textstellen vorgelegt und soll ausschließlich daraus antworten. Man kann es mit einem Sachbearbeiter vergleichen, der vor jeder Antwort in den Aktenschrank greift, statt aus dem Gedächtnis zu sprechen. RAG ist also keine eigene Art von KI, sondern ein Verfahren, das ein generatives Sprachmodell mit einer Suche in Ihren Daten verbindet.
Das hat einen wichtigen Vorteil gegenüber dem eigenen Training eines Modells: Ändert sich ein Dokument, ändert sich die Antwort, sobald der neue Stand eingelesen ist. Und Sie können jederzeit nachvollziehen, auf welcher Quelle eine Aussage beruht.
Wie Retrieval-Augmented Generation technisch funktioniert
1. Dokumente aufbereiten und in der Vektordatenbank ablegen
Zuerst werden die Dokumente eingelesen: PDF, Word, E-Mails, Wiki-Seiten, Tickets. Der Text wird extrahiert und in kleinere Abschnitte zerlegt, meist einige Absätze lang. Jeder Abschnitt wird anschließend in einen sogenannten Vektor umgerechnet. Das ist eine lange Zahlenreihe, die die Bedeutung des Textes abbildet. Abschnitte mit ähnlichem Inhalt bekommen ähnliche Zahlenreihen, auch wenn sie unterschiedliche Wörter verwenden. Diese Vektoren landen in einer Vektordatenbank, zusammen mit dem Originaltext und Angaben wie Dateiname, Seite und Berechtigung.
2. Suchen
Stellt ein Benutzer eine Frage, wird auch die Frage in einen Vektor umgewandelt. Das System sucht die Abschnitte, deren Bedeutung am besten passt. Viele Lösungen kombinieren das mit klassischer Stichwortsuche, weil Artikelnummern, Paragrafen oder Eigennamen über Bedeutungsähnlichkeit allein schlecht gefunden werden.
3. Antworten mit Quellenangabe
Die gefundenen Abschnitte werden zusammen mit der Frage an das Sprachmodell übergeben, mit einer Anweisung wie: „Beantworte die Frage nur anhand der folgenden Auszüge. Nenne die Quelle. Wenn die Auszüge keine Antwort enthalten, sage das.“ Das Ergebnis ist eine formulierte Antwort mit Verweis auf Dokument und Stelle, die der Benutzer anklicken und prüfen kann.
KI mit eigenen Daten: wofür RAG im Betrieb taugt
Gute Einsatzfelder haben drei Merkmale: viel Text, wiederkehrende Fragen und eine klare Quelle der Wahrheit.
- Handbücher und Arbeitsanweisungen: Maschinenbedienung, Qualitätsmanagement, interne Abläufe. Neue Mitarbeiter finden Antworten, ohne erfahrene Kollegen zu unterbrechen.
- Verträge: Fristen, Haftungsklauseln, Preisanpassungsregeln über viele Verträge hinweg auffinden. Die rechtliche Bewertung bleibt beim Menschen.
- KI-Wissensdatenbank: Richtlinien, Reisekostenregeln, IT-Anleitungen, Protokolle.
- Support: Servicemitarbeiter durchsuchen frühere Tickets, Produktdokumentation und Lösungsartikel, um Kundenanfragen schneller zu beantworten.
Auch KI-Agenten, die mehrere Arbeitsschritte selbstständig ausführen, greifen auf RAG zurück, sobald sie Unternehmenswissen brauchen. Weniger geeignet ist RAG für Rechenaufgaben über viele Datensätze („Wie hoch war der Umsatz je Kunde im dritten Quartal?“). Das ist ein Fall für Datenbankabfragen oder Auswertungen im ERP, die man allenfalls mit KI bedienbar machen kann.
Grenzen, die Sie kennen sollten
RAG reduziert erfundene Antworten deutlich, beseitigt sie aber nicht. Typische Fehlerquellen:
- Falscher Abschnitt gefunden: Die Suche liefert eine ähnliche, aber nicht zutreffende Stelle, etwa die Kündigungsfrist aus einem anderen Vertrag.
- Zusammenhang zerschnitten: Eine Ausnahme steht zwei Seiten nach der Regel und landet in einem anderen Abschnitt.
- Tabellen und Scans: Eingescannte Dokumente ohne Texterkennung oder komplexe Tabellen werden schlecht oder gar nicht erfasst.
- Fragen über viele Dokumente: „Welche unserer 300 Verträge enthalten eine Vertragsstrafe?“ überfordert eine einfache Suche, die nur die besten Treffer liefert.
Deshalb ist die Quellenangabe kein Komfortmerkmal, sondern Pflicht. Wer eine Antwort weiterverwendet, muss sie mit einem Klick prüfen können. Wie Sie solche Prüfpflichten verbindlich regeln, beschreibt unser Beitrag zur KI-Richtlinie im Unternehmen.
Berechtigungen: Wer darf was sehen?
Das ist der Punkt, an dem viele Projekte scheitern oder gefährlich werden. Eine RAG-Lösung darf einem Benutzer nur Abschnitte aus Dokumenten zeigen, die er auch im Original öffnen dürfte. Sonst wird die KI zum Umweg in die Personalakte oder die Geschäftsführungsablage.
Praktisch bedeutet das:
- Berechtigungen der Quelle (Dateiserver, SharePoint, DMS) werden beim Einlesen mitgenommen und bei jeder Suche geprüft.
- Änderungen an Berechtigungen müssen zeitnah im Suchindex ankommen. Wer heute aus der Personalabteilung wechselt, darf morgen keine Gehaltsdaten mehr in Antworten sehen.
- Vor dem Start sollten zu weit gefasste Freigaben bereinigt werden. KI macht vorhandene Berechtigungsfehler sichtbar, sie verursacht sie nicht. Ein Beispiel aus der Praxis beschreibt unser Beitrag Copilot findet den Gehaltsordner.
Ein weiterer Aspekt: Wenn Dokumente Anweisungen enthalten können, etwa eingehende E-Mails oder fremde PDFs, besteht das Risiko der sogenannten Prompt Injection. Dabei versteckt ein Angreifer Befehle im Text, die das Modell befolgt. Solche Quellen gehören nur nach sorgfältiger Prüfung in den Index. Wie so ein Angriff abläuft, zeigt unser Beitrag zur Prompt Injection bei KI-Agenten.
Datenqualität entscheidet über das Ergebnis
Eine RAG-Lösung ist nur so gut wie die Dokumente, die sie durchsucht. Liegen drei Versionen einer Arbeitsanweisung im Laufwerk, findet die KI womöglich die veraltete. Vor dem Start lohnt sich deshalb Aufräumarbeit:
- Veraltete Versionen archivieren oder aus dem Index ausschließen.
- Eindeutige Dateinamen und, wo möglich, Gültigkeitsdatum im Dokument.
- Gescannte Dokumente per Texterkennung durchsuchbar machen.
- Verantwortliche je Dokumentenbereich benennen, die Fehler korrigieren.
Ein strukturiertes Dokumentenmanagement ist eine gute Grundlage, aber keine Voraussetzung. Oft reicht es, mit einem klar abgegrenzten, gepflegten Bestand zu beginnen.
Lokal auf eigenem Server oder in der Cloud?
Beide Wege funktionieren. Die Entscheidung hängt vor allem an der Art der Daten und an Ihrem Betriebsaufwand.
Cloud-Dienste wie Microsoft 365 Copilot oder Plattformen großer Anbieter sind schnell verfügbar und nutzen leistungsfähige Modelle. Sie müssen Auftragsverarbeitung, Speicherort und die Frage klären, ob Eingaben zum Training verwendet werden.
Ein eigener KI-Server im eigenen Haus oder im Rechenzentrum hält Dokumente, Index und Modell vollständig unter Ihrer Kontrolle. Das ist für Berufsgeheimnisträger, Gesundheitsdaten oder sensible Konstruktionsdaten oft der naheliegende Weg. Dafür übernehmen Sie Betrieb, Updates und die Dimensionierung der Hardware. Offene Sprachmodelle sind inzwischen gut genug für viele RAG-Aufgaben, weil die Qualität stärker von der Suche als von der Modellgröße abhängt. Was der Eigenbetrieb praktisch bedeutet, beschreibt unser Beitrag KI-Server im Eigenbetrieb.
Ob Sie personenbezogene Daten in eine solche Lösung einbeziehen dürfen und welche Dokumentation nötig ist, klären Sie im Einzelfall mit Ihrem Datenschutzbeauftragten.
Checkliste: Erste Schritte
- Einen konkreten Anwendungsfall mit wiederkehrenden Fragen wählen, zum Beispiel das QM-Handbuch oder die IT-Anleitungen.
- Den Dokumentenbestand dafür sichten, Dubletten und veraltete Fassungen entfernen.
- Berechtigungen der Quelle prüfen und zu weit gefasste Freigaben bereinigen.
- Entscheiden: Cloud-Dienst oder eigener Server, abhängig von Datenart und Betriebsaufwand.
- Zwanzig bis dreißig typische Testfragen mit bekannten richtigen Antworten sammeln.
- Pilot mit einer kleinen Gruppe, Antworten gegen die Testfragen auswerten.
- Quellenangabe als Pflicht festlegen und Benutzer zur Prüfung anhalten.
Wie DAVINCI unterstützt
Wir planen RAG-Lösungen vom Anwendungsfall bis zum Betrieb, binden Ihre Datenquellen mit ihren Berechtigungen an und unterstützen bei der KI-Integration. Wer Daten im eigenen Haus behalten will, findet bei uns einen passenden KI-Server. Sprechen Sie uns über die Kontaktseite an.
Häufige Fragen
Ist RAG generative KI?
RAG ist ein Verfahren, keine eigene Modellart. Den Antworttext erzeugt ein generatives Sprachmodell, die Fakten dafür stammen aus der vorgeschalteten Suche in Ihren Dokumenten. Treffend beschrieben ist es generative KI mit angeschlossenem Nachschlagewerk.
Was ist der Unterschied zwischen RAG und Fine-Tuning?
Beim Fine-Tuning wird das Sprachmodell selbst mit eigenen Beispielen nachtrainiert. Das prägt Stil und Verhalten, aber Wissen lässt sich so schwer aktuell halten und nicht auf eine Quelle zurückführen. RAG lässt das Modell unverändert und reicht bei jeder Frage die passenden Textstellen mit. Für Fragen zu Verträgen, Handbüchern oder Richtlinien ist RAG deshalb in der Regel der naheliegende Weg; beides lässt sich auch kombinieren.
Lernt das Modell meine Dokumente dauerhaft?
Nein. Bei RAG werden die Dokumente nur zur Laufzeit als Kontext übergeben. Das Modell selbst bleibt unverändert. Ob ein Cloud-Anbieter Eingaben speichert oder für Training nutzt, regeln dessen Vertragsbedingungen, die Sie prüfen müssen.
Wie viele Dokumente kann ein solches System verarbeiten?
Technisch sind auch sehr große Bestände möglich. Entscheidend ist weniger die Menge als die Qualität: Ein kleiner, gepflegter Bestand liefert bessere Antworten als ein unsortiertes Laufwerk mit zehn Jahren Altlasten.
Ersetzt RAG unsere Suche im Dateisystem?
Eher ergänzt es sie. Für das Auffinden einer bestimmten Datei bleibt die klassische Suche schnell und zuverlässig. RAG spielt seine Stärke aus, wenn jemand eine Antwort sucht und nicht weiß, in welchem Dokument sie steht.
Verwandte Themen: Wer hier weiterdenkt, liest bei Eigener KI-Server, Open-Weight-Modelle und Cloud oder Server weiter.
