Ein KI-Assistent fasst einen Vertrag zusammen, nennt eine Kündigungsfrist von drei Monaten und verweist auf Paragraf 12, dabei hat der Vertrag nur elf Paragrafen. Solche Fehler heißen KI-Halluzinationen: Das Modell erzeugt Aussagen, die sprachlich einwandfrei und überzeugend klingen, aber nicht stimmen. Dieser Beitrag erklärt, warum das passiert, wo es im Unternehmen ernsthaft schadet und wie Sie Prüfregeln und Abläufe so gestalten, dass Fehler auffallen, bevor sie Folgen haben.
Wie KI-Halluzinationen entstehen
Ein Sprachmodell ist kein Nachschlagewerk. Es berechnet, welche Wörter mit hoher Wahrscheinlichkeit auf die bisherigen folgen. Beim Training lernt es Sprachmuster aus riesigen Textmengen, aber ohne Markierung, was wahr und was falsch ist. Für häufige, gut belegte Zusammenhänge funktioniert das sehr gut. Für seltene Einzelfakten wie ein bestimmtes Aktenzeichen, eine Fundstelle oder eine Artikelnummer gibt es kein verlässliches Muster. Das Modell füllt die Lücke trotzdem, mit etwas, das plausibel aussieht.
OpenAI hat im September 2025 in einer Untersuchung einen weiteren Grund beschrieben: Übliche Bewertungsverfahren belohnen Modelle für richtige Antworten, behandeln „Ich weiß es nicht“ aber genauso schlecht wie eine falsche Antwort. Raten zahlt sich also aus. Neuere Modelle sind deshalb vorsichtiger geworden, ganz verschwunden ist das Problem nicht.
Dazu kommen drei alltägliche Ursachen: Lücken oder Fehler in den Trainingsdaten, die das Modell nicht als solche erkennt; ein Wissensstand, der mit dem Training endet, sodass neuere Entwicklungen schlicht fehlen; und unklare oder zu weit gefasste Fragen, bei denen das Modell Annahmen trifft, statt nachzufragen. Das gilt für ChatGPT ebenso wie für jeden anderen Assistenten, unabhängig vom Anbieter.
Wichtig für die Praxis: Die Sicherheit im Ton sagt nichts über die Richtigkeit. Ein Modell formuliert eine erfundene Quelle genauso souverän wie eine echte.
Wo es im Betrieb gefährlich wird
Nicht jeder Fehler ist gleich teuer. Ein holpriger Entwurf für einen Newsletter fällt beim Gegenlesen auf. Gefährlich wird es dort, wo Ergebnisse ungeprüft weiterwandern oder wo der Fehler fachlich schwer zu erkennen ist.
Rechtsfragen
Sprachmodelle erfinden Urteile, Aktenzeichen und Kommentarstellen. Das Amtsgericht Köln hat im Juli 2025 einem Anwalt in einer Familiensache vorgehalten, sein Schriftsatz enthalte offenbar KI-generierte, frei erfundene Zitate und Fundstellen (Az. 312 F 130/25). Für Unternehmen heißt das: Eine KI-Antwort auf eine Rechtsfrage ist bestenfalls ein Hinweis, wo man nachsehen könnte.
Zahlen und Berechnungen
Sprachmodelle rechnen nicht zuverlässig im Kopf. Prozentsätze, Summen, Umrechnungen und Fristen können falsch sein, obwohl der Rechenweg plausibel aussieht. Auch Zahlen, die aus einem Dokument „abgelesen“ werden, können vertauscht oder aus einer anderen Zeile stammen.
Quellen und Zitate
Links, Studien, Normen und Zitate gehören zu den häufigsten Halluzinationen. Ein Link kann auf eine existierende Seite zeigen, die etwas ganz anderes sagt.
Code und Konfiguration
KI-generierter Code kann nicht existierende Bibliotheken oder Befehle verwenden, Sicherheitsprüfungen weglassen oder auf veraltete Schnittstellen zugreifen. Bei Firewall-Regeln, Skripten mit Administratorrechten oder Datenbankabfragen kann ein Fehler unmittelbar Schaden anrichten.
KI-Ergebnisse prüfen: Methoden, die funktionieren
KI-Halluzinationen erkennen: typische Warnzeichen
Einige Merkmale sollten Sie stutzig machen: sehr konkrete Angaben wie Aktenzeichen, Normen oder Zahlen ohne nachvollziehbare Herkunft; Quellen, die sich nicht öffnen lassen oder etwas anderes aussagen; Antworten, die bei leicht veränderter Frage anders ausfallen; und eine auffällige Glätte, bei der Einschränkungen und Unsicherheiten völlig fehlen. Keines dieser Zeichen beweist einen Fehler, aber jedes ist ein Grund, genauer hinzusehen.
Vier-Augen-Prinzip mit klarer Rolle
Für Inhalte, die nach außen gehen oder Entscheidungen auslösen, prüft eine zweite Person. Entscheidend ist, dass diese Person fachlich in der Lage ist, Fehler zu erkennen, und dass sie weiß, worauf sie achten soll. „Mal drüberlesen“ reicht nicht.
Quellenpflicht
Jede Tatsachenbehauptung, die übernommen wird, braucht eine überprüfbare Quelle, die ein Mensch tatsächlich geöffnet hat. Lösungen, die auf eigenen Dokumenten arbeiten (Retrieval-Augmented Generation), sollten die Fundstelle automatisch anzeigen. Das lässt sich bei der KI-Integration von Anfang an vorsehen.
Stichproben
Wo KI große Mengen verarbeitet, etwa beim Vorsortieren von Eingangspost oder beim Zusammenfassen von Tickets, ist eine vollständige Prüfung unrealistisch. Dann helfen regelmäßige Stichproben mit dokumentierter Fehlerquote. Steigt die Quote, wird nachgesteuert.
Prüfregeln je Einsatzart
Legen Sie fest, wie streng je Einsatz geprüft wird. Eine einfache Einteilung:
| Einsatzart | Beispiel | Prüfung |
|---|---|---|
| Interner Entwurf | Gliederung, Ideensammlung | Eigene Durchsicht |
| Externe Kommunikation | Kundenmail, Angebotstext | Durchsicht durch Verfasser, Fakten gegenprüfen |
| Fachliche Aussage | Vertragsauszug, technische Angabe | Abgleich mit Originalquelle |
| Recht, Steuern, Personal | Fristen, Rechtsgrundlagen | Fachperson oder externer Berater |
| Code mit Wirkung | Skripte, Konfiguration | Review, Test in getrennter Umgebung |
Diese Regeln gehören in Ihre KI-Richtlinie, damit sie nicht von der Tagesform einzelner Mitarbeiter abhängen.
Abläufe so bauen, dass Fehler auffallen
Prüfen ist mühsam und wird unter Zeitdruck als Erstes weggelassen. Besser ist es, Abläufe so zu gestalten, dass Fehler gar nicht erst unbemerkt durchrutschen.
- KI liefert Entwürfe, keine Endprodukte. Ergebnisse landen nicht automatisch beim Kunden, im ERP oder in der Produktion, sondern in einer Freigabeschleife.
- Strukturierte Ausgaben verlangen. Wer Rechnungsdaten extrahieren lässt, fordert feste Felder an. Ein Programm prüft dann Pflichtfelder, Formate und Summen. Eine IBAN mit falscher Prüfziffer fällt sofort auf.
- Rechnen lassen, wo gerechnet wird. Zahlen gehören in Tabellenkalkulation, ERP oder ein Skript, nicht in den Fließtext eines Sprachmodells.
- Unsicherheit erlauben. Anweisungen wie „Wenn die Unterlagen keine Antwort enthalten, sage das ausdrücklich“ senken die Neigung zum Raten.
- Gegenprobe einbauen. Bei wichtigen Aussagen die KI bitten, die genaue Fundstelle wörtlich zu zitieren. Fehlt das Zitat im Original, ist die Aussage verdächtig.
- Fehler sammeln. Gefundene Halluzinationen werden kurz dokumentiert. Nach einigen Wochen sehen Sie, bei welchen Aufgaben das Werkzeug zuverlässig ist und wo nicht.
Bei automatisierten Abläufen und KI-Agenten, die selbstständig handeln, kommt hinzu: Je weniger ein Mensch zwischengeschaltet ist, desto enger müssen Rechte und Prüfungen gefasst sein. Ein Agent, der E-Mails liest und Aktionen auslöst, kann zudem durch manipulierte Inhalte gesteuert werden, siehe unseren Beitrag zu Prompt Injection.
Schulung statt Misstrauen
Halluzinationen sind kein Grund, auf KI zu verzichten. Sie sind ein Grund, Mitarbeiter so zu schulen, dass sie typische Fehler kennen und Ergebnisse angemessen prüfen. Seit Inkrafttreten der Änderungen durch den Digital Omnibus im Juli 2026 verlangt die europäische KI-Verordnung von Unternehmen, Maßnahmen zur Förderung der KI-Kompetenz ihrer Beschäftigten zu ergreifen. Der Umgang mit Fehlern gehört dazu. Ob und wie Haftungsfragen bei fehlerhaften KI-Ergebnissen in Ihrem Fall zu bewerten sind, klären Sie im Einzelfall mit Ihrem Rechtsberater.
Checkliste: Erste Schritte
- Einsatzbereiche von KI im Unternehmen erfassen und nach Fehlerfolgen einstufen.
- Prüfregeln je Einsatzart festlegen und in die KI-Richtlinie aufnehmen.
- Quellenpflicht für übernommene Tatsachenbehauptungen einführen.
- Für Massenverarbeitung Stichproben mit dokumentierter Fehlerquote vorsehen.
- Automatische Ergebnisse grundsätzlich über eine Freigabe führen.
- Zahlen, Prüfziffern und Pflichtfelder technisch statt per Augenschein prüfen.
- Mitarbeiter mit echten Beispielen aus dem eigenen Betrieb schulen.
Wie DAVINCI unterstützt
Wir helfen Ihnen, KI-Einsätze nach Risiko einzuordnen, passende Prüfregeln zu formulieren und Abläufe mit Freigaben und technischen Kontrollen aufzubauen. In der KI-Schulung arbeiten wir mit Beispielen aus Ihrem Alltag. Für eine verbindliche Grundlage unterstützen wir bei der KI-Richtlinie. Sprechen Sie uns über die Kontaktseite an.
Häufige Fragen
Lassen sich KI-Halluzinationen ganz vermeiden?
Nein, aber deutlich eingrenzen. Je enger die Aufgabe, je besser die mitgelieferten Unterlagen und je klarer die Anweisung, bei fehlender Information das auch zu sagen, desto seltener rät das Modell. Lösungen, die auf eigenen Dokumenten arbeiten und Fundstellen anzeigen, senken das Risiko weiter. Der Rest bleibt Aufgabe der Prüfung durch Menschen und Technik.
Wie häufig sind KI-Halluzinationen?
Verlässliche allgemeine Zahlen gibt es nicht, weil die Häufigkeit stark von Aufgabe, Modell und Datengrundlage abhängt. Bei gut belegten Allgemeinthemen sind Fehler selten, bei Einzelfakten, Zahlen und Quellen deutlich häufiger. Aussagekräftig ist nur die eigene Messung: Stichproben mit dokumentierter Fehlerquote je Einsatzart.
Werden Halluzinationen mit neueren Modellen verschwinden?
Neuere Modelle halluzinieren in vielen Tests seltener, und sie geben häufiger zu, etwas nicht zu wissen. Das grundsätzliche Funktionsprinzip bleibt aber gleich. Prüfregeln bleiben deshalb nötig, auch wenn sie mit besseren Werkzeugen weniger Aufwand verursachen.
Hilft es, die KI zu fragen, ob ihre Antwort stimmt?
Nur eingeschränkt. Das Modell kann eigene Fehler manchmal erkennen, bestätigt aber ebenso oft eine falsche Antwort. Verlässlicher ist der Abgleich mit der Originalquelle oder eine technische Prüfung.
Wer haftet, wenn ein KI-Fehler beim Kunden ankommt?
Im Außenverhältnis in aller Regel Ihr Unternehmen, so wie bei jedem anderen Fehler eines Mitarbeiters oder Werkzeugs. Deshalb gehört die Freigabe von KI-Ergebnissen, die nach außen gehen, zu den wichtigsten Regeln.
Verwandte Themen: Wer hier weiterdenkt, liest bei Schatten-KI, KI-Richtlinie und Eigener KI-Server weiter.
Im Text erwähnt
Quellen
- OpenAI: Why language models hallucinate (05.09.2025)
- 312 F 130/25 · beck-aktuell: AG Köln, Beschluss vom 02.07.2025
- IHK: Digital-Omnibus-Verordnung zur KI in Kraft getreten
