KI-Halluzinationen vermeiden: So prüfen und sichern Sie KI-Antworten im Betrieb

KI-Halluzinationen vermeiden Sie über den Ablauf rund um die KI. Binden Sie das Modell an Ihre eigenen Unterlagen, verlangen Sie zu jeder Aussage eine Quelle, erlauben Sie ausdrücklich „weiß ich nicht“ und lassen Sie alles, was nach außen geht, von einem Menschen freigeben. Ganz verschwinden Halluzinationen damit nicht, aber sie fallen auf, bevor sie Schaden anrichten.

Die Hersteller sagen das selbst. Microsoft schreibt, dass Antworten generativer KI nicht garantiert zu 100 % stimmen und Nutzer sie prüfen sollen, bevor sie sie weitergeben. Anthropic hält fest, dass seine Techniken Halluzinationen stark reduzieren, aber nicht ganz beseitigen. Die Frage für Ihren Betrieb lautet also, wo ein Fehler auffällt, bevor er Schaden anrichtet. Genau das planen wir bei jeder KI-Integration zuerst.

Was ist eine KI-Halluzination?

Eine Halluzination ist eine Antwort, die plausibel und sicher klingt, aber falsch ist. Das Modell erfindet eine Zahl, eine Norm, einen Paragrafen oder eine Quelle und präsentiert sie im selben Ton wie eine richtige Aussage. Genau das macht sie gefährlich: Ein Tippfehler fällt auf, eine sauber formulierte Falschaussage nicht.

Eine Forschungsarbeit aus dem September 2025 zeigt das an einem einfachen Beispiel. Die Autoren fragten Modelle nach dem Titel der Dissertation ihres Mitautors Adam Kalai. Keines lieferte den richtigen Titel oder das richtige Jahr, alle antworteten trotzdem. Selbst mit der Anweisung, nur bei sicherem Wissen zu antworten, nannte ein Modell in drei Versuchen drei verschiedene falsche Geburtstage.

Warum erfinden Sprachmodelle Antworten?

Weil sie darauf trainiert und bewertet werden, eine Antwort zu geben, statt Unsicherheit zuzugeben. Laut der genannten Studie belohnen die üblichen Tests richtige Antworten mit einem Punkt und geben für „weiß ich nicht“ null Punkte. Wer rät, schneidet im Schnitt besser ab. Die Autoren beschreiben die Modelle deshalb als gute Prüflinge, die bei Unsicherheit lieber raten.

Dazu kommt, dass ein Sprachmodell kein Nachschlagewerk ist. Es hat Muster aus Texten gelernt. Bei häufigem Wissen liegen diese Muster meist richtig. Bei seltenen Fakten, bei Ihren internen Daten und bei allem, was nach dem Training passiert ist, füllt es die Lücke mit dem, was wahrscheinlich klingt. Die OWASP beschreibt genau diesen Mechanismus in ihrer Risikoliste für Sprachmodell-Anwendungen 2025.

Bei welchen Aufgaben halluziniert KI besonders oft?

Überall dort, wo die KI etwas wissen muss, das nicht vor ihr liegt. Wo sie dagegen nur Text umformt, den Sie ihr geben, ist das Risiko deutlich kleiner. Diese Einteilung hilft im Alltag mehr als jede Prozentzahl:

In Betrieben sehen wir oft dieselbe Falle: Ein Mitarbeiter fragt ChatGPT nach einer technischen Vorgabe oder einer Rechtslage, bekommt eine flüssige Antwort mit Paragrafennummer und übernimmt sie ins Angebot. Die Nummer existiert, steht aber in einem anderen Gesetz. Niemand hat nachgeschlagen, weil die Antwort so sicher klang.

Wie sichern Sie KI-Antworten technisch ab?

Indem Sie der KI das Raten abgewöhnen und jede Aussage an eine Quelle binden. Die Hersteller empfehlen dafür im Kern dieselben Maßnahmen. Für eine Anwendung im Betrieb setzen wir sie in dieser Reihenfolge um:

1. 01

   An eigene Unterlagen binden

   Die KI antwortet aus Ihren Handbüchern, Preislisten und Vorlagen statt aus ihrem Gedächtnis. Technisch heißt das Retrieval-Augmented Generation. Wie das mit Ordnern und PDFs funktioniert, steht im Artikel Eigene Dokumente für KI nutzbar machen.

2. 02

   Allgemeinwissen ausschließen

   Die Anweisung lautet: nur aus den mitgegebenen Unterlagen antworten. Anthropic nennt das ausdrücklich als Technik gegen Halluzinationen. Steht etwas nicht in den Unterlagen, gibt es keine Antwort.

3. 03

   „Weiß ich nicht“ erlauben

   Geben Sie dem Modell schriftlich die Erlaubnis, Unsicherheit zuzugeben, etwa mit dem Satz „Wenn die Unterlagen das nicht beantworten, schreib: Dazu habe ich keine Information.“ Laut Anthropic kann allein das die Zahl falscher Aussagen drastisch senken.

4. 04

   Zitate und Fundstellen verlangen

   Jede Aussage bekommt ein wörtliches Zitat oder Dokument und Seite. Findet die KI im zweiten Schritt kein Zitat für eine Aussage, streicht sie die Aussage. Für Ihre Mitarbeiter wird die Antwort so in Sekunden nachprüfbar.

5. 05

   Zahlen nicht von der KI rechnen lassen

   Preise, Mengen und Termine holt die Anwendung direkt aus Ihrem ERP oder Ihrer Datenbank. Die KI formuliert den Text drumherum. Eine Zahl, die aus einer Schnittstelle kommt, kann sich das Modell nicht ausdenken.

6. 06

   Automatisch gegenprüfen

   Ein zweiter Prüfschritt vergleicht die Antwort mit den Quellen, oder dieselbe Frage läuft mehrmals. Weichen die Ergebnisse voneinander ab, ist das laut Anthropic ein Hinweis auf eine Halluzination. Die Antwort geht dann zur Prüfung an einen Menschen.

Wie prüfen Mitarbeiter KI-Antworten im Alltag?

Mit einer kurzen, festen Prüfroutine, die zur Aufgabe passt. Die Technik senkt die Fehlerquote, die letzte Kontrolle bleibt beim Menschen. Die OWASP warnt ausdrücklich vor übermäßigem Vertrauen: Nutzer übernehmen Ergebnisse, ohne sie zu prüfen, und tragen Fehler so in Entscheidungen und Abläufe. Diese Fragen helfen bei jeder Antwort:

• Steht eine Quelle dabei, und sagt die Quelle wirklich das? Einmal draufklicken kostet zehn Sekunden.
• Enthält die Antwort Zahlen, Fristen, Normen oder Paragrafen? Dann jede davon im Original nachschlagen.
• Klingt die Antwort sicherer, als das Thema es hergibt? Bei Rechts- und Fachfragen ist eine glatte Antwort ohne Einschränkung ein Warnsignal.
• Würde ich diese Aussage mit meinem Namen an einen Kunden schicken? Wenn nein, geht sie nicht raus.
• Fehlt etwas, das ich erwartet hätte? Zusammenfassungen lassen gern genau die Ausnahme weg, auf die es ankommt.

Diese Routine gehört in die Schulung. Die RTR nennt Halluzinationen ausdrücklich als Inhalt für den Aufbau von KI-Kompetenz nach Artikel 4 AI Act, neben Bias und der Bedeutung von Trainingsdaten. Was die Pflicht konkret verlangt, erklärt der Artikel KI-Kompetenz nach Artikel 4 AI Act.

Wer haftet, wenn die KI etwas Falsches sagt?

Der Betrieb, der die Antwort verwendet. Die KI ist kein Mitarbeiter, dem man die Schuld zuschieben kann. Den bekanntesten Fall dazu hat 2024 ein Schlichtungsgericht in British Columbia entschieden: Der Chatbot von Air Canada hatte einem Kunden eine Erstattungsregel für Trauerfälle versprochen, die es so nicht gab. Die Airline argumentierte, der Chatbot sei für seine Aussagen selbst verantwortlich. Das Gericht wies das zurück. Laut einer Analyse von Dentons hielt es fest, Air Canada sei für alle Informationen auf der eigenen Website verantwortlich, und sprach dem Kunden 650,88 kanadische Dollar Schadenersatz zu.

Das ist ein kanadisches Urteil und kein österreichisches Recht. Die Logik dahinter ist trotzdem eindeutig: Was Ihr Betrieb an Kunden kommuniziert, kommuniziert Ihr Betrieb, egal ob ein Mensch oder ein Programm den Satz geschrieben hat. Legen Sie deshalb in Ihrer KI-Richtlinie fest, welche KI-Ergebnisse ohne Freigabe das Haus verlassen dürfen. Unsere Empfehlung: keine.

Wo gehört ein Mensch zwingend in den Ablauf?

Überall dort, wo ein Fehler Geld, Sicherheit oder Vertrauen kostet. Die Grenze ziehen Sie am besten nach der Frage, wer das Ergebnis liest und was ein Fehler auslöst:

• Ohne Freigabe: interne Entwürfe, Zusammenfassungen für den Eigengebrauch, Formulierungshilfen. Ein Fehler fällt beim Weiterarbeiten auf.
• Mit Stichprobe: Vorsortierung von Anfragen, Zuordnung von Belegen, interne Suche mit Quellenangabe. Ein Mensch prüft regelmäßig einen Teil und schaut auf Fehlermuster.
• Mit Freigabe jedes Ergebnisses: Antworten an Kunden, Angebote, technische Auskünfte, alles mit Preisen, Fristen oder rechtlicher Wirkung. Die KI liefert den Entwurf, ein Mensch drückt auf Senden.

Diese Einteilung entscheidet, wie die Anwendung gebaut wird. Ein Entwurf, der in einer Freigabeliste landet, braucht eine andere Oberfläche als ein Assistent, der im Chat antwortet. Genau diese Abwägung machen wir in der KI-Integration vor der ersten Zeile Code. Wenn Sie einen konkreten Ablauf absichern wollen, schreiben Sie uns über den Kontakt.