KI-Halluzinationen: Warum Modelle falsche oder unbelegte Antworten erzeugen

Was sind KI-Halluzinationen?

Von einer Halluzination spricht man, wenn ein KI-Modell Inhalte erzeugt, die zwar flüssig und überzeugend klingen, aber falsch, erfunden, nicht überprüfbar oder nicht durch die vorliegenden Quellen gedeckt sind. Die verbreitete Kurzformel „überzeugend, aber falsch“ greift dabei zu kurz: Eine Aussage muss nicht eindeutig „falsch“ sein, um zu halluzinieren – sie kann auch schlicht unbelegt oder einer falschen Quelle zugeschrieben sein.

Für die Praxis lohnt sich eine Unterscheidung, die in der Forschung üblich ist:

Beides fällt nicht zusammen: Fasst ein Modell ein PDF zusammen und ergänzt eine an sich wahre Information, die im PDF gar nicht steht, ist die Aussage faktisch korrekt, aber nicht quellentreu. Fachlich trennt man zusätzlich intrinsische Halluzinationen (die Ausgabe widerspricht der Quelle) von extrinsischen (die Ausgabe lässt sich aus der Quelle weder bestätigen noch widerlegen).

Halluzination oder ein anderer KI-Fehler?

Nicht jeder Fehler einer KI ist eine Halluzination. Die Begriffe werden in Forschung und Industrie uneinheitlich verwendet – die US-Behörde NIST spricht etwa bewusst von Confabulation, um die Vermenschlichung durch das Wort „Halluzination“ zu vermeiden. Hilfreich ist die Abgrenzung von benachbarten Fehlertypen:

Warum Halluzinationen entstehen

Halluzinationen haben nicht eine einzige Ursache. Die Kurzfassung „ein Sprachmodell sagt nur wahrscheinliche Wörter voraus“ taugt als erster Einstieg, erklärt das Phänomen aber nicht vollständig. Zusammen wirken unter anderem:

• die probabilistische Texterzeugung – das Modell wählt plausible Fortsetzungen, keine geprüften Fakten;
• Wissenslücken sowie unvollständige, widersprüchliche oder fehlerhafte Trainingsdaten;
• veraltetes Wissen nach dem Trainingsstichtag;
• schlechte Unsicherheitskalibrierung – das Modell „weiß nicht, dass es etwas nicht weiß“;
• Optimierung auf hilfreiche, vollständige Antworten;
• Bewertungsverfahren, die Raten belohnen und das Zugeben von Unwissen bestrafen;
• mehrdeutige Prompts oder falsche Voraussetzungen in der Frage;
• widersprüchliche oder sehr lange, unübersichtliche Kontexte;
• Retrieval-Fehler und schlechte RAG-Quellen;
• Fehler bei Tool-/Function-Calling und in agentischen Abläufen.

Formulierungen wie „die KI denkt sich etwas aus“ sind nur ein Bild. Das Modell verfolgt keine Absicht, sondern setzt gelernte Muster fort – deshalb der nüchternere NIST-Begriff Confabulation.

Arten von Halluzinationen

Eine einfache Typologie hilft, Halluzinationen schneller zu erkennen. Die folgenden Kategorien überschneiden sich teilweise und sind keine strenge wissenschaftliche Klassifikation, sondern eine praxistaugliche Orientierung.

Typische Beispiele

Die folgenden Fälle sind konstruierte Beispiele zur Veranschaulichung – keine dokumentierten Tests eines bestimmten Produkts.

Warum sogar Quellen halluziniert werden

Viele einfache Ratgeber empfehlen: „Bitte die KI einfach um Quellen.“ Das genügt nicht. Ein Modell kann Quellen erfinden, URLs falsch zusammensetzen, echte Publikationen falsch zitieren oder eine reale Quelle mit einer falschen Aussage verbinden.

Wie ernst das ist, zeigt der juristische Bereich: In einer Studie der Stanford-Gruppe RegLab/HAI (2024) halluzinierten selbst spezialisierte, quellengestützte Recherchewerkzeuge in rund 17 bis 33 % der geprüften Fälle – deutlich seltener als allgemeine Chatbots, aber keineswegs „halluzinationsfrei“. Fehlerhafte oder falsch zugeordnete Belege waren dabei ein zentrales Muster.

RAG und Grounding: Hilfe, kein Wundermittel

Retrieval-Augmented Generation (RAG) und Grounding – also das Verankern von Antworten in konkreten Quellen – senken das Halluzinationsrisiko oft deutlich. Auch die Anbieter selbst formulieren ihr Ziel jedoch als „reduzieren“, nicht „ausschließen“. Typische Restfehler:

• die passende Quelle wird nicht gefunden;
• ein falsches Dokument landet im Kontext;
• die Quelle ist veraltet;
• nur ein unpassender Ausschnitt wird geliefert;
• das Modell interpretiert den Ausschnitt falsch;
• es ergänzt Wissen außerhalb der Quelle;
• ein Zitat wird der falschen Behauptung zugeordnet.

RAG verbessert also die Wahrscheinlichkeit belegter Antworten, ersetzt aber weder die Details der Umsetzung noch die Prüfung der Ausgabe.

Was Halluzinationen nicht zuverlässig verhindert

Rund um „Anti-Halluzinations-Tricks“ halten sich hartnäckige Mythen. Sie können im Einzelfall helfen, sind aber keine Garantie.

Was Nutzer dagegen tun können

• Aktuelle oder strittige Fakten aktiv recherchieren lassen und die Primärquelle selbst öffnen.
• Zahlen, Namen, Daten und Zitate gegen das Original abgleichen.
• Mehrere Behauptungen einzeln prüfen, statt die Antwort als Ganzes zu „glauben“.
• Ausdrücklich erlauben, dass die KI „nicht belegt“ oder „unbekannt“ antwortet.
• Wichtige Entscheidungen nie allein auf generierten Text stützen.

Bessere Prompts – als Hilfsmittel, nicht als Garantie

Gute Prompts können das Risiko senken, aber nicht beseitigen. Eine belastbare Anweisung lautet zum Beispiel:

Was Entwickler und Unternehmen tun können

Für Entwickler

• Antworten in Quellen verankern (Grounding/RAG) und Belege sichtbar ausgeben.
• Zitate maschinell prüfen (Citation Validation) und einzelne Behauptungen extrahieren.
• Berechnungen an Code oder einen Rechner, Fakten an Datenbanken bzw. APIs auslagern, statt schätzen zu lassen.
• Structured Outputs und – wo möglich – feste Antwortmengen erzwingen.
• Abstention und Unsicherheit zulassen und auswerten.
• Mit eigenen Evals und Monitoring gegen reale Testfälle messen.

Für Unternehmen

• Human-in-the-Loop und klare Freigabeprozesse für riskante Ausgaben.
• Risikoklassen je Anwendungsfall definieren (siehe Risikomanagement).
• Prompts und Modellversionen dokumentieren und versionieren.
• Stichproben, Evals und einen Korrektur- bzw. Incident-Prozess etablieren.

Risiko nach Anwendungsfall

Wie viel Prüfung nötig ist, hängt vom Einsatz ab. Die Einordnung ist eine Orientierung, keine exakte Messung – pseudogenaue Prozentwerte zur „Halluzinationswahrscheinlichkeit“ gibt es hier bewusst nicht.

Der 60-Sekunden-Halluzinationscheck

Halluzinationen bei multimodaler KI

Nicht nur Textmodelle halluzinieren. Auch multimodale Modelle für Bild, Audio, Video oder Diagramme erzeugen Inhalte, die es so nicht gibt:

• Ein Modell beschreibt ein Objekt im Foto, das gar nicht vorhanden ist (sogenannte Object Hallucination).
• Es liest aus einem Diagramm einen Wert ab, der dort nicht dargestellt ist.
• Bei schlechter Texterkennung (OCR) ergänzt es plausible, aber falsche Wörter.

Die Forschung misst solche Fehler mit eigenen Prüfverfahren wie dem POPE-Benchmark. Konkrete Aussagen über einzelne aktuelle Modelle lassen sich ohne belastbaren, datierten Test jedoch nicht seriös treffen.

Können Halluzinationen ganz verschwinden?

Bei offenen, freien Aufgaben lässt sich das Halluzinationsrisiko nach heutigem Stand nicht generell auf null bringen. Eine theoretische Arbeit (Xu et al., 2024) argumentiert sogar, dass ein universell einsetzbares Sprachmodell dies grundsätzlich nicht vollständig vermeiden kann – als formales Argument mit klar begrenztem Modell, nicht als Messwert.

Bei eng begrenzten Aufgaben lässt sich Zuverlässigkeit dagegen stark erhöhen: über deterministische Werkzeuge, Datenbankabfragen, feste Regeln und validierte Structured Outputs. Wichtig bleibt die Unterscheidung: Ein guter Benchmark-Wert ist nicht dasselbe wie Verlässlichkeit in der offenen Praxis mit neuen, unerwarteten Eingaben.

Weiterführend: Wie Sprachmodelle funktionieren, RAG, KI-Modelle evaluieren und der Workflow für KI-Recherche.

• Large Language Models
• RAG
• KI-Modelle evaluieren
• Prompt-Builder
• KI-Recherche
• Risikomanagement