Fragen Sie ein KI-Modell nach der Französischen Revolution, und Sie erhalten eine kompetente Zusammenfassung. Fragen Sie nach einem unbekannten Dichter des 18. Jahrhunderts, erhalten Sie eine ebenso kompetent klingende Zusammenfassung – nur ist diese womöglich teilweise erfunden, mit fabrizierten Zitaten und einer Biografie, die aus ähnlichen Figuren zusammengesetzt ist. Beide Antworten kommen mit derselben geschliffenen Autorität einer Fachperson daher. Die eine ist echt, die andere größtenteils Fiktion.

Das ist nicht zufällig. Künstliche Intelligenz halluziniert nicht zufällig, sondern konzentriert systematisch und vorhersehbar oft genau dort, wo die Benutzer am wenigsten wissen und es deshalb nicht überprüfen und entdecken können. Mit anderen Worten: es ist eines der größten Probleme von KI.

So in short: the more thoroughly a subject has been written about and made available to the AI model, the more reliably it can talk about it. The further a query drifts into specialist territory, the more the output shifts from recall to invention. This is not a calibration problem that better training will solve - it's intrinsic to how these systems work. Das Muster zeigt sich regelmäßig und wurde in vielen Studien bestätigt.

Die Fehler werden in den Fällen auftreten, in denen sie für Leser schwerer zu bemerken sind – weil sie entlegener sind.

Emily M. Bender, University of Washington, 2023

Die untenstehende Tabelle zeigt einige Daten zu Halluzinations-Levels für verschiedene Themen. Die Resultate zeigen, dass Halluzinationen negativ mit verfügbarem Wissen korreliert ist - je mehr davon verfügbar ist, umso weniger erfinden KI-Modelle.

Der Kern des Problems: Wie KI speichert und abruft

Der Mechanismus dahinter ist nicht geheimnisvoll – er steckt unmittelbar darin, wie Sprachmodelle Sprache überhaupt verarbeiten. Es gibt kein tatsächliches Erfassen von Inhalten und kein bewusstes Verfassen von Text, sondern nur einen sehr verfeinerten Vektorvergleich, der die nächstmögliche Entsprechung und die wahrscheinlichste Fortsetzung sucht. Gibt es zu einem Thema viele Fundstellen, bedeutet „nah“, dass es fast immer stimmt. Ist das Quellenmaterial begrenzt, kann „nah“ zu weit weg sein. Sobald man dieses Grundprinzip verstanden hat, wie eine Anfrage tatsächlich durch das System läuft, ist die Häufung von Halluzinationen in weniger abgedeckten Themen eine logische Folge.

All das gilt auch für uns Menschen. Jeder von uns hat Gebiete, auf denen er Fakten sicher benennen kann und selten Fehler macht, und andere, auf denen sein Wissen begrenzt ist.

Der entscheidende Unterschied liegt in der Überzeugung, mit der Unsicherheit vorgetragen wird. Bei KI-Systemen ist diese Überzeugung in die Erzeugungslogik eingebaut, denn sie hängt nicht mit der Gültigkeit der präsentierten Inhalte zusammen. Sie klingen maßgeblich und sicher, auch wenn sie sich etwas ausdenken.

Dieses Missverhältnis der Sicherheit verschärft das Problem. Menschen nutzen sprachliche Sicherheit als Faustregel für Verlässlichkeit: nervöses, relativierendes Sprechen signalisiert Unsicherheit, flüssige Behauptung signalisiert Wissen. Sprachmodelle setzen dieses Signal außer Kraft. Sie sprechen mit gleichbleibender Flüssigkeit, ob sie auf festem Boden stehen oder aus Fragmenten frei assoziieren, und das Signal, an dem Menschen die Verlässlichkeit eines Sprechers ablesen, fehlt in ihrer Ausgabe praktisch vollständig. Zudem haben die meisten LLM-Anbieter entschieden, dass Nutzer ein „Tut mir leid, das kann ich nicht zuverlässig beantworten“ nicht mögen, und lassen ihren Systemen stattdessen Antworten mit geringer Sicherheit durchgehen.

Fazit: Seien Sie dort skeptisch, wo Sie KI am meisten brauchen

Die meisten Nutzer koppeln ihr Vertrauen in KI an die eigene Sicherheit im Thema: Ich fühle mich mit dieser Antwort wohl, also ist sie wahrscheinlich gut. Die richtige Eichung ist die umgekehrte. Je unvertrauter das Gebiet, desto wahrscheinlicher ist beides – dass das Modell extrapoliert und dass der Nutzer es nicht bemerkt, wenn es falsch liegt.

Fehler, die Sie bemerken können, betreffen Themen, die Sie selbst überprüfen können. Die Fehler, die Sie nicht bemerken können, betreffen Themen, die Sie nicht überprüfen können – dieselben Themen, in denen sich Halluzinationen am dichtesten häufen. Die beiden Verteilungen fallen nicht nur zusammen. Sie verstärken einander.

Im Kern heißt das: Bei der Nutzung von KI müssen wir unseren instinktiven Reflex umkehren, „dem Experten zu vertrauen“ – demjenigen, der Fakten zu einem uns weniger vertrauten Thema mit Überzeugung vorträgt. Bei der KI spiegelt diese Überzeugung typischerweise nur unser eigenes Sicherheitsniveau wider.