Wenn KI-Antworten jedes Mal unterschiedlich ausfallen
Die KI-Feedback-Lotterie
Große Sprachmodelle bewerten Dinge jedes Mal anders, wenn wir sie um Feedback bitten. Diese KI-Eigenart wird zur grundlegenden Herausforderung, wenn wir Ideen entwickeln und überprüfen wollen.
Stellen Sie sich vor, Sie haben wochenlang an einem Businessplan gearbeitet. Sie zeigen ihn einem KI-Assistenten, und dieser lobt ihn in den höchsten Tönen: „Das ist ein überzeugendes, gut strukturiertes Konzept – Sie können loslegen.“ Voller Tatendrang schließen Sie das Chatfenster und machen sich an die Arbeit. Ein paar Tage später überkommt Sie die Neugier. Sie eröffnen eine neue Unterhaltung, fügen genau denselben Plan mit genau derselben Eingabe ein und warten. Das Urteil dieses Mal? „Hier gibt es erhebliche strukturelle Schwächen. Die Marktanalyse ist unzureichend, die Finanzprognosen beruhen auf ungetesteten Annahmen und das Wertversprechen sollte grundlegend überdacht werden.“
Gleiches Dokument. Gleiche Frage. Zwei substanziell unterschiedliche Ansichten.
Das ist kein Fehler. Es handelt sich um eine der am meisten unterschätzten strukturellen Tatsachen bei der Arbeit mit großen Sprachmodellen – und sie hat reale Konsequenzen für jeden, der KI als kreativen Berater oder als Sparringspartner für seine Ideen nutzt.
Große Sprachmodelle können dir keine einheitliche Meinung liefern
Thema
Dieser Beitrag befasst sich mit einem strukturellen Merkmal großer Sprachmodelle und dessen praktischen Auswirkungen auf Kreative, Unternehmer und alle, die KI als Denkpartner nutzen.
Zusammenfassung
Wenn du KI für Feedback nutzen möchtest, gehe dabei vorsichtig vor und nimm nicht alles, was sie sagt, für bare Münze. Führe mehrere Durchläufe durch, so als würdest du mehrere Personen fragen.
Die ursprünglichen Ideen, die Struktur und ein Großteil des Wortlauts stammen von Menschen, doch wurden Teile des Inhalts mithilfe von KI entwickelt, angereichert oder überarbeitet – beispielsweise durch die Recherche von Quellen, die Überarbeitung von Abschnitten zur Verbesserung der Verständlichkeit oder die Vertiefung von Argumenten.
Ein großes Sprachmodell vertritt keine festen Meinungen, wie es ein menschlicher Mitarbeiter tut. Jede Antwort wird neu auf der Grundlage von Wahrscheinlichkeiten generiert, die sich aus dem aktuellen Gesprächskontext ergeben. Wenn Sie die Sitzung löschen, geht das Modell Ihre Arbeit wieder von Grund auf neu an – was bedeutet, dass dieselbe Eingabeaufforderung über verschiedene Sitzungen hinweg zu erheblich unterschiedlichen Einschätzungen führen kann, insbesondere bei subjektiven oder kreativen Aufgaben.
Erste Sitzung
„Das ist eine hervorragende Grundlage. Die Kernidee ist überzeugend, der Aufbau ist solide und die Umsetzung ist reif für die große Bühne. Das Projekt können Sie mit Zuversicht weiterverfolgen.“
Zweite Sitzung
„Das hat Potenzial, aber das Konzept weist eine Reihe von Mängeln auf, die behoben werden sollten. Ich würde vor der nächsten Phase eine grundlegende Überarbeitung empfehlen.“
Beide Antworten stammen aus demselben Modell. Beide sind schlüssig, gut begründet und überzeugend verfasst. Keiner der beiden lügt. Aber sie können auch nicht beide recht haben – und dennoch wird das Modell jede Position mit gleicher Gewandtheit verteidigen, wenn man es darum bittet. Technisch gesehen ruft das Modell keine festgelegte Bewertung ab, die irgendwo intern gespeichert ist. Selbst bei identischer Eingabebefehlsfolge beinhaltet jede Generierung eine probabilistische Token-Auswahl, bei der mehrere plausible Fortsetzungen miteinander konkurrieren und kleine statistische Unterschiede zu unterschiedlichen Gesamtantworten führen. In kreativen Bereichen – wo es keine einzige richtige Antwort gibt – können diese Verzweigungswahrscheinlichkeiten dazu führen, dass das Modell in einer Sitzung Begeisterung zeigt und in einer anderen grundlegende Skepsis.
J.K. Rowling und das Glück des Zufalls
Als J.K. Rowling das erste Manuskript zu „Harry Potter“ fertiggestellt hatte, erhielt sie zwölf Rückmeldungen von professionellen Lektoren verschiedener Verlage, und jede einzelne davon war eine Ablehnung. Die Geschichte, die zu einer der erfolgreichsten Kinderbuchreihen der letzten Jahrzehnte werden sollte, war nach einhelliger Meinung der damaligen Experten nicht veröffentlichungswürdig.
Die Lektoren trafen sicherlich fundierte, auf Erfahrung basierende Entscheidungen – doch diese Entscheidungen wurden auch von der Stimmung der Leser, den aktuellen Vorlieben des Verlags, der persönlichen Verfassung des Lektors an jenem Tag und tausend anderen unbekannten Variablen beeinflusst. Die Beurteilung kreativer Werke war im Kern schon immer ein probabilistischer Prozess. Die KI hat dieses probabilistische Chaos lediglich reibungslos gemacht und von der Realität losgelöst.
Was sich durch KI ändert, ist nicht die Inkonsistenz an sich, sondern unsere Neigung, die selbstbewusste, gut strukturierte Prosa einer KI-Antwort mit einem stabilen, verlässlichen und maßgeblichen Urteil zu verwechseln. Das tiefer liegende Problem ist, dass jedes kreative Urteil von Natur aus inkonsistent ist: Der menschliche Geschmack wandelt sich, Märkte schwanken, redaktionelle Trends ändern sich. Doch die außergewöhnliche Sprachgewandtheit der KI verschleiert diese Instabilität. Eine von einem Large Language Model generierte Antwort vermittelt den Eindruck einer wohlüberlegten Meinung, da sie auf wohlüberlegten Meinungen trainiert wurde, die von Menschen verfasst wurden. Die oberflächlichen Anzeichen von Gewissheit sind alle vorhanden. Die zugrunde liegende Stabilität ist es nicht.
Rowlings Ablehnungsschreiben wurden zumindest mit der stillschweigenden Annahme übermittelt, dass sie menschliche Urteile widerspiegelten – fehlbare, kontextabhängige, eine von vielen. Eine KI-Antwort hingegen präsentiert sich in der Ästhetik der Autorität, obwohl sie in Wirklichkeit nichts weiter ist als eine stochastisch generierte Synthese vergangener menschlicher Meinungen, wie sie im Internet zu finden sind.
Nach diesen Ablehnungen schickte J.K. Rowling ihr Manuskript ein dreizehntes Mal ein, was schließlich den Weg für die erfolgreiche Veröffentlichung von „Harry Potter und der Stein der Weisen“ im Jahr 1997 ebnete.
Drei Möglichkeiten, mit dem Feedback von LLM umzugehen
Wenn Sie im Rahmen kreativer Projekte auf Unstimmigkeiten im KI-Feedback stoßen, gibt es drei Möglichkeiten, darauf zu reagieren, und nur eine davon führt zu einem effizienten Evaluierungsprozess. Dazu muss man wissen, was das Tool kann – und was nicht.
Der entmutigte Creator
Ein selbstkritischer Mensch reagiert auf solche Diskrepanzen im Feedback der KI möglicherweise mit Entmutigung. Wenn die KI deine Arbeit heute Vormittag gelobt und am Nachmittag verworfen hat, was sagt das dann über die Arbeit aus? Für viele Menschen, insbesondere für diejenigen, die ohnehin schon zu Selbstzweifeln neigen, kann ein einziges hartes Urteil der KI ausreichen, um eine Idee komplett ad acta zu legen. Das Grausame daran ist, dass dieses harte Urteil möglicherweise nur ein statistischer Ausreißer war: vergleichbar damit, dass ein Lektor bei einem Verlag einen schlechten Tag hat. Doch ohne den Kontext, dass es sich nur um eine Ziehung aus einem probabilistischen Kartenspiel handelte, wirkt es wie ein endgültiges Urteil und wertet gleichzeitig vorheriges Lob ab.
Der übermütige Creator
Die zweite Reaktion ist das genaue Gegenteil: unbegründetes Selbstvertrauen. Ein selbstbewusster Schöpfer probiert verschiedene Versionen aus, bis er das erhoffte begeisterte Urteil erhält, macht einen Screenshot und handelt so, als hätte die KI seine Arbeit durchweg bestätigt. Das ist eine völlig natürliche psychologische Reaktion auf diese Situation. Aber sie ist gefährlich, denn die Ermutigung hat nicht mehr Gewicht als die Entmutigung. Es ist schlichtweg ein Glücksspiel, keine fundierte Einschätzung. Der Schöpfer geht mit einer Überzeugung voran, die auf Sand gebaut ist.
Der raffinierte Creator
Die dritte Antwort ist die einzig wirklich sinnvolle: die Inkonsistenz als Information zu betrachten. Ein Entwickler, der derselben KI dieselbe Frage mehrmals stellt – oder der die Fragestellung bewusst variiert, um eine Idee einem Stresstest zu unterziehen –, manipuliert das System nicht. Er tut etwas, das dem Vorgehen eines guten Redakteurs oder Kreativdirektors ähnelt, wenn dieser mehrere Meinungen einholt, bevor er sich auf eine Richtung festlegt. Die Unterschiede in den Antworten geben ihm Aufschluss darüber, wo die Idee wirklich stark ist (durchgängiges Lob) und wo sie wirklich Schwächen aufweist (inkonsistentes oder widersprüchliches Feedback).
Wie nutzt man KI als kreativen Partner?
Das bedeutet jedoch nicht, dass das Feedback der KI wertlos ist. Schon eine einzige KI-Sitzung kann blinde Flecken aufdecken, unklare Passagen identifizieren, Alternativen vorschlagen, an die Sie nicht gedacht hatten, und Sie zu einer ausgefeilteren Version Ihrer Idee führen.
Eine gute Vorgehensweise ist es, die statistische Verteilung zu Ihrem Vorteil zu nutzen. Wenn Sie dem LLM dieselbe Frage dreimal mit derselben Eingabe stellen, erhalten Sie wahrscheinlich eine solide Verteilung aus Lob und Kritik. Und wenn Sie möchten, können Sie die Aufgabe, die Gemeinsamkeiten und Unterschiede in diesen Bewertungen zu ermitteln, zusätzlich an Ihr LLM delegieren.
Eine Herausforderung in diesem Zusammenhang ist das „persistente Gedächtnis“, bei dem das große Sprachmodell den Inhalt früherer Unterhaltungen speichert. Wenn dies in die zweite und dritte Bewertung einfließt, schwächt es den Effekt einer neuen Perspektive und rechtfertigt weiterhin frühere Aussagen. Schalten Sie diese Funktion aus!
Ein Hinweis: Je origineller und unkonventioneller Ihre Idee ist, desto weniger kann Ihnen ein LLM Feedback zum Inhalt geben. Es stützt sich auf bisheriges Wissen und Muster und ist nicht gut dafür geeignet, wertvolle Neuerungen zu erkennen, die über die Erweiterung des Bestehenden hinausgehen. Sie können also weiterhin die Rechtschreibung und die Vollständigkeit überprüfen, sollten aber keine fundierte Bewertung des Inhaltlichen erwarten.