„Ich halte die Wahrscheinlichkeit für 25 Prozent, dass die Sache richtig, richtig schiefgeht.“ Diese Aussage stammt nicht von einem KI-kritischen Blogger, sondern von Dario Amodei - CEO von Anthropic, dem Unternehmen hinter Claude - der damit die Wahrscheinlichkeit beziffert, dass KI zum Weltuntergang führen kann. Zugegeben: Die übrigen 75 Prozent seiner Wette entfallen auf eine großartige Zukunft der Menschheit dank KI. Doch was bringt jemanden, der der Technologie so nahe steht und am meisten von ihrem Einsatz profitiert, dazu, sie potenziell als Auslöser der Apokalypse zu sehen?

Mit dieser Aussage steht er übrigens nicht alleine da. Viele Menschen mit intimer Kenntnis der Technologie haben ähnliche Sorgen geäußert. Fürchten sie sich wirklich davor, die Maschinen könnten beschließen, dass Menschen überflüssig sind, und danach handeln? Das ist ehr unwahrscheinlich, denn KI lässt sich schlicht stoppen, indem man ihren energiehungrigen Rechenzentren den Stecker zieht. Es gibt jedoch eine differenziertere und beunruhigendere Perspektive. Sie beginnt mit dem Verständnis dessen, was KI tatsächlich ist und was nicht, und wozu wir sie machen. Bevor wir also in Panik verfallen oder das zerstörerische Potenzial der KI rundweg abtun, müssen wir etwas in die Tiefe gehen.

Das Wichtigste zuerst: Die KI weiß nicht, wovon sie spricht. Das wird von vielen missverstanden. Selbst der beste Machine-Learning-Algorithmus ist eine Mustererkennungsmaschine, auch wenn er unsere Sprache „versteht“ und „spricht“. Doch „verstehen“ und „sprechen“ heißen nicht, die Welt zu begreifen, wie wir es tun. Mustererkennung fügt dem, was sie berechnet, keine inhärente Bedeutung hinzu. Wenn die KI uns sagt, dass ein Medikament keine ernsten Wechselwirkungen habe oder dass die Statik einer Konstruktion korrekt sei, greift sie in der Regel nicht auf ein Konzept von Medizin oder Ingenieurwesen zurück. Sie erzeugt eine Antwort, die den früher korrekten Antworten ähnlich ist.

Das Risiko einer Auslöschung durch KI zu mindern, sollte neben anderen gesamtgesellschaftlichen Risiken wie Pandemien und Atomkrieg globale Priorität haben.

Center for AI Safety, 2023

Zweitens ist das Innovationspotenzial der KI konzeptionell begrenzt. KI kann beeindruckende Dinge tun, die wie Kreativität aussehen. Sie kann sogar Gedichte und Musik verfassen. Aber sie kann das, weil sie viel Lyrik und Musik gesehen hat und über Informationen darüber verfügt, was Menschen gefällt und was nicht - genug, um zu interpolieren. In der Wissenschaft hat sie den Rahmen des menschlichen Wissens über Physik, Chemie und Biologie. Wenn also AlphaFold Proteinstrukturen vorhersagte, die Biochemiker jahrzehntelang nicht gefunden hatten, oder generative KI-Modelle neue chemische Verbindungen vorschlugen, die zuvor kein Chemiker synthetisiert hatte, dann ist das Regelanwendung und Extrapolation, nicht Neuheit.

Und genau dort liegt die Grenze. KI-Durchbrüche erkunden den Raum, den vorhandenes Wissen absteckt – durch Rekombination, Interpolation und Vorstoßen entlang bekannter Dimensionen. Was KI nicht kann, ist zu erkennen, ob der ganze Rahmen falsch ist oder ob die zugrunde liegenden Annahmen Fehler enthalten – oder gar neue Konzepte von Grund auf zu entwickeln.

Nehmen wir die Entdeckung des Penicillins: Alexander Fleming bemerkt etwas Merkwürdiges in einer Petrischale und folgt einer Ahnung, die in keinerlei Übereinstimmung mit dem zur Zeit verfügbaren Wissen lag. Oder die Theorie, dass viele Krankheiten durch Infektionen verursacht werden. Dafür musste jemand das dominierende Konzept vollständig verwerfen und etwas vorschlagen, das zur damaligen Zeit absurd wirkte. Diese Entdeckungen waren gezielte Brüche, und keine Fortschreibung vergangenen Wissens. Dieser Sprung - über die Grenzen gesicherten Wissens hinaus in wirklich unbekannte Gefilde vorzudringen - bleibt eine ausgesprochen menschliche Fähigkeit, für die KI schlecht gerüstet ist.

Warum sollten wir uns also fürchten?

Wenn die KI diese grundlegenden Grenzen hat, warum sollte sie uns dann schlaflose Nächte bereiten? Die Gefahr liegt nicht darin, dass die KI die Menschheit für ein Problem hält und gegen uns rebelliert; das ist zwar guter Stoff für einen Hollywoodstreifen, aber nicht das wahrscheinliche Szenario.. Das eigentliche Risiko von KI ist weit banaler und weit plausibler. Wir sind's.

Genauer gesagt besteht das Risiko darin, dass wir - als Individuen und als Gesellschaft - unser eigenes Urteil systematisch durch KI-generierte Beurteilungen unserer Welt zu ersetzen, ohne zu berücksichtigen, was KI nicht kann. Dieser Prozess läuft in tausenden unternehmerischen Entscheidungen bereits regelmäßig ab. Ein paar Beispiele, wie das schiefgehen kann: ein Finanzinstitut, das ein KI-Risikomodell nutzt, das auf ein nicht mehr existentes wirtschaftliches Umfeld trainiert wurde. Oder ein Krankenhaus, das routinemäßig KI-Diagnostik so zuverlässig einsetzt, dass Ärzte auch in Grenzfällen, die der KI nicht bekannt sind, ihr Urteil nicht mehr hinterfragen. Oder eine Regierung, die I-gestützte Politikanalysen auf Daten aufbaut, die genau jene Schichten systematisch unterrepräsentieren, die von ihren Maßnahmen am stärksten betroffen sind. Keines dieser Szenarien setzt voraus, dass eine KI „außer Kontrolle gerät“ – sie setzen nur voraus, dass Menschen ihr Urteil schrittweise an ein System abtreten, das von seiner Konstruktion her kein menschliches Urteil fällen kann.

Damit höhlen wir zudem unsere eigene Entscheidungsfähigkeit aus: weil wir verlernen, selbst Dinge zu beurteilen, und indem wir frühere, womöglich schlechte KI-Outputs ohne ausreichende Prüfung zur Grundlage künftiger Entscheidungen machen.

Das Problem: der KI zu viel Macht zu geben

Unter dem Strich rührt jede existenzielle Bedrohung durch KI nicht daher, dass sie plötzlich böse Absichten entwickelt, sondern daher, dass wir ihre Fähigkeiten so gründlich missdeuten, dass wir aufhören, die wesentliche menschliche Zutat beizusteuern: echtes Urteil und Verantwortung. Da KI und menschliches Urteil qualitativ verschieden sind, versagen sie auf unterschiedliche Weise und aus unterschiedlichen Gründen. Ein Entscheidungssystem, das vollständig auf KI beruht, lässt diese Vielfalt zusammenbrechen. Wenn der Fehlermodus der KI eintritt – neuartige Situationen, verschobene Datenlage, Mustererkennung auf einer fehlerhaften historischen Grundlage –, bleibt keine menschliche Rückfallebene.

Das ist der Mechanismus, über den KI zu katastrophalen Ergebnissen beitragen könnte. Nicht durch Superintelligenz, sondern durch die stille Erosion des menschlichen Urteils, das eigentlich immer im Spiel bleiben sollte. Und durch eine übermäßige Ausweitung der Befugnisse, die wir der KI einräumen. Letztlich geht es beim Auslöschungsrisiko also gar nicht um die KI. Es geht um uns, gespiegelt durch die KI.

Die Frage „Könnte KI zur Auslöschung der Menschheit führen?“ lautet in Wahrheit: „Könnten wir schlafwandelnd in eine Katastrophe geraten, indem wir Mustererkennung systematisch mit Verstehen verwechseln und unser Urteil an einen sehr raffinierten Spiegel unserer eigenen Vergangenheit auslagern?“ Diese Frage verdient es, ernst genommen zu werden.

Wer entscheidet, wen die KI tötet?

Dies ist gerade eine sehr aktuelle Diskussion. Im Juli 2025 schloss Anthropic einen Vertrag über 200 Millionen Dollar mit dem US-Verteidigungsministerium und wurde damit das erste KI-Unternehmen, das seine Claude-Modelle in klassifizierten Regierungssystemen betreibt. Die Partnerschaft war ein Kompromiss: Claude sollte Aufklärung, Analyse, Einsatzplanung und Cyberoperationen unterstützen, aber mit zwei ausdrücklichen Einschränkungen. Anthropic würde weder die Überwachung amerikanischer Bürger noch vollautonome Waffensysteme zulassen - also Waffen, die nach ihrer Aktivierung Ziele auswählen und bekämpfen, ohne menschliche Entscheidungen.

Das Pentagon wehrte sich. Verteidigungsminister Pete Hegseth und das Verteidigungsministerium bezeichneten diese Grenzen als zu einschränkend und beharrten darauf, verantwortungsvolle KI-Nutzung müsse „alle rechtmäßigen Zwecke“ des US-Militärs umfassen. Anthropic weigerte sich, die Einschränkungen aufzuheben, worauf das Ministerium Anthropic als Lieferkettenrisiko einstufte - ein Label, das zuvor ausländischen Gegnern vorbehalten war. Zudem verpflichtete das Verteidigungsministerium Lieferanten und Auftragnehmer, in ihrer Arbeit für das Pentagon keine Anthropic-Modelle zu verwenden.

Es ging also genau um Eines: vollautonome Waffen. KI unterstützt militärische Entscheidungen bereits, und daran hatte Anthropic keinen Anstoß genommen. Die Debatte drehte sich nur darum, ob KI die endgültige tödliche Entscheidung treffen darf, ohne dass ein Mensch sie freigeben muss.

Anthropics Position war, dass der Einsatz unzuverlässiger KI in autonomen Waffen amerikanische Soldaten gefährden statt schützen würde - ein gleichermaßen technisches wie ethisches Argument. Aus diesem Grund setzte die Regierung ausgerechnet dasjenige KI-Unternehmen auf die schwarze Liste, das am tiefsten in ihre Strukturen integriert war. Berichten zufolge wurde während US-Angriffen im Iran Anthropics Technologie eingesetzt, kurz nachdem das Verbot verkündet worden war.

Was dieses Beispiel so bedeutsam macht, ist die Art des Drucks auf Anthropic.  Es ging nicht darum, Claude klüger oder leistungsfähiger zu machen, sondern darum, das menschliche Urteil aus der Entscheidungskette zu streichen - also jene Leitplanken zu entfernen, gemäß denen ein Mensch für tödliche Entscheidungen verantwortlich bleibt. Das ist eine nahezu perfekte Illustration des Risikos, das wir beschreiben. Die Gefahr ist nicht, dass die KI eigenständig beschließt, Krieg zu führen. Sie besteht darin, dass Menschen sich bewusst aus der Verantwortung stehlen - und das dann "effizient" nennen.

Es liegt nur an uns

Kurz zusammengefasst: all die beschriebenen Risiken haben nichts mit der Technologie an sich zu tun. Sie entstehen einzig und allein aus der Art und Weise, wie wir KI einsetzen, welche Entscheidungen wir ihr überlassen und in welchem Rahmen wir bewusst menschliches Urteilsvermögen als letzte Instanz beibehalten.

KI kann unser Urteilsvermögen zu erweitern, indem es uns Wissen und analytische Fähigkeiten verfügbar macht, kann unser eigenes Urteil aber nicht ersetzen. Richtig eingesetzt vergrößert KI unsere Reichweite, macht Muster sichtbar, die wir sonst möglicherweise übersehen würden, und bewältigt Komplexität in einem Maße, den kein menschliches Gehirn erreicht. Die Menschen und Institutionen, die gut in die KI-Ära kommen, sind jene, die klar im Blick behalten, was KI kann und was nicht – und die  menschliche Innovationsfähigkeit und menschliche Verantwortung, die kein Modell vollständig nachbilden kann, bewusst erhalten.