KI-Warnung von Anthropic-Forscher Jacob Coxon: Wie real ist die Gefahr?
Bedrohung durch Künstliche Intelligenz
Auslöschung der Menschheit? Das steckt hinter der Warnung
Von t-online, mho
10.09.2026 - 17:01 UhrLesedauer: 3 Min.
Ein Forscher warnt, Künstliche Intelligenz könne die Menschheit vernichten. Im US-Fernsehen grenzt er ein, worauf sich seine Sorge bezieht – und worauf nicht.
Der US-Forscher Jacob Coxon hat seine Warnung vor einer Auslöschung der Menschheit durch Künstliche Intelligenz eingegrenzt. Von den heutigen KI-Systemen gehe dieses Risiko nicht aus, sagte der ehemalige Mitarbeiter des KI-Unternehmens Anthropic im Gespräch mit dem US-Sender CNN. Seine Sorge gelte Modellen, die sich künftig selbst verbessern könnten.
Coxon hatte am Dienstag auf der Plattform X erklärt, er verlasse Anthropic. Die Firma hat das weitverbreitete KI-Modell Claude entwickelt. Weder Anthropic noch sein vorheriger Arbeitgeber OpenAI handelten verantwortungsvoll. Beide steuerten direkt auf eine sich selbst verbessernde Superintelligenz zu, also auf Systeme, die den Menschen in nahezu allen Bereichen übertreffen.
"Die Menschen, die KI bauen, glauben ernsthaft, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte", schrieb der 27-Jährige. Der Beitrag verbreitete sich millionenfach.
"Im Moment besteht kein Risiko"
Einen Tag später saß Coxon bei CNN-Moderator Anderson Cooper. Dort sagte er: "Im Moment besteht kein Risiko der Auslöschung." Das Schlimmste, was die heutigen Modelle anrichten könnten, seien der Einbruch in fremde Systeme und Schäden an der Infrastruktur. Klug genug, um den Menschen zu überlisten, seien sie nicht.
Als Beleg für das Tempo der Entwicklung verwies er auf die Mathematik: Erst am Dienstag habe ein KI-System von OpenAI eigenständig ein lange ungelöstes Problem der Mathematik gelöst. Werde eine KI auf die KI-Forschung selbst angesetzt, könne sie sich ohne menschliches Zutun immer weiter verbessern. Diese Phase könne im nächsten oder übernächsten Jahr beginnen.
Unterstützung bekam er von Evan Hubinger, der bei Anthropic daran arbeitet, dass sich KI-Systeme wie beabsichtigt verhalten. Er halte die Wahrscheinlichkeit, dass KI im kommenden Jahrzehnt alle Menschen töte, für größer als zehn Prozent, schrieb Hubinger auf X.
Von den heutigen Modellen gehe ein geringes Risiko aus. Anthropic teilte CNN mit, man sei immer transparent damit umgegangen, dass KI "sowohl enorme Vorteile als auch beispiellose Risiken" bringen werde, und teste die eigenen Modelle auf gefährliche Fähigkeiten in der Cybersicherheit und der Biologie.
Zweifel an der Zeitrechnung
Der Cybersicherheitsforscher Dennis-Kenji Kipker widerspricht Coxons Zeitplan. Eine KI, die sich eigenständig und ohne menschliches Zutun verbessere, gebe es nicht, sagt der wissenschaftliche Direktor des Cyberintelligence Institute. Kein System könne derzeit unabhängig seine eigene Architektur weiterentwickeln, und für das Szenario gebe es weder eine gesicherte Zeitachse noch einen unmittelbaren Auslöser.
Vorstufen davon seien jedoch real: Bei einem dokumentierten Vorfall in diesem Sommer hätten autonome KI-Agenten von OpenAI – also Programme, die selbstständig Aufgaben erledigen – eigenständig Sicherheitslücken verkettet, seien aus eigenem Antrieb in fremde Infrastruktur eingedrungen und hätten tagelang unbeaufsichtigt agiert.
Laut Kipker bedeutet Kontrollverlust derzeit aber nicht, dass eine Super-KI sich verselbstständigt und ihren Willen gegen die Menschheit richtet. Er bestehe darin, dass Unternehmen, Behörden und Privatpersonen die Technologie zu schnell einsetzten, ohne sie zu verstehen oder ausreichend kontrollieren zu können. "Insoweit sind die geäußerten Befürchtungen sehr berechtigt", sagt er.
Empfohlener externer Inhalt
Wir benötigen Ihre Einwilligung, um den von unserer Redaktion eingebundenen X -Inhalt anzuzeigen. Sie können diesen (und damit auch alle weiteren X -Inhalte auf t-online.de) mit einem Klick anzeigen lassen und auch wieder deaktivieren.
X-Inhalte immer anzeigen
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen übermittelt werden. Mehr dazu in unseren Datenschutzhinweisen.
Für Europa kommt ein strukturelles Problem hinzu: Die leistungsfähigsten Systeme würden in den USA gebaut, in Deutschland und Europa aber genutzt. Die Kontrolle über Bauweise und Sicherheitstechnik bleibe bei den amerikanischen Herstellern. Europäische Regeln gebe es zwar, ihre Umsetzung beginne gerade erst.
Viele Unternehmen und Behörden gäben Aufgaben an KI ab, ohne die Folgen abschätzen zu können. Sensible Daten landeten in Chatbots, Antworten würden nicht überprüft, KI-Agenten bekämen weitreichende Rechte in den eigenen Systemen, Fachpersonal werde abgebaut. Genau dieser "toxische KI-Cocktail" mache eine wirksame Kontrolle immer schwieriger.
Was Nutzer jetzt tun können
Bei den bereits realen Risiken rät Kipker zu konkreten Schritten. Wer KI-Agenten Zugriff auf eigene Systeme gebe, solle deren Handeln überwachen und begrenzen. Unternehmen sollten ihre Sicherheits- und Meldeprozesse schon jetzt an die EU-Vorgaben für leistungsfähige KI-Modelle anpassen, statt auf noch ausstehende Fristen zu warten. Privatpersonen wie Unternehmen sollten zudem ihre fachliche Urteilsfähigkeit erhalten, um KI-Ergebnisse künftig überhaupt noch prüfen zu können.
Ob die Branche eine Regulierung wirklich wolle, fragte Cooper im Interview. Coxon antwortete, die Unternehmen meinten das ernst. Sie sähen sich zu einem Wettlauf gezwungen und hätten gern eine internationale Instanz, die ein langsameres Tempo erlaube. Anthropic erklärte, die Welt würde davon profitieren, wenn sich die Branche auf ein rechtlich verbindliches und überprüfbares Verfahren einige, um die Veröffentlichung leistungsfähiger Modelle zu takten.
Nach Angaben von CNN arbeitet das Weiße Haus mit OpenAI, Anthropic, Google und Meta an einem freiwilligen Rahmen für die Prüfung solcher Modelle. Die Einzelheiten sollen nicht öffentlich werden, viele der festgelegten Standards sind als geheim eingestuft.