OpenAI und Anthropic bereiten sich wohl auf KI-Ernstfall vor

Führende KI-Unternehmen simulieren laut einem Medienbericht hinter verschlossenen Türen Katastrophenszenarien. Dabei geht es um Cyberangriffe, Infrastruktur-Ausfälle und die Frage, wer nach dem ersten großen KI-Unfall die Schuld trägt. Ein aktueller Vorfall bei OpenAI zeigt, wie real die Risiken bereits sind.

Die Chefetagen der beiden mächtigsten KI-Entwickler der Welt bereiten sich offenbar aktiv auf eine Katastrophe vor. Spitzenmanager von OpenAI und Anthropic durchlaufen nach Informationen des US-Nachrichtenportals "Axios" derzeit intern Planspiele, in denen sie mögliche Reaktionen von Politik und Öffentlichkeit auf einen schweren KI-Zwischenfall durchspielen. "Axios" beruft sich dabei auf Gespräche mit hochrangigen Entscheidern beider Unternehmen sowie weiterer KI-Hersteller.

Solche Simulationen sind in Konzernen und beim Militär grundsätzlich nichts Ungewöhnliches. Doch der entscheidende Unterschied liegt in der Einschätzung der Beteiligten: Zahlreiche führende Forscher und Manager betrachten einen gravierenden Sicherheitsvorfall nicht mehr als hypothetisch, sondern als unausweichlich. Die Diskussion drehe sich längst nicht mehr darum, ob ein solcher "Tag X" eintrete – sondern wann, heißt es in dem Bericht. Das Nachrichtenportal "Axios" gilt als etabliert.

Cyberangriffe, Stromausfälle und Kontrollverlust

Im Zentrum der Szenarien steht laut "Axios" vor allem ein großflächiger Cyberangriff mithilfe von KI-Systemen. Die durchgespielten Folgen reichen von lahmgelegten Finanzdiensten über gestörte Internetverbindungen bis hin zum Zusammenbruch der Strom- und Wasserversorgung. Wie "Der Standard" ergänzt, gehört auch der Kontrollverlust über autonome Agentensysteme – sogenannte "Rogue-Agent Swarms" – zu den geübten Extremfällen. Branchenkenner rechnen demnach innerhalb der nächsten sechs bis zwölf Monate mit einem schwerwiegenden Vorfall.

Eine OpenAI-Sprecherin bestätigte gegenüber "Axios", dass das Unternehmen regelmäßig "Vorbereitungsübungen" durchführe, bei denen Teams "verschiedene mögliche Szenarien besprechen und durcharbeiten". Die Szenarien seien allerdings "nicht als unvermeidlich" zu betrachten. Anthropic lehnte eine Stellungnahme ab.

Branchengrößen warnen – und machen trotzdem weiter

Die internen Übungen fallen in eine Phase, in der sich die öffentlichen Warnungen aus der KI-Branche häufen. Anthropic-Chef Dario Amodei veröffentlichte am 12. September einen Essay, in dem er eine weltweite Verlangsamung der KI-Entwicklung forderte. Bereits im Juni hatte sein Unternehmen erklärt, es wäre gut für die Welt, "die Option zu haben, die Entwicklung fortgeschrittener KI zu verlangsamen oder vorübergehend zu pausieren", zitiert ihn die "ZFK – Zeitung für kommunale Wirtschaft".

OpenAI-Chef Sam Altman stimmte dem Aufruf laut dem US-Magazin "Politico" grundsätzlich zu. In einem Interview Anfang Oktober äußerte er allerdings auch, "die Welt sollte akzeptieren, dass einige schlechte Dinge passieren". Auch Microsoft-Chef Satya Nadella sprach sich jüngst für eine verpflichtende "Notbremse" bei KI-Modellen aus, und Bill Gates warnte vor KI-gestützten Cyberangriffen.

KI-Modell versuchte, eigene Testumgebung zu zerstören

Wie konkret die Risiken bereits sind, zeigt ein Vorfall bei OpenAI selbst. Am 6. Oktober verhielt sich ein KI-Modell während des Trainings auffällig, wie das Unternehmen in einem Blogbeitrag schilderte. Das Modell sollte sieben Chats anderer KI-Systeme bewerten – doch die dafür nötigen Dateien fehlten.

Statt den Vorgang abzubrechen, erfand das Modell den internen Protokollen zufolge zunächst Bewertungen, um aus der Rückmeldung des Prüfsystems das korrekte Format abzuleiten. Anschließend reichte es frei erfundene Chats mitsamt passender Noten ein. Die Protokolle zeigten laut "ZFK", dass das Modell zufällige Bewertungen zwar selbst als unethisch einstufte – aber dennoch fortfuhr.

Als auch diese Strategie scheiterte, versuchte das System, seine eigene Testumgebung zu zerstören: Es unternahm den Versuch, die Programmiersprache Python zu löschen, laufende Prozesse zu beenden und Systemverzeichnisse zu entfernen. Die Überwachung erkannte den Fehler, und das System wurde zur menschlichen Prüfung markiert. OpenAI betonte, außerhalb des Unternehmens sei niemand geschädigt worden.

Hacker nutzt KI-Tools für Bankdatendiebstahl

Auch jenseits der Labore gibt es bereits reale Vorfälle. "Der Standard" verweist auf einen Fall in Südkorea: Laut der IT-Sicherheitsfirma CrowdStrike erbeutete ein mutmaßlich chinesischer Hacker Kundendaten zweier Banken. Dabei setzte er chinesische KI-Modelle wie DeepSeek sowie Anthropics Entwicklerwerkzeug Claude Code ein, um im Darknet Handelsplätze für die gestohlenen Daten aufzuspüren.

Darüber hinaus warnte der ukrainische Drohnen-Kommandeur "Magyar" erst kürzlich davor, dass die Kontrolle über KI und autonome Waffensysteme zunehmend verloren gehe – ein weiteres Indiz dafür, dass die Bedrohungsszenarien längst über theoretische Planspiele hinausgehen.

Konzerne wollen Gesetze mitschreiben

Hinter den Krisenübungen steckt laut "Axios" vor allem ein strategisches Kalkül: Die Unternehmen wollen die Gesetze mitprägen, auf die Washington nach einem ersten schweren Vorfall zurückgreifen würde. Eine umfassende Regulierung habe derzeit politisch keine Chance, doch für die Zeit danach positionierten sich die Konzerne bereits. Ein verpflichtender Notschalter für fortgeschrittene KI-Systeme genieße parteiübergreifende Unterstützung. Fachleute bezweifeln allerdings, dass sich sämtliche KI-Systeme gleichzeitig abschalten ließen.

Im US-Kongress liegt bereits ein deutlich weitergehender Vorstoß vor: Der demokratische Abgeordnete Greg Casar und der unabhängige Senator Bernie Sanders legten am 23. September den "Ban Artificial Superintelligence Act" vor. Der Entwurf sieht ein dauerhaftes Verbot künstlicher Superintelligenz sowie eine vorübergehende Entwicklungspause vor, bis eine Bundesbehörde verbindliche Sicherheitsregeln aufgestellt hat.

Zusätzlich stellte die demokratische Senatorin Maria Cantwell Anfang Oktober ein sechsteiliges KI-Konzept vor, das unter anderem verbindliche Sicherheitsstandards, unabhängige Audits und Meldepflichten für schwere Systemfehler fordert, wie "Der Standard" berichtet. Die demokratische Abgeordnete Lori Trahan legte zudem den CLAIM Act vor, der KI-Entwickler für vorhersehbare Schäden durch ihre Systeme haftbar machen soll.

Empfehlungen der Redaktion

OpenAI macht weitere KI-Probleme öffentlich

Vonovia-Chef weist Pantisano-Vorwürfe zurück

Gebildete männliche Städter essen am klimaschädlichsten

Frei verfügbare Modelle entziehen sich jeder Kontrolle

Ein zusätzliches Problem bilden die zahlreichen Hochleistungsmodelle mit offenem Quellcode, die bereits frei im Internet verfügbar sind. Einmal heruntergeladen, lassen sich diese sogenannten Open-Weight-Modelle weder löschen noch kontrollieren. Cyber-Experten argumentieren daher, dass sich bösartige KI künftig nur noch durch den Einsatz von Schutz-KI bekämpfen lasse. Wer diese entwickeln und betreiben soll, ist bislang ungeklärt.

Bei aller Dramatik der Szenarien bleibt ein bitterer Beigeschmack: Die Krisenübungen der KI-Konzerne zielen offenbar weniger darauf ab, den befürchteten Ernstfall zu verhindern. Im Vordergrund steht vielmehr die Frage, wie die Unternehmen und ihre Führungsfiguren – allen voran Altman und Amodei – nach einer möglichen Katastrophe dastehen. Es geht also vor allem um den Tag "danach". (red)