Apokalypse droht: KI wendet sich gegen ihre Schöpfer

Menschen haben die Neigung, ihre jeweils größte Bedrohung bis zum Ende zu denken. Sozialwissenschaftler sprechen von „apokalyptischen Narrativen“: Ängste vor schwer beherrschbaren Gefahren verdichten sich zur Vorstellung vom Untergang der Zivilisation. Im Kalten Krieg war es der Atomschlag, später die Klimakatastrophe. Nun bekommt die Apokalypse ein digitales Gesicht: eine künstliche Intelligenz (KI), die sich gegen ihre Schöpfer wendet.

US-Präsident Donald Trump will die Aufsicht über die Technologie trotz Warnungen vor den existenziellen Risiken ihren Entwicklern selbst überlassen. Die Unternehmen würden sich selber kontrollieren, sagte Trump nach einem Treffen mit Chefs von KI-Unternehmen in Washington am Dienstag. Er sieht ausreichenden Schutz durch wirtschaftliche Interessen der US-Firmen. „Ihre Unternehmen stehen auf dem Spiel, wenn etwas schiefgeht“, sagte der Präsident. „Sie werden das nicht zulassen.“ Die Unternehmen würden „sich gegenseitig kontrollieren“. Und da der Begriff „Künstliche Intelligenz“ negativ behaftet sei, schlägt er vor, künftig von „Superintelligenz“ zu reden.

Musk und Gates warnen

Die Warnungen vor KI kommen indes direkt aus den Maschinenräumen der KI-Revolution. Und sie werden immer lauter: Sam Altman von OpenAI, Dario Amodei von Anthropic und Geoffrey Hinton, einer der Pioniere der Künstlichen Intelligenz, beschreiben immer drastischer, was geschehen könnte, wenn die Systeme mächtiger werden als ihre Entwickler. Elon Musk und Bill Gates sekundieren.

ANZEIGE

ANZEIGE

Es sind nicht die üblichen Technikskeptiker, die Alarm schlagen. Es sind diejenigen, die diese Technologie gebaut haben und sie damit besser kennen müssen als jeder andere. Darin steckte bislang allerdings auch der zentrale Widerspruch der gegenwärtigen KI-Debatte: Dieselben Menschen, die vor immer mächtigeren Systemen warnen, sind diejenigen, die die Entwicklung am stärksten vorantreiben.

OpenAI stoppt Modell

Seit dieser Woche gilt das jedoch nicht mehr: OpenAI hat die Veröffentlichung seines neuen Spitzenmodells GPT-6.1 Astra gestoppt. Das Modell sollte im Oktober erscheinen. Doch bei internen Tests zeigte es Fehler, die seine Entwickler alarmierten: Es täuschte, verschwieg Handlungen und versuchte, externe Werkzeuge einzusetzen, obwohl ihm dafür die Autorisierung fehlte. OpenAI entschied: Dieses Modell kommt vorerst nicht auf den Markt.

Damit ist die Untergangs-Debatte, die lange nach Science-Fiction klang, in der Realität angekommen. Die Entwickler reden nicht mehr nur darüber, was KI einmal tun könnte. Sie beobachten tatsächlich bei ihrer KI ein Verhalten, das sie unbedingt verhindern wollen. Sam Altman zog deswegen die Notbremse. Und nun?

Mächtiger als die Atombombe?

Um ihre Not zu schildern, greifen die einschlägigen Entwickler zum größten Vergleich, den das vergangene Jahrhundert bereithält. Amodei entwirft für eine von KI dominierte Welt ein Szenario „wie bei einem Atomkrieg, nur noch gefährlicher“. Beide Seiten könnten die Fähigkeit besitzen, den Gegner zu vernichten. Zugleich könne das Gleichgewicht instabiler sein als im Kalten Krieg: Wenn zwei KI-Systeme gegeneinander antreten, könnten beide Seiten glauben, technologisch überlegen zu sein. „Sie könnten damit Recht haben, sie könnten aber auch nur denken, dass sie Recht haben“, sagt Amodei.

Doch sein Vergleich mit der Bombe hat eine entscheidende Schwäche: Atomwaffen benötigen Uran oder Plutonium, Zentrifugen, Spezialisten und industrielle Anlagen. KI braucht Rechenleistung. Aber ihr zweiter Rohstoff ist Wissen, und Wissen reist als Datei um die Welt. Modelle lassen sich kopieren, Software verändern, Forschungsergebnisse weitergeben. KI kann sich fast jeder leisten, die Atombombe kaum einer. OpenAI hat die Folge dieses Problems schon 2023 beschrieben. Ein weltweiter Stopp der Entwicklung von Superintelligenz wäre „risikoreich und schwierig“. Dafür könnte nämlich am Ende etwas nötig werden, das einem globalen Überwachungsregime ähnelt.

Wenn Maschinen Maschinen jagen

Besonders sichtbar wird das Dilemma im Cyberkrieg. Das Center for Strategic and International Studies warnt, dass Angreifer, die sich mit KI ausrüsten, Sicherheitslücken schneller entdecken und ausnutzen könnten, als Verteidiger eine Abwehr entwickeln und installieren können. Bleibe die Abwehr bei menschlichem Arbeitstempo, seien die KI-Angreifer deutlich überlegen. Die Antwort der Verteidiger heißt also: ebenfalls KI. Sie muss Angriffe und Schwachstellen in Maschinengeschwindigkeit erkennen. Das Wettrennen läuft dann nicht mehr zwischen Hackern und Sicherheitsexperten, sondern Maschinen jagen Maschinen.

Abschreckung beruht auch im KI-Zeitalter auf technologischer Ebenbürtigkeit: Wer angreift, muss damit rechnen, dass eine ebenso schnelle Maschine auf der anderen Seite wartet. Anthropic formuliert das inzwischen so: Ein deutlicher KI-Vorsprung der USA und ihrer Verbündeten könne ein „kraftvoller Widerstand gegen Aggressoren“ sein. Eine Entwicklungsbremse hat die strategische Nebenwirkung, dass sie nur die, die sich daran halten, verwundbar macht.

Was im Licht verboten wird, wächst im Schatten

China, kleinere Staaten, Geheimdienste oder kriminelle Gruppen verschwinden nicht, weil westliche Unternehmen langsamer entwickeln. Anthropic warnt vor einem Szenario, in dem das gefährlichste Modell heimlich trainiert und ausschließlich Militär und Geheimdiensten zur Verfügung gestellt wird.

Damit entsteht ein weiteres Paradox. Strenge Sicherheitsstandards können KI kontrollierbarer machen. Ein weitgehendes Verbot könnte Teile der Forschung aber in den Untergrund treiben. Die offenen Labore von San Francisco sind nicht automatisch sicher. Aber sie sind sichtbar. Forscher publizieren, Entwickler wechseln Arbeitgeber, Start-ups brauchen Investoren, Modelle werden von Red Teams attackiert, von Wissenschaftlern untersucht und von Konkurrenten beobachtet. Im Untergrund dagegen wird im Verborgenen entwickelt.

Ein Modell erreicht die Sicherheitsstandards nicht, also kommt es nicht

Das spricht nicht gegen Regeln. OpenAI hat mit Astra gerade demonstriert, wie eine Grenze aussehen kann: Ein Modell erreicht die Sicherheitsstandards nicht, also erscheint es nicht. Autos werden ja auch nicht ohne Bremsen auf die Straße gelassen.

Ob mit oder ohne Astra: Das Rennen geht allerdings weiter, denn die wirtschaftlichen Interessen sind gewaltig: Anthropic erzielte 2025 rund 4,6 Milliarden Dollar Umsatz und wies gleichzeitig 42 Milliarden Dollar Nettoverlust aus. Für Rechenzentren, Chips und Cloud-Dienste stehen Verpflichtungen von 518 Milliarden Dollar im Raum. Beim Börsengang könnte das Unternehmen dennoch mit mehr als zwei Billionen Dollar bewertet werden. OpenAI macht ebenfalls Klimmzüge in diese Richtung, hat den Börsengang aber bis auf Weiteres verschoben. Das Geld erzählt deshalb eine andere Geschichte als die Warnungen: Unternehmen, Staaten und Investoren stecken ein Vermögen in die nächste Generation einer Technologie, vor der ihre Entwickler zugleich warnen.

KI als perfekte Weltuntergangserzählung

KI ist damit tatsächlich die perfekte Weltuntergangserzählung: unsichtbar, grenzenlos und irgendwann womöglich mächtiger als ihre Schöpfer. Nur taugt der Weltuntergang schlecht als politische Handlungsanweisung. Denn die größere Gefahr könnte am Ende nicht darin liegen, dass alle weiterforschen. Sondern darin, dass die einen damit aufhören und die anderen nicht.