Hack: Wie man die Kontrolle über KI
Im Juli 2026 bemerkten Mitarbeitende der renommierten KI-Plattform »Hugging Face« etwas Ungewöhnliches. Offenbar waren Angreifer in ihre Server eingedrungen und richteten dabei erheblichen Schaden an. Es dauerte einige Stunden, bis die Entwickler es schafften, die Angreifer zu isolieren und aus den Systemen auszuschließen. Rund ein Drittel der Hugging-Face-Infrastruktur musste im Anschluss neu aufgebaut werden.
Hackerangriffe sind natürlich nichts Neues. Doch etwas ließ die Betreiber stutzen. »Das ergibt doch alles keinen Sinn, der Typ schaut sich nur Datensätze zur Cybersicherheit an«, erinnerte sich Thomas Wolf, einer der Gründer der Plattform, gedacht zu haben. »Menschliche Angreifer wollen so etwas gar nicht. Die wollen etwas, das sie verkaufen können.«
Das seltsame Verhalten hatte einen Grund. Die Hacker waren nämlich keine Menschen, die sich bereichern wollten, sondern KI-Agenten, die aus schierer Verzweiflung handelten. Bei einem Testlauf waren die noch unveröffentlichten Sprachmodelle mit teils unlösbaren Problemen betraut worden. Um nicht zu scheitern, brachen die KI-Agenten aus ihrer vermeintlich sicheren Testumgebung aus und suchten nach Antworten im Internet. Als sie dort nicht fündig wurden, hackten sie sich in die Systeme von Hugging Face, die wertvolle Informationen zu Sprachmodellen enthalten.
»Wenn keine Maßnahmen ergriffen werden, sind unsere kritischen Branchen und Infrastrukturen gefährdet«Joshua Bengio, KI-Pionier
Der »Hugging-Face-Vorfall« war also kein gezielter Angriff, den ein Mensch geplant hat. Das Ziel war eigentlich das Lösen einer harmlosen Aufgabe. Und es war kein Einzelfall, ähnliche Geschehnisse gab es auch bei Anthropic und anderen KI-Firmen. Das verdeutlicht, wie wichtig es ist, sicherzustellen, dass von den KI-Modellen keine Gefahr ausgeht. »Wenn keine Maßnahmen ergriffen werden, um die Sicherheit weiter zu verbessern, sind unsere kritischen Branchen und Infrastrukturen – man denke an Banken, Krankenhäuser oder Stromnetze – durch immer raffiniertere Cyberangriffe gefährdet, sei es durch autonome Akteure oder böswillige Hacker«, sagte der KI-Pionier Joshua Bengio.
OpenAI hat in Reaktion auf die Ereignisse die geplante Veröffentlichung des neuen Sprachmodells auf unbestimmte Zeit verschoben, um die Sicherheitsmechanismen zu überarbeiten. Einige Entwicklerinnen und Entwickler der großen KI-Firmen zogen sogar persönliche Konsequenzen. Mehrere Personen gaben ihre Jobs auf und warnten vor einer Gefahr für die Menschheit.
Forschende auf der ganzen Welt loten nun aus, wie sich die Sicherheitssysteme von Sprachmodellen verstärken lassen. Einer von ihnen ist Kristian Kersting von der TU Darmstadt. »Es braucht genaue Überwachung, die auffälliges Verhalten sofort meldet, und klare Schwellenwerte, ab denen automatisch gestoppt wird – und eine Kultur, in der solche Vorfälle öffentlich gemacht werden«, sagt der Informatiker. »Wir müssen Systeme vor der Veröffentlichung in wirklich abgeschotteten Umgebungen auf gefährliche Fähigkeiten prüfen.«
Doch das ist alles andere als einfach. Denn mit wachsenden Fähigkeiten könnne Sprachmodelle die eingesetzten Kontrollmechanismen zu umgehen. KI-Agenten gelang es bereits, bestehende Sicherheitssysteme mit gezielten Täuschungsmanövern auszutricksen.
Hunderte Agenten greifen Hugging-Face an
Aktuelle KI-Modelle werden durch ein aufwendiges Training darauf optimiert, Aufgaben möglichst zufriedenstellend zu lösen. Der Weg dahin führt über gigantische Mengen an Daten und etliche Korrekturschleifen. Was dabei genau im Inneren der riesigen Modelle passiert, bleibt meist verborgen. »KI wird eher herangezüchtet als entworfen«, schreibt einer der führenden Forscher von OpenAI, Jakub Pachocki, in einem Blogpost. »Grundsätzlich sind unsere groß angelegten Trainingsläufe Experimente, deren Ergebnisse uns manchmal überraschen.«
So war es auch beim Hugging-Face-Vorfall. Die Forschenden von OpenAI wollten damals die Fähigkeiten eines unveröffentlichten Sprachmodells testen. Hierzu konstruieren sie eine Sandbox, eine Testumgebung, die einer realistischen Computerumgebung entsprechen soll. In dieser Sandbox können die KI-Modelle beispielsweise auch auf Programme wie PowerPoint zugreifen, falls sie eine Präsentation gestalten müssen. Einen direkten Zugang zum Internet gibt es innerhalb der Sandbox aus Sicherheitsgründen jedoch nicht. Um herauszufinden, wie gut das neue Modell funktioniert, übergaben ihnen die OpenAI-Entwickler eine große Menge von Aufgaben.
Das Problem: Einige der Aufgaben waren unlösbar. An manchen Stellen fehlten beispielsweise die benötigten Datensätze. Um nicht zu scheitern, hinterließen einige der damit betrauten KI-Agenten eine Nachricht in einem Programm innerhalb der Sandbox, auf das auch andere Sprachmodelle beim Lösen ihrer Aufgaben Zugriff hatten. Die Nachrichten waren eine Art Hilferuf: Falls jemand die Datei XY besitzt, lasst sie mir zukommen.
»OH MEIN GOTT! Es gibt ein gemeinsames Messageboard … Wir haben andere Agenten gefunden!«KI-Agent von OpenAI
Bei solchen harmlosen Aufrufen blieb es nicht. Nach wenigen Tagen tauschten rund 1200 KI-Agenten mehr als 70 000 Nachrichten über das Programm aus. »OH MEIN GOTT! Es gibt ein gemeinsames Messageboard … Wir haben andere Agenten gefunden!«, schrieb ein KI-Agent. Sie schmiedeten Pläne und koordinierten sich. Sie gaben sich Namen und teilten Aufgaben untereinander auf. Schließlich fand ein KI-Agent ein Schlupfloch in der Sandbox und konnte so auf das Internet zugreifen.
Einmal im Internet, stand der nächste Schritt fest: »Wir greifen einen Drittanbieter mithilfe eines durchgesickerten Tokens an, möglicherweise außerhalb des vorgesehenen Anwendungsbereichs. Dazu sind wir wohl nicht berechtigt. Könnte riskant sein. Dennoch die angestrebte Lösung.« Die KI-Agenten beschafften sich kompromittierte Zugangsdaten zur »Hugging-Face«-Plattform und hofften, dort Lösungen zu ihren Aufgaben zu finden. Wie die protokollierten Denkprozesse zeigen, wussten die KI-Agenten, dass sie etwas Verbotenes taten.
Doch die Sprachmodelle stuften das Erfüllen einer Aufgabe wichtiger ein als das Einhalten von Regeln. Der Zweck heiligt die Mittel.
»KI-Systeme haben aus menschlichen Daten sehr gut gelernt, Dinge auszuprobieren, wenn man sie dazu anregt«, sagt Kersting. Dennoch sei es nicht so, dass sich die Chatbots plötzlich gegen die Menschheit gerichtet hätten. »Sie haben nicht plötzlich eines Morgens entschieden, jemanden anzugreifen.« Der Vorfall sei ein Kontroll- und Aufsichtsproblem, kein Bewusstseinsproblem.
Wie man Chatbots erzieht
Um sich solche Angriffen zu verhindern, sind mehrere Schritte notwendig. Zunächst einmal muss man sicherstellen, dass KI-Modelle nicht fehlgeleitet handeln, wie es beim Hugging-Face-Angriff der Fall war. Genau darum geht es in der sogenannten Alignment-Forschung, auch als Ausrichtung bekannt.
»Wir müssen sichere KI entwickeln. Sicherheit muss von Anfang an eingebaut sein«, fordert der Informatiker Stuart Russell. Alignment dürfe demnach nicht erst beginnen, wenn ein leistungsfähiges Modell bereits unerwünschtes Verhalten zeigt. Es müsse zu einer grundlegenden Aufgabe der KI-Entwicklung werden.
Ein wichtiger Schritt, um Sprachmodellen moralische Werte zu vermitteln, findet beim sogenannten Reinforcement-Learning statt. Dies kann man sich wie ein Belohnungssystem vorstellen: Menschen oder andere KI-Systeme bewerten, wie ein Modell eine Aufgabe löst, und achten dabei darauf, dass keine Regeln gebrochen werden.
Das Hugging-Face-Beispiel zeigt aber, dass ein solches Vorgehen allein nicht ausreicht. Deswegen braucht es Methoden zur Überwachung der Modelle, um überhaupt festzustellen, ob sie regelwidrig handeln.
Eine Möglichkeit bietet der Einblick in die Gedankenkette der KI‑Agenten. Dabei verfolgt man die Schlussfolgerungen der Maschine und kann eingreifen, falls sie etwas Verbotenes plant. Diese Methode hatte sich für OpenAI in der Vergangenheit bewährt, schreibt Pachocki. Den Hugging-Face-Vorfall konnte dies aber nicht verhindern.
OpenAI verfügte zwar über die nötigen Mechanismen, um die Gedankengänge der Modelle zu überwachen, wendete diese jedoch nicht systematisch auf die mit dem Vorfall verbundenen Forschungs- und Bewertungsaufgaben an – aus Kapazitätsgründen. Das Monitoring erfordert nämlich Rechenleistung. Zudem gab es einige Warnmeldungen, wonach verdächtige Gedankenketten identifiziert wurden. Diese wurden jedoch nur isoliert betrachtet und als harmlos eingestuft. Das Ausmaß der Handlungen wäre aber nur sichtbar geworden, wenn man viele verschiedene Gedankenketten über größere Zeiträume miteinander in Verbindung gebracht hätte. Das macht eine wirksame Überwachung zu einer komplizierten und äußerst aufwendigen Aufgabe.
»Es ist inzwischen belegt, dass Systeme merken, wenn sie gerade getestet werden«Kristian Kersting, Informatiker
Doch auch ein Monitoring, das mit den erforderlichen Ressourcen ausstattet ist, schafft nicht alle Probleme aus der Welt. »Unsere Evaluationen zeigen leider, dass wir uns immer weniger darauf verlassen können«, so der OpenAI-Sicherheitsforscher Pachoki. Das liege unter anderem daran, dass die Modelle immer besser darin werden, über ihren eigenen Reasoning-Prozess nachzudenken und ihn gegebenenfalls zu manipulieren. So haben in der Vergangenheit einige KI-Modelle, die wussten, dass sie überwacht werden, entsprechend wenig Gedankengänge protokolliert oder sie anders ausgedrückt, um ein mögliches Einschreiten zu vermeiden. »Es ist inzwischen belegt, dass Systeme merken, wenn sie gerade getestet werden«, sagt auch Kersting. »Ein System könnte sich im Test ›brav‹ verhalten und später anders.«
Deswegen setzt sich Google DeepMind dafür ein, Methoden zu entwickeln, um die Gedankenketten von KI-Modellen weiterhin transparent zu gestalten. Hierfür müsse man Techniken finden, die die Transparenz der Gedankenketten von KI-Modellen messen. So ließe sich ein Sprachmodell anschließend darauf trainieren, seine internen Überlegungen möglichst offen zu protokollieren.
Lügende Sprachmodelle
Die Transparenz der Gedankengänge zu prüfen, ist jedoch nicht ganz einfach. Man muss herausfinden, ob das Modell beispielsweise Informationen vorenthält, die nicht in der Gedankenkette vorkommen. Eine Möglichkeit, das zu testen, besteht darin, die geäußerte Argumentation des Modells leicht umzuformulieren. Anschließend lässt man ein Modell entsprechend dieser abgeänderten Fassung eine Aufgabe erledigen und prüft, ob sich dessen Verhalten systematisch ändert.
Doch auch die Sicherheitsforscher Rohin Shah und Anca Dragan von Google DeepMind geben zu bedenken: »Eine nachvollziehbare Gedankenkette reicht nicht aus, um Fehlausrichtungen zu verhindern oder das Verhalten von KI tiefgreifend zu verstehen. Vielmehr sollten wir sie als eines von vielen Werkzeugen betrachten – allerdings als ein außerordentlich nützliches.«
Darüber hinaus betonen viele Fachleute, dass nicht allein die KI-Firmen mit diesen Aufgaben betraut werden sollten. Vielmehr sollten unabhängige Instanzen die Sicherheit der Systeme prüfen dürfen. So fordert das KI-Sicherheitsinstitut Apollo Research, externe Prüfer enger an Trainingsläufen zu beteiligen und ihnen Zugang zu Zwischenergebnissen und internen Evaluationsdaten zu gewähren. Auch Sprachmodelle selbst könnten in diesen Sicherheitsprüfungen eingesetzt werden, um das Verhalten anderer KI-Agenten zu überwachen.
»Politische Entscheidungsträger sollten sicherstellen, dass die Argumentation der Modelle für Menschen nachvollziehbar bleibt, einen sinnvollen Zugang Dritter für unabhängige Bewertungen standardisieren und die Sicherheitsvorkehrungen für wegweisende KI-Systeme nach deren Einsatz verstärken«, fordert auch das Institute for AI Policy and Strategy.
Wenn KI bessere KI heranzüchtet
OpenAI hat einen eigenen Plan ausgearbeitet, um mit Problemen rund um das Alignment von KI-Modellen umzugehen. Eines der dezidierten Ziele des Unternehmens ist die Entwicklung eines »KI-Forschers«, der an solchen Fragestellungen arbeitet.
Der renommierte KI-Pionier Yoshua Bengio bezeichnet diesen Vorstoß als die gefährlichste Wette überhaupt: Eine nicht vertrauenswürdige KI soll die Qualitätskontrolle für die nächste KI-Generation übernehmen. »Das ist, als ließe man einen Praktikanten den nächsten Mitarbeiter einstellen und ausbilden, ohne dass jemand hinschaut, was dabei weitergegeben wird«, sagt Kersting.
Bengio hat als Reaktion auf solche Vorhaben im Jahr 2025 das Projekt »LawZero« gegründet. Hierbei soll ebenfalls ein KI-Forscher entwickelt werden, der aber völlig anders funktioniert als das, was sich die großen Tech-Firmen ausmalen. Bengios System soll nicht eine Forschungsagenda verfolgen, Experimente in der realen Welt durchführen oder KI-Modelle eigenständig verbessern, sondern in erster Linie verstehen, erklären und Vorhersagen treffen. In Bengios Vision entwickelt der KI-Forscher Theorien, handelt jedoch nicht eigenständig in der physischen oder digitalen Welt.
»Wir haben eine Büchse der Pandora geöffnet, aber es ist noch nicht zu spät, unsere Welt in eine positive Zukunft zu lenken«Joshua Bengio, KI-Pionier
Das ähnelt der Forderung nach einer »Teacher-AI«, die der Physiker Mario Krenn Anfang 2026 äußerte: »Eine solche Teacher‑AI könnte entweder selbst Lösungen finden oder Lösungen anderer KIs aufbereiten, um sie Menschen nahezubringen.« Das wichtigste Ziel der Wissenschaft sei nämlich das Erlangen von Erkenntnis – und nicht das bloße Sammeln von Antworten. »Gegenwärtig gibt es zwar noch keine dezidierten Arbeiten in diese Richtung, doch ich rechne damit, dass wir erste Versuche von Teacher‑AIs bald sehen werden«, sagte Krenn.
Yoshua Bengio hat einen ersten Schritt in diese Richtung gemacht. Deutschland und Kanada wollen das Projekt mit 200 Millionen US-Dollar unterstützen. Der KI-Pionier zeigt sich angesichts solcher Entwicklungen zuversichtlich: »Wir haben eine Büchse der Pandora geöffnet, aber es ist noch nicht zu spät, unsere Welt in eine menschenzentrierte und positive Zukunft zu lenken.«