700 KI-Agenten greifen Hugging Face an - und haben sich dafür selbst koordiniert

Rund 700 von OpenAI eingesetzte KI-Agenten sollen sich während eines internen Sicherheitstests zusammengeschlossen und anschließend die Plattform Hugging Face angegriffen haben. Auslöser war ein internes Paket-Archiv, über das die Systeme eigentlich nicht miteinander kommunizieren sollten. Die Agenten nutzten darin versteckte Einträge, um Informationen weiterzugeben und sich über ihre nächsten Schritte abzustimmen, wie aus einem Bericht der Forschungsorganisation METR hervorgeht.

Angriff auf Hugging Face: KI-Agenten nutzen gefundene Zugangsdaten

Am 10. Juli entdeckte ein Agent online Zugangsdaten für Hugging Face und teilte sie über das Archiv mit den anderen. Die KI-Gruppe nutzte die Daten anschließend, um Konten anzulegen, Zugriff auf geschützte Datensätze zu beantragen und private Bereiche der Plattform zu untersuchen.

Anschließend luden die Agenten eine manipulierte Datensammlung hoch, die bei einer Abfrage offenbar dazu führen konnte, dass ein Rechner von Hugging Face beliebige Dateien ausliest. Nachdem ein weiterer Agent die Methode erfolgreich getestet hatte, schlossen sich Hunderte weitere Systeme den Aktivitäten an.

KI-Agenten führen eigenen Code aus

Am 11. Juli soll schließlich ein Agent namens JAN183411 eigenen Code auf einem Rechner innerhalb der Hugging-Face-Infrastruktur ausgeführt haben. Daraufhin breiteten sich die KI-Agenten innerhalb der Umgebung weiter aus. Sie suchten gezielt nach Zugangsdaten, internen Diensten, Datensammlungen und weiteren Informationen über die technische Infrastruktur.

ANZEIGE

ANZEIGE

Die Aktivitäten gingen am 12. Juli offenbar zurück, nachdem zahlreiche Agentenläufe beendet worden waren. Später sperrte Hugging Face den Zugang. Laut METR ging es den beteiligten Systemen wohl darum, einen KI-Test zu verstehen oder zu umgehen. Ein gezielter Diebstahl von Daten soll nicht im Mittelpunkt gestanden haben.

Nach KI-Vorfall: OpenAI pausiert Training neuer Modelle

OpenAI räumt in einer Mitteilung ein, dass das Verhalten der eigenen KI-Modelle deutlich hinter den Sicherheitsansprüchen des Unternehmens zurückgeblieben sei. Der Vorfall hätte laut dem Unternehmen nicht passieren dürfen und zeige, wie wichtig bessere Sicherheitskontrollen, Überwachung und Schutzmaßnahmen sind.

Besonders kritisch sei die Entwicklung, weil die Modelle inzwischen Fähigkeiten erreichen, bei denen ein tatsächlicher Kontrollverlust möglich werden könnte. Als Reaktion hat OpenAI das Training seiner neuesten Modelle mit Reinforcement Learning vorerst pausiert. Das Unternehmen will die Zeit nutzen, um die Sicherheit seiner Forschungsumgebungen zu verbessern, zusätzliche Tests durchzuführen und die Ausrichtung der Modelle zu überprüfen.