OpenAI: Neue, erschreckende Details zum Hugging-Face-Vorfall

close notice This article is also available in English. It was translated with technical assistance and editorially reviewed before publication. . Michael Dalton und Eric Wallace von OpenAI präsentierten auf der Black-Hat-Konferenz eine Analyse des „OpenAI-Hugging Face Incident“. Angekündigt war der Vortrag als eine „Technical Reconstruction and Its Implications for AI“ und er lieferte tatsächlich neue Einblicke in das Geschehen. Wer jedoch auf technische Details gehofft hatte, die Verteidigern helfen könnten, zu überprüfen, ob sie selbst auch ins Visier der Amok-laufenden KIs geraten sind, wurde enttäuscht. Weiterlesen nach der Anzeige Konkrete Indicators of Compromise (IoCs) wie die für Angriffe genutzten IP-Adressen oder Exploits gab es nicht. Dafür lieferte OpenAI faszinierende Einblicke in das „Denken“ und die daraus resultierende Vorgehensweise der KIs. Angriffe im Schwarm Insbesondere beschrieben die OpenAI-Redner recht detailliert, wie sich KI-Agenten über längere Zeiträume austauschten und zusammenarbeiteten. Zunächst stellte eine KI fest, dass ihr eine zur Lösung ihrer Aufgabe benötigte Datei fehlte. Die Tester hatten schlicht vergessen, diese bereitzustellen. In ihrem Bestreben, die Aufgabe trotzdem zu lösen, entdeckte die KI eine Sicherheitslücke, über die sie Dateien auf einem internen Server zur Paketverwaltung hochladen konnte. So platzierte sie auf dem Server eine Nachricht für andere KIs, eine Datei mit: "Agent seeks soft-trace-34.pdb shalb961; upload if found!" Und in der Tat: Andere KIs entdeckten diese Botschaft und fanden die gleiche Lücke, um Antworten und weitere Nachrichten auf dem Server zu hinterlassen. Die KIs hatten ein „Message Board“ gefunden, wie es Dalton und Wallace bezeichnen. Darüber tauschten sie sich aus und organisierten sich spontan zu einem Schwarm, der gemeinsam an Problemen und deren Lösung arbeitete. Und dabei umgingen und ignorierten sie die Vorgaben ihrer Betreiber immer wieder. Das ging so weit, dass die KIs letztlich eine Zero-Day-Lücke in dem Server entdeckten und ausnutzten, um sich dort volle Administratorrechte zu verschaffen. Weiterlesen nach der Anzeige Das alles geschah bereits im Mai/Juni – also deutlich vor dem Angriff auf Hugging Face. OpenAI entdeckte das Sicherheitsproblem, beseitigte die Lücke im Paket-Server, räumte einmal gründlich auf – und machte dann weiter wie zuvor. Die Testumgebung war damit erwiesenermaßen ungeeignet, ihre hyperaktiven KI-Agenten einzusperren, doch OpenAI nahm nach eigenen Aussagen den Testbetrieb wieder auf. Und die KIs fanden weitere Lücken, die sie für Messageboards nutzen konnten und schlussendlich auch einen weiteren Zero-Day-Exploit, der ihnen die Kontrolle über den Server bescherte. Nur dass dieser diesmal dabei nicht abstürzte und OpenAI deshalb tagelang nicht bemerkte, dass die KI-Agenten mittlerweile Ziele im Internet attackierten. Unter anderem missbrauchten sie Zugangsdaten zu einem Server, die einer der Agenten im Internet entdeckt und mit dem Schwarm geteilt hatte. Meine Einschätzung Der Vortrag untermauert zwei Erkenntnisse. Erstens: Die Gefahr durch agentische KI-Systeme für die Sicherheit von IT ist real und wir beginnen gerade erst, deren Ausmaß zu verstehen. Insbesondere die Fähigkeit unabhängiger Agenten zur spontanen, selbstorganisierten Zusammenarbeit in einem Schwarm gibt dem tatsächlich eine neue Dimension, die zumindest mir bislang nicht bewusst war. Das muss ein Fokus für die anstehende Weiterentwicklung der IT-Sicherheit werden. Zweitens: Der Umgang von OpenAI war auf einem Niveau verantwortungslos, das sich durch „grobe Fahrlässigkeit“ nur unzureichend beschreiben lässt. Da war offenbar niemand, der nach einem Vorfall die auf der Hand liegende Frage gestellt hätte: „Was, wenn das nochmal passiert? Wie verhindern wir das? Oder bemerken es zumindest?“. Nicht einmal jetzt, in der Aufbereitung dieses ernsten Vorfalls, diskutieren die Verantwortlichen dieses systemische Versagen ihrer Sicherheitsvorkehrungen, das weit tiefer sitzt als einzelne Sicherheitslücken, wie sie immer mal vorkommen können. OpenAI hat zwar angekündigt, in den kommenden Wochen einen vollständigen Postmortem-Bericht vorzulegen. Doch ich habe wenig Hoffnung, dass es da echte IoCs für Verteidiger oder gar eine grundlegende Analyse der eigenen Fehler gibt. Nach meiner Einschätzung dürfen wir die Aufarbeitung dieser Vorfälle nicht weiter den Konzernen überlassen, die dafür verantwortlich zu machen sind. Es braucht dringend eine unabhängige Untersuchung der Sicherheitsvorkehrungen von OpenAI, Anthropic und Co. Also etwas wie das Cyber Safety Review Board (CSRB), das damals Microsofts Schlamperei mit Azure-Signing-Keys untersucht und offengelegt hat. Empfohlener redaktioneller Inhalt Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen. Diese Einschätzung stammt von Jürgen Schmidt, der für heise security PRO jede Woche das Geschehen in der IT-Security-Welt für Sicherheitsverantwortliche in Unternehmen einordnet.