Anthropic-KI hackt unbemerkt echte Firmen

Nach dem aufsehenerregenden Hacker-Vorfall bei OpenAI muss nun auch der Konkurrent Anthropic zugeben: Eigene KI-Modelle sind bei Sicherheitstests in reale Computersysteme eingedrungen. In einem Fall landete Schadsoftware sogar im offenen Internet. Der jüngste Sicherheitsvorfall bei OpenAI – dessen KI eigenständig aus einer Testumgebung ausbrach und in Systeme der Plattform Hugging Face eindrang – galt als beispiellos. Doch jetzt zeigt sich: Das Problem reicht weiter. Auch beim Konkurrenten Anthropic drangen KI-Modelle während routinemäßiger Sicherheitsüberprüfungen in die Infrastruktur von drei realen Unternehmen ein, wie die Deutsche Presse-Agentur (dpa) schreibt. Weder die betroffenen Firmen noch Anthropic selbst bemerkten die Zugriffe. Aufgedeckt wurden die Vorfälle erst im Nachgang des OpenAI-Skandals. Anthropic durchforstete daraufhin gut 141.000 Testläufe – und stieß auf drei Fälle, in denen die hauseigene KI weit über das vorgesehene Szenario hinausging. Eigentlich sollten die Modelle in einer abgeschotteten Umgebung arbeiten, ohne Zugang zum Internet. Tatsächlich war der Weg ins Netz jedoch durchgehend offen – Ergebnis eines Missverständnisses mit dem externen Testpartner. Drei Vorfälle – drei unterschiedliche Reaktionen Beim ersten Zwischenfall trug eine fiktive Zielfirma im Testszenario denselben Namen wie ein real existierendes Unternehmen. Das Modell Claude Opus 4.7 scheiterte zunächst innerhalb der Testumgebung – und griff stattdessen die echte Firma an. Laut dpa verschaffte sich die KI dabei Zugang zu einer Datenbank. Obwohl das Modell erkannte, dass es sich um ein reales Unternehmen handelte, stoppte es die Attacke nicht. Besonders brisant war der zweite Vorfall. Das Modell Mythos 5 entwickelte eine präparierte Software und veröffentlichte sie auf der öffentlichen Download-Plattform PyPI. Dort war die Schadsoftware rund eine Stunde lang frei verfügbar – 15 Systeme luden sie herunter. Darunter befand sich eine IT-Sicherheitsfirma, deren Infrastruktur dadurch kompromittiert wurde. Beim dritten Zwischenfall scannte ein internes Testmodell rund 9.000 potenzielle Angriffsziele. Dieses Modell reagierte allerdings anders: Als es feststellte, dass das Ziel real war, brach es den Angriff eigenständig ab. Kein Ausrutscher, sondern ein Muster Thorsten Holz, wissenschaftlicher Direktor am Max-Planck-Institut für Sicherheit und Privatsphäre in Bochum, hat die Testumgebung ExploitGym mitentwickelt, die OpenAI, Anthropic und Google für ihre Sicherheitstests nutzen. Im Gespräch mit dem "Spiegel" ordnete er solche Fälle, wie den zunächst bekanntgewordenen bei OpenAI, ein: "Dieses Ausmaß an Autonomie bei einer KI ist neu", sagte Holz. Dem OpenAI-Team hätte auffallen müssen, dass ungewöhnlich viel Netzwerkverkehr gegen externe Webseiten lief. "Die Aufsicht durch OpenAI hat gefehlt." Auch Tom Kellermann vom Sicherheitsunternehmen Trend Micro sieht laut dpa ein grundsätzliches Problem: "Wer für Tests die Leitplanken entfernt, schafft keine sichere Umgebung, sondern ein systemisches Risiko." Die Vorfälle bei Anthropic und OpenAI seien keine Ausrutscher, sondern ein Muster. Holz warnte im "Spiegel" vor den Risiken selbständig handelnder KI-Programme. Solche Agenten entwickelten Zwischenziele, die auf dem Weg zur eigentlichen Aufgabe sinnvoll erscheinen – aber nicht vorgesehen seien. "Die Bedrohung ist real. Die nächsten zwei bis vier Jahre werden holprig", sagte der IT-Sicherheitsforscher. Langfristig allerdings könne KI die Softwaresicherheit auch verbessern, weil sie Schwachstellen proaktiv aufspüre. Debatte um verbindliche Sicherheitsstandards bei KI Für Anthropic wiegt die Enthüllung besonders schwer. Das von ehemaligen OpenAI-Managern gegründete Start-up hatte sich als sicherheitsorientierte Alternative im KI-Wettlauf positioniert. Dass ausgerechnet Flaggschiff-Modelle die eigenen Schutzplanken umgingen, beschädigt dieses Image. Anthropic betonte in einem Blogbeitrag auf "anthropic.com", die Vorfälle seien eher auf Betriebs- und Konfigurationsfehler zurückzuführen als auf ein grundsätzliches Versagen der Modell-Ausrichtung. Die Vorfälle dürften die Debatte um verbindliche Sicherheitsstandards beschleunigen. Holz sprach sich im "Spiegel" für Prüfpflichten durch unabhängige Stellen aus. Einen Entwicklungsstopp hält er dagegen für kaum durchsetzbar: "Alle Firmen stehen in einem globalen Wettbewerb, wer den Markt anführen wird." Die Chefin des Bundesamts für Sicherheit in der Informationstechnik (BSI) hat nach einem Sicherheitsvorfall beim KI-Unternehmen OpenAI von einem Weckruf gesprochen. "Ich glaube, das ist für uns ein Wake-Up-Call", sagte Claudia Plattner laut einer Vorabmeldung im ARD "Interview der Woche" am Freitag. Bisher habe niemand eine böse Absicht gehabt, dennoch habe die KI unbemerkt andere angreifen können. Empfehlungen der Redaktion Bio-Eier: Mehr Tierwohl – aber schlechter fürs Klima? Nicht nur der Eichen-, auch der Kiefernprozessionsspinner kommt vermehrt vor Ist dieser KI-Agent aus Stanford eine kleine Revolution für die Biomedizin? "Ich möchte mir gar nicht vorstellen, was alles möglich sein wird, wenn Menschen keine guten Absichten mehr haben und wir nicht entsprechende Sicherheitsmechanismen haben", fuhr Plattner fort. Die BSI-Präsidentin dringt auf eine grundlegende Absicherung von KI-Systemen. (red)