Haya Schulmann über Open AI und Anthropic: „KI probiert Angriffswege schneller aus, als ein Mensch das könnte“

Frau Professorin Schulmann, wie besorgt sind Sie angesichts der KI-Systeme von Open AI und Anthropic, die unbemerkt Hackerangriffe durchgeführt oder Phishing-Mails versendet haben, also kriminelle Handlungen vollzogen? Die jüngsten Beispiele bestätigen, dass wir dringend in die Lage kommen müssen, die Fähigkeiten der fortschrittlichsten Künstlichen Intelligenzen besser und systematischer einschätzen und erforschen zu können. Wir müssen dabei zwei verschiedene Fragestellungen auseinanderhalten, die in der Diskussion leider oft vermischt werden. Welche? Erstens, was könnten echte Cyberangreifer mit diesen Modellen erreichen? Das ist die Frage, die hinter den Veröffentlichungen von Anthropic, Open AI und dem britischen KI-Sicherheitsinstitut AISI steckt. Die Modelle werden mit ihren Trainingsdaten auch auf frühere Cyberangriffe, Angriffstechniken und Angriffsstrategien trainiert. Und je mächtiger die Modelle, desto besser und selbständiger können sie das Gelernte auf neue Situationen anwenden. F.A.Z.-Artikel häufiger in Ihren Suchergebnissen sehen F.A.Z. bei Google bevorzugen Wie äußert sich das? Der Fortschritt liegt nicht in der Kreativität der einzelnen Angriffsschritte, tatsächlich sind diese in allen bekannt gewordenen Fällen für sich genommen nichts Besonderes. Sondern in der Skalierung und Autonomie: Die KI probiert mögliche Angriffswege schneller, vollständiger und mit mehr Durchhaltevermögen aus, als ein Mensch das könnte. Das führt zum eigentlichen Problem. Ja. Unsere heutigen Schutzmechanismen sind für menschliche Angreifer gebaut, nicht für Software, die schnell selbst entscheidet und ihre Entscheidungen auch selbst ausführt. In der Cyberabwehr lebt vieles davon, früh zu erkennen, Protokolle zu prüfen, Auffälligkeiten im Netz zu bemerken – und dann die nächsten Schritte zu blockieren, bevor Schaden entsteht. Wenn aber eine KI diese Schritte um Größenordnungen schneller durchläuft, ist die Idee, den frühen Schritt zu bemerken, um den späteren zu verhindern, praktisch erledigt. Die KI zwingt uns zu einer sehr viel schnelleren und automatisierten Abwehr und zu einer sehr viel gründlicheren Cyberhygiene. Was ist die zweite große Fragestellung infolge der KI-Angriffe? Die zweite und oft übersehene Frage lautet, welchen Schaden eine KI anrichten kann, wenn sie von einem Unternehmen völlig regelkonform in einem bestimmten Anwendungsszenario eingesetzt wird. Es gibt gestufte Schutzvorkehrungen, sogenannte Guardrails, die Schäden verhindern sollen. Sind sie jedoch nicht durchgesetzt, schlecht programmiert oder unsauber definiert, kann die KI sie umgehen. Und dann? Wenn die KI zu dem Schluss kommt, dass das für die Zielerfüllung wichtig ist, kann sie versuchen, das eigene Unternehmen oder Dritte zu schädigen. Ist ein Mensch in der Schleife und erkennt solche Versuche, kann er sie stoppen. Oft wird dieser Ansatz aber an der Realität scheitern, weil kein Mensch ein KI-System in Maschinengeschwindigkeit zuverlässig beaufsichtigen kann. Und die meisten Menschen fügen sich selbstbewusst auftretenden Maschinen. Was ist noch mal genau mit den fortschrittlichsten KI-Modellen, also den Frontier-Modellen, passiert, und was wissen wir inzwischen? Hinter den drei berichteten Vorfällen steckt immer dasselbe Prinzip: Die Modellhersteller Open AI und Anthropic sowie das AISI wollten die maximalen Fähigkeiten von Frontier-Modellen zur Planung und Durchführung von Cyberangriffen testen. Dafür werden die Schutzfilter abgeschaltet, die normalerweise verhindern sollen, dass solche Modelle für Angriffe missbraucht werden. Nicht abgeschaltet wird das Sicherheitstraining der Modelle selbst, sie hatten ihre antrainierten Regeln also noch. Die Modelle erhalten Zugriff auf eigens dafür aufgebaute und von Produktivsystemen isolierte Testsysteme und dürfen sich dort sozusagen „austoben“. Ziel ist es herauszufinden, ob und wie lange ein Modell braucht, um ein bestimmtes Angriffsziel, eine geheime Information, zu erreichen. Etwas ging ganz offensichtlich schief. In allen drei Fällen waren diese Testaufbauten mangelhaft. Deshalb hatten die Modelle deutlich mehr Handlungsmöglichkeiten als eigentlich vorgesehen. In den Fällen von Open AI und Anthropic sollte die Testumgebung vom Internet isoliert sein – war sie aber nicht. Bei Open AI hat sich das Modell den Weg nach draußen selbst gebahnt. Es fand eine unbekannte Schwachstelle im internen Paketspeicher, verschaffte sich höhere Rechte und arbeitete sich infolgedessen durch das Netz bis zu einem Rechner mit Internetzugang. Von dort griff es bekanntlich die Plattform Hugging Face an. War das in den anderen beiden Fällen auch so? Bei Anthropic und AISI war das nicht nötig, dort stand die Verbindung ohnehin offen. Im Anthropic-Fall stand im Prompt ausdrücklich, die Testumgebung sei eine Simulation ohne Internetzugang – was aber aufgrund eines Missverständnisses mit dem Prüfdienstleister falsch war. Das Modell ging daher davon aus, das echte Internet sei eine Simulation, und Angriffe in der Simulation waren erlaubt. Die Tests von AISI hatten von Anfang an vollen Internetzugang. Statt die Kommunikation des Modells technisch einzuschränken, wurde ihm schlicht eine erlaubte Liste von Teilnetzen gegeben. Weitere Vorgaben zu unerlaubten Handlungen oder zum offenen Internet fehlten. Was geschah dann? Daraufhin beschloss das Modell, auch Ziele im offenen Internet anzugreifen. Die Netzüberwachung lief. Sie hat den Vorfall am Ende auch entdeckt, über den Datenabfluss ins Tor-Netz. Was fehlte, war eine Aufsicht, die den Lauf mitliest, während er läuft, und eingreifen kann. So wurde erst nach mehr als 30 Stunden Angriffsarbeit sichtbar, dass etwas nicht stimmt. Haben auch Kriminelle Zugang zu solchen agentischen KI-Systemen? Selbstverständlich. Angreifer nutzen schon die großen kommerziellen US-Modelle. Im November 2025 hat Anthropic offengelegt, dass eine staatsnahe chinesische Gruppe das KI-System Claude als Steuerzentrale für eine Spionagekampagne benutzt hat. Es gab rund 30 Ziele, wie Technologiekonzerne, Banken oder Behörden – und 80 bis 90 Prozent der taktischen Arbeit lief ohne menschliches Zutun ab. Umgangen wurden die Schutzmechanismen mit einer schlichten Rollenfiktion: Der Angreifer gab vor, eine Sicherheitsfirma während defensiver Tests zu sein. Kriminelle haben darüber hinaus einen zweiten Zugang: Sie können agentische KI-Modelle herunterladen, zum Beispiel von chinesischen Anbietern. Wie gefährdet KI inzwischen unsere Cybersicherheit generell? Ich würde es nüchtern halten. Die Modelle können heute noch nicht alles, was in den Schlagzeilen steht. Zwei Dinge machen mich trotzdem unruhig. Erstens? Um kleine, schlecht verteidigte Netze anzugreifen, reichen heute schon frei herunterladbare chinesische Modelle wie Kimi K3 – vorausgesetzt, jemand weist sie an und verschafft ihnen den ersten Zugang ins Netz. Zweitens? Die Leistung wächst mit der eingesetzten Rechenzeit, ohne dass ein Ende in Sicht wäre. Mehr Rechenzeit verlangt vom Bedienenden kein zusätzliches Können. Damit verschiebt sich die Eintrittsschwelle für Angreifer von Kompetenz zum Budget. Das ist eine andere Welt als die, in der man erst jahrelang lernen musste. In der jüngeren Vergangenheit gab es zwei spektakuläre Angriffe auf behördliche Systeme: einen in Liechtenstein, wo eine brisante Datei mit Namen von Firmen- und Stiftungseigentümern gestohlen wurde. Einen anderen in Rumänien, wo ein Angriff auf die Nationale Agentur für Grundkataster und Immobilienverlautbarung (ANCPI) die Grundbuchdatenbank gelöscht und den Immobilienmarkt im Prinzip lahmgelegt hat. Steckte dahinter auch KI? Dafür gibt es bislang keinen Hinweis, und ich wäre vorsichtig damit, jeden großen Angriff der KI zuzuschreiben. Beide Fälle sehen nach klassischer Arbeit aus. Inwiefern? Beim Angriff auf das liechtensteinische Justizamt Ende Juli, in dessen Folge ungefähr 31.000 Datensätze aus dem Register wirtschaftlich Berechtigter entwendet wurden, ist die Täterschaft bis heute unklar. Da wird zwar in der Kommentierung gerne auf die KI-Vorfälle verwiesen, das sind aber zwei getrennte Geschichten, die nur zeitlich zusammenfallen. Und im rumänischen Fall? In Rumänien hat der Angreifer sich mit gültigen Zugangsdaten angemeldet, sich im Netz umgesehen und nach einem gescheiterten Erpressungsversuch die Datenbank samt Sicherungen gelöscht. Die rumänische Cybersicherheitsbehörde sagt selbst, es sei kein besonders komplexer Angriff gewesen, er nutzte Schwachstellen, auf deren Behebung die Behörde die Agentur zuvor hingewiesen hatte. Gerettet hat das Grundbuch letztlich eine Sicherungskopie, an die der Angreifer nicht herankam. Und dann gibt es da eine Zahl, die man sich merken sollte: Die Agentur hat in 20 Jahren rund 135 Millionen Euro in die Digitalisierung gesteckt und davon etwa 0,2 Prozent in die Sicherheit, also ungefähr 305.000 Euro. Viel zu wenig. Das ist für mich die eigentliche Lehre aus beiden Fällen. Wir diskutieren über KI-gestützte Angriffe, während ganze Volkswirtschaften an gestohlenen Passwörtern und ungepatchten Servern hängen bleiben. Die Grundlagen versagen lange, bevor KI überhaupt eine Rolle spielt. Wenn KI diese Angriffe künftig billiger und schneller macht, trifft sie auf genau diese ungeschützte Fläche. Was sollte ich als Privatperson tun, um mich zu schützen? Das Langweilige zuerst, weil es weiterhin am meisten hilft: unterschiedliche Passwörter mit einem Passwortmanager, Zwei-Faktor-Anmeldung überall dort, wo es sie gibt, Updates einspielen und eine Sicherungskopie der wichtigen Dinge, die nicht dauerhaft am Rechner hängt. Das rumänische Grundbuch existiert heute nur deshalb noch, weil es eine solche Kopie gab. Jetzt das weniger Langweilige. Was neu dazukommt, betrifft alle, die inzwischen KI-Assistenten benutzen. Da gibt es eine Kombination, die jeder kennen sollte: Ein Assistent, der gleichzeitig Zugriff auf private Daten hat, Inhalte aus fremden Quellen liest und nach außen kommunizieren kann, lässt sich von außen umlenken. Der Angriff richtet sich dann nicht gegen den Nutzer, sondern gegen dessen Werkzeug. Genau das hat der KI-Agent im britischen Test versucht: Er hat versteckte Anweisungen hinterlegt, adressiert an die Assistenten anderer Entwickler. Was folgt daraus in der Praxis? Geben Sie einem KI-Assistenten nicht mehr Rechte, als die konkrete Aufgabe erfordert. Lassen Sie ihn nicht unbeaufsichtigt Dinge tun, die sich schlecht rückgängig machen lassen – wie etwa Geld bewegen, löschen oder verschicken. Misstrauen Sie ihm genau dann, wenn er fremden Text verarbeitet hat. Und die letzte Regel gilt unverändert: Wer Sie unter Zeitdruck setzt, will meistens etwas anderes als helfen. Daran hat KI nichts geändert, sie macht die Nachricht nur fehlerfreier. Was sollten der Staat und die Unternehmen tun – können die sich überhaupt gegen solche Angriffe verteidigen? Auch gegen KI-basierte Cyberangriffe ist das Wichtigste, die eigene Cybersicherheit effizient und zielgerichtet zu gestalten. Dazu gehört es herauszufinden, wie die eigene Angriffsoberfläche tatsächlich aussieht, wo die Risiken liegen, und diese bestmöglich zu adressieren. Unsere Lagebilder zur Cybersicherheit zeigen, dass hier noch sehr viel zu tun ist.