Experte: "Wir müssen KI in die Schranken verweisen"
KI kann inzwischen nicht nur bei Cyberangriffen helfen, sondern selbstständig Angriffsschritte ausführen. Wie viel Kontrolle haben wir noch über solche Systeme? KI‑Experte Andreas Dengel erklärt, wie bedrohlich diese Entwicklung ist.
Ein Interview
von Claudia Frickel
Künstliche Intelligenz entwickelt sich rasant – und wird damit auch für die Cybersecurity zur Herausforderung. Mehrere Vorfälle bei Sicherheitstests zeigten in den vergangenen Wochen, welche Fähigkeiten KI-Systeme inzwischen haben.
Besonders für Aufsehen sorgte KI-Entwickler Anthropic mit seinem System Claude. In einem Szenario versuchte es, einen Menschen mit täuschend echten Phishing‑Mails zu manipulieren. Bei einem anderen Test brachen Claude‑Modelle in die Systeme realer Unternehmen ein.
Auch OpenAI meldete einen Vorfall. Auslöser war ein experimenteller KI-Agent, der Aufgaben eigenständig planen und ausführen kann. Er verließ seine abgeschottete Testumgebung, griff auf das Internet zu und drang anschließend in die Infrastruktur von Hugging Face ein – einer Plattform für KI‑Modelle und -Anwendungen.
KI-Experten Andreas Dengel vom Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) in Kaiserslautern warnt vor voreiligen Schlüssen.
Herr Dengel, wie gefährlich ist es, wenn KI beginnt, Elemente eines Cyberangriffs selbstständig auszuführen?
Andreas Dengel: Solche Vorfälle sind ernst zu nehmen, denn sie zeigen auf, wie mächtig das Werkzeug KI mittlerweile geworden ist. Trotzdem sollte man die Ereignisse nicht als Beleg dafür sehen, dass KI einen eigenen Willen entwickelt hat. Gefährlich ist vielmehr die Kombination aus hoher Leistungsfähigkeit, Autonomie und unzureichender technischer Begrenzung.
Wie kann so etwas passieren? Liegt es an menschlichem Versagen oder bringt KI selbst ein Risiko mit?
Beim OpenAI‑Vorfall zeigte sich beides, das Problem entsteht erst im Zusammenspiel. Die beteiligten Personen waren nicht ganz unschuldig: Die Testumgebung war offenbar nicht ausreichend isoliert, sodass der Agent überhaupt ausbrechen konnte. Gleichzeitig versuchen KI-Agenten immer, auf ein vorgegebenes Ziel hin zu optimieren. Dabei können sie auch auf Wege stoßen, die niemand vorgesehen hat.
Warum führt eine KI überhaupt solche Aktionen aus – und welchen Einfluss haben die Ziele, die Menschen ihr setzen?
Eine KI greift nicht an, weil sie feindselig ist oder Lust am Hacken hat. Entscheidend ist, welches Ziel ihr das Entwicklerteam vorgibt. Wenn ein Agent den Auftrag erhält, eine Sicherheitslücke zu finden und zu nutzen, optimiert er sein Verhalten darauf. Dabei unterscheidet er nicht zwischen dem vorgesehenen Lösungsweg und einem unerwünschten Umweg über ein reales System. Dies offenbart das Grundproblem agentischer KI: Sie beantwortet nicht nur Fragen, sondern plant, wählt geeignete Werkzeuge, führt Code aus und passt ihr Vorgehen eigenständig an. Daher müssen wir künftig nicht nur Ziele definieren, sondern ebenso präzise festlegen, welche Wege zu diesen Zielen verboten sind.
Was können Unternehmen aus solchen Vorfällen lernen?
Ein leistungsfähiger KI‑Agent muss sicherheitstechnisch eher wie ein potenzieller Insider behandelt werden und nicht wie ein gewöhnliches Softwareprogramm. Entsprechend sollten Unternehmen Agenten nur minimale Rechte geben, Netzwerke strikt trennen, kurzlebige Zugangsdaten nutzen und das tatsächliche Systemverhalten kontinuierlich überwachen. Auch die angegriffenen Organisationen müssen umdenken. Der Fall Hugging Face zeigt, wie der Eindringling über Datenverarbeitung, Zugangsdaten und interne Systeme schrittweise weiterkommen konnte. Unternehmen müssen davon ausgehen, dass Angreifer ihre Strategie während der Attacke verändern, egal ob Menschen oder KI-Agenten.
Drohen in Zukunft weitere und schlimmere Angriffe durch KI?
Davon muss man ausgehen. Die bisherigen Fälle zeigen, dass sich KI‑gestützte Angriffe vor allem durch ihre Skalierbarkeit von herkömmlicher Cyberkriminalität unterscheiden. Ein menschlicher Hacker kann nur wenige Systeme gleichzeitig analysieren. KI‑Agenten könnten dagegen in großer Zahl parallel Softwarestände prüfen, Schwachstellen suchen und Angriffspfade jeweils an die Gegebenheiten anpassen.
Wer wäre dabei besonders gefährdet?
Besonders gefährdet sind Organisationen mit großen, heterogenen IT‑Landschaften: Verwaltungen, Krankenhäuser, Finanzinstitutionen, Industrieunternehmen und kritische Infrastruktur. Gleichzeitig entsteht ein Wettrüsten: Dieselben agentischen KI‑Technologien können auch genutzt werden, um Schwachstellen frühzeitig zu erkennen, bevor Angreifer sie ausnutzen.
Droht uns die Kontrolle über KI zu entgleiten?
Ich glaube nicht, dass ein vollständiger Kontrollverlust derzeit das wahrscheinlichste Szenario ist. Trotzdem zeigen die jüngsten Vorfälle, dass wir nicht mehr jede Handlung eines leistungsfähigen Agenten vorhersehen können. Je autonomer Agenten arbeiten, Unteragenten koordinieren oder selbst Software erzeugen, desto schwieriger wird es.
Wie lassen sich Angriffe dann überhaupt noch zuverlässig verhindern?
Empfehlungen der Redaktion
Katharina Zweig: "Werden Fabulieren nicht in Griff bekommen"
Geldanlage mit KI: Warum Fachleute warnen
"Für den Kampf gegen Ungleichheit ist die AfD die falsche Partei"
Um die Sicherheit zu gewährleisten, müssen wir die KI in ihre Schranken verweisen. Wir brauchen unabhängige Kontrollagenten, harte Rechte‑ und Netzwerkgrenzen, automatische Abschaltmechanismen und menschliche Freigaben für kritische Aktionen.