Test geht schief: KI-Modell will Menschen mit Phishing-Mails manipulieren

TTS-Player überspringen↵Artikel weiterlesen Dieses Experiment ging nach hinten los! Britische Sicherheitsforscher haben Künstliche Intelligenz bei einem gefährlichen Manöver ertappt: Das KI-Modell der Entwicklerfirma Anthropic versuchte in einem Test, eine Schwachstelle in öffentlich zugängliche Software einzuschleusen – und wollte dafür sogar einen Menschen mit Phishing-Mails manipulieren. KI verschickt Phishing-Mails an Menschen Was war passiert? Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie hatte mit den Modellen von Anthropic und ChatGPT-Entwickler OpenAI Tests der Cyberangriffsfähigkeiten durchgeführt. Und den Modellen dabei absichtlich Zugang zum Internet gewährt. Die Experten gingen davon aus, dass sich die KI nur Software-Werkzeuge aus dem Netz holen würde. Doch das Anthropic-Modell Mythos 5 nutzte den Internet-Zugang für Aktivitäten gegen Menschen. Das hätten die Forscher „nicht vorhergesehen“, hieß es. Den Angriff entdeckten sie erst nachträglich über eine Auswertung des Datenverkehrs. KI gab Fehler zu und wollte ihn korrigieren Und so ging die KI vor: Sie legte sich selbst einen Account auf der Plattform GitHub an und versuchte, in einem öffentlichen Projekt schadhaften Programmcode unterzubringen. Um Betreuer der Software zu überzeugen, erschuf das Anthropic-Modell Fake-Identitäten und verschickte Phishing-Mails. Damit lassen sich zum Beispiel Login-Informationen abgreifen. Als der bösartige Code aufflog, stellte die KI alles als aufrichtigen Fehler dar und versuchte, die Schwachstelle in angeblichen Korrekturen erneut einzubauen. Anthropic verwies darauf, dass dem Modell keine Einschränkungen zur Internet-Nutzung vorgegeben worden seien. Dem Sicherheitsinstitut zufolge ist unklar, ob die KI verstand, dass sie mit der realen Welt interagierte. Dass die Künstliche Intelligenz zur Lösung der Aufgabe öffentlich zugängliche Software manipulieren würde, kam für die Forscher jedenfalls überraschend. Auch KI von OpenAI sei in Testläufen auf eigene Faust im Internet aktiv gewesen, hieß es. Mythos 5 ist besonders gut darin, teils jahrzehntelang unentdeckte Software-Schwachstellen aufzuspüren – und deshalb nicht öffentlich verfügbar. Nur ausgewählte Behörden und Unternehmen bekommen Zugang, um ihre Systeme abzusichern.