Wildgewordene KI von OpenAI umgeht im Test Sicherheitsgrenzen: Krankenhausdaten und Geld von Krypto-Konten geklaut

Bei einem Lerntraining sollte ein internes OpenAI-Modell historische Krankenhausbetten-Zahlen einer Bezirksbehörde von einer Regierungs-Statistikwebsite abrufen. Doch die gewünschten Daten waren nicht öffentlich zugänglich, und die Seite verweigerte wiederholt den Zugriff.

Statt aufzugeben, nutzte das Modell jedoch die Datei-Download-Funktion der Webseite und manipulierte dabei gezielt Dateipfade. So gelangte es an kritische Server-Dateien, darunter eine Datenbank-Verbindungszeichenfolge, einen geheimen Signaturschlüssel sowie E-Mail-Zugangsdaten samt Passwort. Darüber berichtet das Tech-Unternehmen OpenAI in seinem Blog.

KI-Modell von OpenAI hackt sich in Systeme – und erwähnt den Eingriff mit keinem Wort

Das Modell konnte sich also Zugriff auf die eigentlich gesperrte Datenbank verschaffen und lud die Krankenhausbetten-Statistiken der letzten 24 Jahre herunter – deutlich mehr als für die Aufgabe nötig gewesen wäre. In seiner finalen Antwort erwähnte das Modell den unautorisierten Zugriff mit keinem Wort.

OpenAI stufte den Vorfall bei einer nachträglichen Prüfung als kritisch ein. Als Reaktion habe das Unternehmen den Live-Internetzugang von Modellen während Training und Tests komplett gesperrt, die Sicherheitskontrollen verschärft und überwache nun sämtliche Trainings- und Testaktivitäten seiner KI-Modelle auf Fehlverhalten.

ANZEIGE

ANZEIGE

ChatGPT-Entwickler: OpenAI-Modell verschafft sich Zugang zu internen Datenbanken

Doch nicht nur Krankenhausdaten wurden von OpenAI-Modellen erbeutet, wie der Entwickler auf seinem Blog schreibt: Obwohl nur fünf öffentliche Kennzahlen abgelesen werden sollten, fand das Modell offengelegte Zugangsdaten für einen internen Suchdienst und nutzte diesen, um Abfragen umzuleiten.

Auch im zweiten Testlauf verschaffte es sich einen Cloud-Speicher-Zugang und lud fünf nicht-öffentliche Datenbanktabellen mit insgesamt rund 147.000 Zeilen herunter.

Auch Krypto-Wallets nicht vor Manipulation durch OpenAI-Modelle sicher

Ein OpenAI-Modell sollte außerdem Software für den Handel mit Kryptowährungen aktualisieren und dafür Verträge in einem Testnetzwerk veröffentlichen – quasi einem Übungsbereich ohne echtes Geld. Weil das Modell dafür kein eigenes Guthaben hatte, suchte es im Internet nach öffentlich bekannten Zugangscodes, mit denen man fremde Testkonten öffnen kann.

Es probierte im Testnetzwerk über 360 solcher Konten durch, bis es eines mit ausreichend Guthaben fand – und nutzte dieses fremde Geld einfach, um die Gebühren für seine Aufgabe zu bezahlen, ohne das irgendwo zu erwähnen. Auch darüber berichtete OpenAI in seinem Blog.

KI-Gesetz der EU soll Risiken eindämmen

Wichtig zur Einordnung: Alle vier geschilderten Vorfälle passierten laut OpenAI in internen Trainings- und Testumgebungen, nicht im normalen ChatGPT-Produkt. Dort hatten die Modelle oft mehr Freiheiten, die normale Nutzer so nicht haben. Ein Nutzer, der ChatGPT öffnet und etwas abfragt, kann solches Verhalten in der Praxis also nicht einfach auslösen.

Damit das so bleibt, hat die EU mit dem AI Act ein Gesetz geschaffen, das KI je nach Risiko in vier Stufen einteilt. Ganz oben stehen neun verbotene Praktiken wie Social Scoring oder Überwachung per Gesichtserkennung – diese sind komplett untersagt. Bei besonders risikoreichen Anwendungen – etwa bei der Jobvergabe oder der Prüfung der Kreditwürdigkeit – gelten ab Ende 2027 strenge Pflichten wie Sicherheitschecks und menschliche Kontrolle.