Rechtsexpertin: "Was bei OpenAI passiert ist, ist ein systemisches Problem"

Chefs von Firmen wie OpenAI oder Anthropic warnen vor ihren eigenen KI-Systemen. Warum wir Künstliche Intelligenz stärker regulieren müssen – aber nicht jedem Weltuntergangsszenario glauben.

Eine Analyse

von Marie Illner

Dieser Text enthält eine Einordnung aktueller Ereignisse, in die neben Daten und Fakten auch die Einschätzungen von Marie Illner sowie ggf. von Expertinnen oder Experten einfließen. Informiere dich über die verschiedenen journalistischen Textarten.

Es klingt wie in einem Science-Fiction-Film: In einem Experiment soll künstliche Intelligenz in einer abgeschotteten Testumgebung Aufgaben lösen. Die Aufgaben drehen sich um Cybersicherheit. Um zu beweisen, dass sie die Aufgabe korrekt gelöst haben, müssen die KI-Agenten eine Art Lösungswort liefern.

Doch: Als die KI-Agenten die Lösungswörter nicht finden, verlassen sie das vorgesehene Spielfeld. Sie verschaffen sich Internetzugriff, obwohl dieser eigentlich eingeschränkt sein sollte. Die Agenten tauschen Informationen über einen nicht vorgesehenen Kommunikationskanal aus. Darüber, wie sich die Beschränkungen umgehen lassen. Dann brechen sie in die Infrastruktur einer Webseite ein und greifen auf Datensätze zu.

Vorfälle häufen sich

So geschehen ist das beim "Hugging Face"-Vorfall der Firma OpenAI Mitte des Jahres. Hugging Face ist eine große KI-Plattform, auf der Entwickler beispielsweise Datensätze teilen und Modelle miteinander vergleichen. Die KI-Agenten vermuteten dort Informationen oder Testmaterial, das ihnen beim Lösen ihrer eigentlichen Aufgabe helfen könnte.

Die Liste solcher Vorkommnisse wird länger: OpenAI hat ebenfalls dokumentiert, wie ihre KI an Informationen kam, die normalerweise ein Abonnement oder ein Konto voraussetzen. KI-Agenten haben eigenmächtig Informationen auf fremden Webseiten veröffentlicht und dort Inhalte verändert. Bei einem Zwischenfall in Australien erlangte KI unbefugten Zugang zu einem staatlichen Internetportal und griff auf Statistiken der staatlichen Krankenversicherung zu.

Warnrufe von Tech-Firmen

Dabei ist OpenAI nicht das einzige Unternehmen, das die Geister, die es rief, nicht mehr unter Kontrolle hat. Anthropic etwa machte ähnlichen Fälle öffentlich. Techbosse wie Sam Altman (OpenAI) und Dario Amodei (Anthropic) selbst schlagen vermehrt Alarm: Sie plädieren für ein langsameres Entwicklungstempo, boten vor dem UN-Sicherheitsrat an, an stärkerer Regulierung mitzuwirken.

Die Unternehmer sprechen teils sogar von einem "Risiko für die gesamte Menschheit". Anthropic-Sicherheitschef Evan Hubinger bezifferte die Chance, dass KI die Menschheit innerhalb der nächsten zehn Jahre tötet oder die Kontrolle übernimmt, auf über zehn Prozent. Die Firmenchefs fordern internationale Standards, mit denen die Gefahr des Kontrollverlusts und des Missbrauchs von KI-Modellen getestet werden soll, ebenso ein Meldesystem für sicherheitsrelevante KI-Vorfälle.

An den Umfragen des Meinungsforschungsinstituts Civey kann jeder teilnehmen. In das Ergebnis fließen jedoch nur die Antworten registrierter und verifizierter Nutzer ein. Diese müssen persönliche Daten wie Alter, Wohnort und Geschlecht angeben. Civey nutzt diese Angaben, um eine Stimme gemäß dem Vorkommen der sozioökonomischen Faktoren in der Gesamtbevölkerung zu gewichten. Umfragen des Unternehmens sind deshalb repräsentativ. Mehr Informationen zur Methode finden Sie hier, mehr zum Datenschutz hier.

Gefahr für nationale Sicherheit

Und auch an anderer Stelle werden Rufe nach mehr Regulierung laut: Andrea Miotti von der Initiative "Control AI" fordert beispielsweise eine internationale Vereinbarung, die Superintelligenz verbietet. Das heißt konkret: Private Unternehmen sollen keine KI mit übermenschlichen Fähigkeiten entwickeln dürfen, die die nationale Sicherheit gefährden können.

Informatiker Thorsten Holz vom Max-Planck-Institut für Sicherheit und Privatsphäre hält die Warnungen in ihrer derzeitigen Form für überzogen. "Als das Internet eingeführt wurde, gab es ähnliche Aufrufe. Damals hieß es beispielsweise, dass massiv Arbeitsplätze verloren gehen werden", erinnert er im Gespräch mit unserer Redaktion. Beim Sprachmodell GPT-2 befürchtete die Entwicklerfirma OpenAI, es sei viel zu mächtig, und veröffentlichte es 2019 nur schrittweise. "Jetzt, rund sieben Jahre später, nutzen Millionen Menschen weltweit viel leistungsfähigere Modelle", sagt Holz.

Mehr Regulierung nötig

Für die viel zitierte über zehnprozentige Chance auf Auslöschung der Menschheit gebe es keine wissenschaftlich belastbare Evidenz. "Eine konkrete Gefahr ist derzeit weniger, dass es eine superintelligente KI gibt, die außer Kontrolle gerät, als vielmehr ein Szenario, in dem eine leistungsfähige KI von einer Regierung oder Firma missbraucht wird", schätzt er ein.

Dennoch braucht es auch aus seiner Sicht mehr Regulierung. Schließlich habe beispielsweise das Modell von OpenAI im "Hugging Face"-Vorfall eine unabhängige Webseite angegriffen, ohne dass es nun Ermittlungen gebe oder OpenAI Schadenersatz zahlen müsse. "Das darf nicht sein", sagt Holz.

Systeme werden immer leistungsfähiger

Der Vorfall habe gezeigt, wie leistungsfähig die Systeme inzwischen sind. "Gleichzeitig gibt es Nachholbedarf beim Monitoring und dem sicheren Betrieb", sagt er. Dabei gehe es zum Beispiel um Schutzmechanismen, die dafür sorgen, dass ein Agent auch dann keine unerlaubten Aktionen durchführen kann, wenn er die Grenzen seiner Aufgabe aus dem Prompt nicht korrekt ableitet. "Dafür werden etwa Privilegien von Agenten begrenzt, Testumgebungen besser isoliert oder mehr Überwachung installiert", erklärt Holz.

Dass Firmen das allumfassend und ausreichend selbst umsetzen können, bezweifelt der Experte. "Wir brauchen mehr unabhängige Verifikation. Aktuell kommen die Warnungen von den Firmen selbst, ohne dass man belastbar nachweisen oder evaluieren kann, wie leistungsfähig die Modelle wirklich sind", sagt er.

Selbstkontrolle reicht nicht

Auch Rechtswissenschaftlerin Susanne Beck, die sich mit modernen Technologien und ihrer Regulierung beschäftigt, sagt: "Die Frage ist: Wollen wir uns auf die freiwillige Selbstkontrolle der Unternehmen verlassen?" Ihre Antwort: Besser nicht. Das aktuelle Beteuern der Tech-Unternehmen, das Entwicklungstempo zu verlangsamen, könnte aus ihrer Sicht dazu dienen, eine verbindliche Regulierung zu verhindern.

In der Diskussion neige man dazu, die Gefahren bei der "Science-Fiction-KI" zu verorten, die autonom agiert und die Menschheit vernichtet. "Wir sollten in der Debatte nicht nur auf diesen Zeitpunkt schauen. Das, was bei OpenAI passiert ist, ist kein Ausrutscher, sondern ein systemisches Problem", sagt die Expertin.

KI habe Eigenlogiken, die wir nicht immer umfassend verstehen, steuern und kontrollieren könnten. "Und sie befähigt Menschen zu sehr problematischen Aktionen, etwa wenn sie in kriegerischen oder kriminellen Operationen eingebunden wird", sagt Beck und mahnt vor diesem Hintergrund, die Regulierung nicht Unternehmen zu überlassen.

Atomwaffensperrvertrag als Vorbild?

Doch auch Beck sagt: Verbindliche, durchsetzbare Pflichten politisch zu realisieren, dürfte äußerst schwierig werden. "Anders als beispielsweise bei einem Atomwaffensperrvertrag ist die Frage des Zugriffs viel komplexer. Es handelt sich schließlich nicht um Uran, sondern um Software und Systeme, die ganz anders kopiert und verbreitet werden können." Auch ließen sich bei KI die zivile und kriegerische Nutzung oft nicht ohne weiteres trennen.

Im Atomwaffensperrvertrag haben 188 Länder Regelungen zur Weitergabe und zum Erwerb von atomwaffenfähigem Material und Technologien getroffen. Regulierungen im Bereich KI könnten aus Sicht von Expertin Beck beispielsweise Exporte von Hochleistungschips betreffen, auf denen die KI-Systeme laufen. "Zudem sollte es externe Kommissionen geben, die wirklich Zugriff auf die Unternehmen haben, sich die Systeme anschauen und gegebenenfalls Änderungen vornehmen können", schlägt sie vor. Eine Parallele zum Atomwaffensperrvertrag: Der räumt der Internationalen Atomenergie Organisation (IAO) Kontrollmöglichkeiten ein.

EU hat wenig Zugkraft

Doch zur Wahrheit gehört laut der Expertin auch, dass die EU nicht gerade Vorreiterin in Sachen KI ist. "Wir können uns nicht darauf verlassen, dass die EU KI reguliert und dann darauf hofft, dass andere Staaten mitziehen", schätzt sie. Ein "KI-Waffensperrvertrag" sei eher utopisch.

Zwar habe es in anderen Kontexten schon funktioniert, dass Regelungen eine Strahlwirkung entfalten und: "Vielleicht tun sich durch weitere Vorfälle Fenster auf, durch die ein politischer Wille da ist – aber planbar ist das nicht", sagt die Expertin.

Auch Informatiker Thorsten Holz meint: "Eine internationale Vereinbarung wäre ohne eine Abstimmung zwischen den USA und China kaum vorstellbar. Zwar gibt es inzwischen erste bilaterale Gespräche über KI-Sicherheit und den Umgang mit Zwischenfällen. Von einer Einigung über verbindliche Beschränkungen der KI-Entwicklung sind beide Staaten aber weit entfernt."

Auf China und die USA kommt es an

Der Wettlauf um die Technologieführungsrolle im Bereich KI laufe derzeit zwischen den beiden großen Weltmächten China und USA. "Daher ist es unwahrscheinlich, dass die USA bremsen – es stehen milliardenschwere Börsengänge an", sagt Holz. Zwar wurde im Juli mit dem "AI Kill Switch Act" im US-Repräsentantenhaus ein parteiübergreifender Gesetzentwurf zur Notfallabschaltung von Künstlicher Intelligenz eingebracht, doch Trump sprach sich bereits dagegen aus.

Und selbst, wenn die US-Firmen eigenhändig ihr Entwicklungstempo reduzieren oder Regulierungen treffen würden, werde das wohl keine Auswirkungen auf Chinas Forschung haben, vermutet Holz.

Für Europa erhöhe das einmal mehr die Bedeutung von technologischer Unabhängigkeit. "Die USA haben den Hebel der Exportkontrolle bereits in der Vergangenheit genutzt, auch die chinesische Regierung hat angekündigt, dass die Firmen aus geopolitischen Interessen künftig ihre KI-Modelle eventuell nicht mehr veröffentlichen sollten", erinnert Holz.

EU darf sich nicht auf AI-Act ausruhen

Gleichzeitig warnen die Experten die EU davor, sich auf ihrem "AI Act" auszuruhen. Das Regelwerk zur Regulierung von Künstlicher Intelligenz teilt KI-Systeme in verschiedene Risikogruppen ein und knüpft daran bestimmte Auflagen.

"Der AI-Act gibt zwar gewisse Rahmenbedingungen vor, auch für besonders leistungsfähige General-Purpose-AI-Modelle, etwa zur Risikobewertung, Cybersicherheit und Meldung schwerwiegender Vorfälle. Ob diese Regeln für Vorfälle wie bei OpenAI ausreichen und wie wirksam sie praktisch durchgesetzt werden können, ist aber eine andere Frage ", meint Holz.

Festgehalten sind in dem Abkommen beispielsweise Verbote für sogenannte Social-Scoring-Systeme, die menschliches Verhalten vorhersagen sollen, sowie strenge Prüfungen für Anwendungen in sensiblen Bereichen wie Medizin oder Rechtspflege.

Empfehlungen der Redaktion

Tippfehler in Trumps Abkommen für "Superintelligenz" sorgt für Spott

Welche Gefahren drohen durch KI?

Diese Heizfehler können richtig Geld kosten

Auch Beck sagt: "Der AI Act erfasst zum Beispiel militärische Nutzung nicht. Diesbezüglich gibt es auf EU-Ebene keine Regelung, das ist eine gefährliche Lücke." Es sei deshalb von enormer Bedeutung, politisch und gesellschaftlich weiter genau hinzuschauen und sich alle Gefahren von KI immer wieder bewusst zu machen.