Katharina Zweig über KI, Open AI & Co.: „Wir lassen eine unsichere Software auf die Menschheit los“

Frau Professorin Zweig, wie nutzen Sie selbst Künstliche Intelligenz?

Seitdem es ChatGPT gibt, bekomme ich deutlich mehr Anfragen für Promotionsstellen. Deshalb brauche ich Aufgaben, mit denen ich die Spreu vom Weizen trennen kann. Ich habe geprüft, ob ChatGPT diese Aufgaben vielleicht so gut löst, dass ich keinen Unterschied mehr erkenne. In einer der Aufgaben geht es darum, eine klassische statistische Prüfmethode zu erklären.

Und?

Der Bericht sah zunächst hervorragend aus. Aber schon auf einer halben Seite tauchten Symbole auf, die nicht erklärt wurden. Als ich nachfragte, verhedderte sich die Maschine völlig. Sie konnte die Fragen nicht beantworten. Es ist also noch alles sicher.

F.A.Z.-Artikel häufiger in Ihren Suchergebnissen sehen

F.A.Z. bei Google bevorzugen

In die Diskussion über die Risiken der KI mischen sich inzwischen die Chefs der wichtigsten Anbieter ein, sie hat den UN-Sicherheitsrat und das Weiße Haus erreicht. Mitunter thematisieren auch Fachleute, ob die Menschheit Gefahr läuft, ausgelöscht zu werden. Ist das völliger Unfug oder müssen wir uns mit einem solchen Risiko befassen?

Wir müssen uns mit der Frage beschäftigen, aber wir sollten drei verschiedene Schadensszenarien auseinanderhalten.

Erstens?

Die Maschine wird superintelligent, sie wird unkontrollierbar, wir können sie nicht mehr stoppen, und sie betrachtet uns wie Ameisen. Wenn Menschen ihren Zielen im Weg stehen, kommt es zur großen Katastrophe.

Zweitens?

Schlechte Software wird in Situationen eingesetzt, in denen sie nichts zu suchen hat. Weil sie schlecht ist, entstehen große Schäden.

Drittens?

Bösartige Menschen nutzen KI-Systeme für ihre Zwecke: für Betrug, Hacking, Identitätsdiebstahl oder andere kriminelle Aktivitäten. Mit einer Maschine können sie diese Dinge sehr viel stärker skalieren und sehr viel mehr Menschen erreichen.

Das erste Szenario hätte die schlimmsten Folgen. Darum noch mal: Droht uns das wirklich?

Das Szenario, in dem die Maschine superintelligent und letztlich unkontrollierbar wird, ist interessanterweise dasjenige, welches wir gegenwärtig von den großen KI-Unternehmen am häufigsten hören. Plötzlich sind sich diese Unternehmen erstaunlich einig, obwohl sich ihre Manager persönlich teilweise überhaupt nicht leiden können. Heute halte ich diese Gefahr nicht für real, vielleicht wird sie es irgendwann einmal.

Und was ist mit den Cyberkriminellen, die sich nun mit KI aufrüsten?

Diese Gefahr ist leider sehr real. Glücklicherweise beschäftigen sich andere Kolleginnen und Kollegen intensiv damit.

Und das Szenario zwei, das sich um schlechte Software dreht?

Das besorgt mich gegenwärtig am meisten, und deswegen schreibe ich meine Bücher – zuletzt „Weiß die KI, dass sie nichts weiß?“ über Sprachmodelle. Ich sehe zu viele Menschen, die davon überzeugt sind, Sprachmodelle und KI-Agenten für Aufgaben einsetzen zu können, bei denen ich denke, dass das nicht funktionieren wird. Eine unreife und unsichere Software wird auf den Markt gebracht, obwohl bekannt ist, dass sie unreif und unsicher und nicht vollständig zu kontrollieren ist.

Wer trägt dafür Verantwortung – die KI-Anbieter oder auch die Unternehmen, die solche KI-Systeme einsetzen?

Beide, aber in einer bestimmten Reihenfolge.

Nämlich?

Die Anbieter müssen dafür verantwortlich sein, dass ihre Produkte sicher sind. Für Informatiker gibt es schon seit dem Jahr 1997 einen von großen internationalen Ingenieurs- und Computervereinigungen verabschiedeten Code of Conduct. Darin steht unter anderem, Software dürfe nur freigegeben werden, wenn man begründet davon ausgehen könne, dass sie sicher ist, die Anforderungen erfüllt, angemessen getestet wurde, die Lebensqualität nicht mindert, die Privatsphäre nicht verletzt und der Allgemeinheit dient.

Halten die KI-Entwickler das ein?

Wenn wir uns heutige KI-Systeme ansehen, ist jeder dieser Punkte problematisch. Die Software ist nicht sicher, und das wissen die Anbieter. Deshalb brauchen wir Verbraucherschutz und vermutlich eine Regulierung nach dem Vorbild der Medizinprodukte. Schließlich sind KI-Systeme oft noch schwieriger zu verstehen als Medizinprodukte.

Und was ist mit dem Betreiber der KI-Systeme?

Der trägt ebenfalls Verantwortung für das, was ein KI-System auf einer Website oder als Chatbot tut. Aber er kann nur verantwortungsvoll handeln, wenn der Anbieter ein verlässliches Produkt liefert.

In den Vereinigten Staaten werden offenkundig Parallelen zum Haftungsprivileg für die Internetkonzerne gezogen, wenn es um die KI-Unternehmen geht. Also um die Frage, ob diese als KI-Anbieter nur das Werkzeug bereitstellen und was andere damit tun, ist nicht deren Verantwortung. Überzeugt Sie das?

Nein. Unternehmen müssen dafür haften, dass sie eine schwer kontrollierbare Software auf den Markt bringen. Und sie müssen sie abschalten, wenn sie außer Kontrolle gerät. Wir übernehmen derzeit viel zu oft das Narrativ der KI-Unternehmen.

Inwiefern?

Ein Beispiel ist eine Überschrift der „New York Times“ zum Angriff der Open-AI-KI auf die Internetplattform Hugging Face, sie lautete: „Why the Hugging Face Hack Should Make You Worry More About AI.“

Was stört Sie daran?

Die Frage müsste doch lauten, warum Unternehmen eine offensichtlich schwer kontrollierbare Software einsetzen. In der Unterzeile war dann noch von einem „aggressiven Kollektiv“ von Open-AI-Agenten die Rede. Maschinen sind aber nicht aggressiv. Ihr Verhalten kann aggressiv wirken. Solche Formulierungen lassen die Maschine wie eine eigenständige Akteurin erscheinen und lenken von den Unternehmen ab.

Aber die KI-Systeme handeln doch als eigenständige Akteure. KI-Agenten planen mehrere Schritte, greifen auf Werkzeuge zu und gehen ins Internet.

Was ein Sprachmodell im Kern gelernt hat, ist, das nächste Wort in einem Textzusammenhang vorherzusagen; damit kann es gängige Textmuster lernen. Die hängt das Modell beim Generieren aneinander; dabei kann es aber auch zu Texten kommen, die inhaltlich falsch sind. Auch Agentensysteme beruhen auf dieser Inhärent unzuverlässigen Grundtechnologie. Aus einem Prompt generieren sich die Maschinen Text mit Unteraufgaben, die sie dann an Software weiterreichen, etwa Suchanfragen. Die Maschine hat aber zum Beispiel kein echtes Gedächtnis.

Wie meinen Sie das?

Das einzige Gedächtnis, das sie im Dialog mit uns hat, ist der Gesprächsverlauf – eine Art Kurzzeitgedächtnis. Dazu kommt ein Langzeitgedächtnis, in dem Textmuster erkannt und gespeichert werden. Aber es gibt kein persönliches Gedächtnis, in dem Erfahrungen, Ziele oder eine Persönlichkeit enthalten wären. Und es gibt dort auch nichts, was im menschlichen Sinne nachdenkt.

Was ist der Unterschied?

Der Technikphilosoph Andreas Kaminski hat neulich eine meiner Ansicht nach sehr gute Beobachtung formuliert. Er sagte: Was wir Menschen tun, ist, über etwas nachzudenken und anschließend das richtige Wort zu suchen. Das deutet darauf hin, dass es unserem Gehirn gelingt, das, was wir gerade denken, zunächst halb fertig zu speichern. Es ist schon irgendwie vorhanden, aber wir können es noch nicht vollständig formulieren. Dann suchen wir nach den richtigen Wörtern, probieren verschiedene Möglichkeiten aus und sagen irgendwann: Das passt jetzt. Diese Art von Speicher, in dem wir über etwas nachdenken, bevor wir es in Worte fassen, hat ein KI-Sprachmodell nicht.

Viele Fachleute sprechen inzwischen aber doch von „Reasoning“-Modellen, also von KI-Systemen, die tiefer nachdenken können.

Im Englischen ist der Begriff sehr breit. Er kann bedeuten, eine mathematische Aufgabe nach einem Schema zu lösen, aber auch, philosophisch nachzudenken. Im Falle der neuen KI-Modelle geht es meist um Wettbewerbsaufgaben, deren Lösungen aus mehreren Zwischenschritten bestehen. Wenn eine Maschine sie gut löst, wird daraus geschlossen, sie betreibe Reasoning. Ich halte das für zu kurz gegriffen.

Aber intelligent sind die KI-Sprachmodelle schon?

Sie können bestimmte Dinge sehr gut. Aber sie erfüllen wichtige Voraussetzungen für Intelligenz nicht.

Welche?

Der Informatiker Brian Cantwell Smith nennt Mindestanforderungen: Ein System braucht ein Weltmodell, mit dem es Vorhersagen macht; das können KI-Systeme recht gut. Es muss diese Vorhersagen aber an der Welt messen; das können Sprachmodelle nicht zuverlässig, weil ihnen die Sensorik fehlt. Die Maschine ist nicht in die Welt eingebunden. Wenn wir über KI sprechen, ist die Wortwahl aber noch in anderer Weise irreführend.

Zum Beispiel?

Wenn etwa davon die Rede ist, die Maschine solle belohnt werden, wenn sie sich in dieser oder jener Weise verhält. Doch niemand kann eine Maschine im menschlichen Sinn belohnen. Wir können ihren Strom abdrehen oder sie weiterlaufen lassen. Wir geben ihr Anweisungen in natürlicher Sprache und tun so, als verstünde sie diese in unserem Sinn. Das ist aber nicht der Fall.

Apropos Anweisungen in natürlicher Sprache: Kann Deutsch künftig eine Programmiersprache werden?

Für bestimmte Standardaufgaben kann Sprache vielleicht gut funktionieren. Beim Programmieren sind viele Tätigkeiten lästig, aber standardisiert: Daten speichern und auslesen, Formate verwalten, Benutzeroberflächen bauen oder Menüpunkte anlegen. Dafür kann ich mir Sprachmodelle gut vorstellen.

Aber?

Wenn es um große Softwaresysteme geht, dann bin ich skeptisch. Ich fürchte, dass wir in den nächsten Jahren viel Software produzieren, die später technische Schulden verursacht. Ein Abteilungsleiter erzählte mir kürzlich stolz, seine Abteilung habe eine Software ohne Code ausgeliefert. Keine Zeile sei selbst geschrieben worden. Ich fragte ihn, ob sie denn jede Zeile verstanden hätten. Das war nicht der Fall.

Helfen Tests?

Sie sind kein ausreichender Schutz: Wenn ein KI-Agent Zugriff auf die Testfragen hat, kann er sie unter Umständen so verändern, dass er sie besteht.

Wenn die Software so oft unreif ist, wie Sie behaupten, warum wird sie trotzdem so schnell verbreitet?

Es gibt sehr viel investiertes Geld, aber noch kein belastbares Geschäftsmodell. Viele Angebote sind kostenlos oder subventioniert. Die Hoffnung lautet offenbar, dass die Nutzer irgendwann ein Geschäftsmodell finden, das die Unternehmen ausschlachten können – hier wird also unsere kollektive Intelligenz ausgebeutet. Selbst Anwendungen, die heute funktionieren, wären vermutlich nicht tragfähig, wenn die tatsächlichen Kosten der Token-Generierung plus Gewinn verlangt würden. Eine unsichere und unreife Software wird also auf die Menschheit losgelassen in der Hoffnung auf einen Return on Investment.

Sie stören sich auch daran, wenn wir von „der KI“ sprechen.

Ja, wir sollten das nicht mehr tun. Damit ist heute meist ein Sprachmodell, ein Chatbot oder ein Agent gemeint. Der Begriff „Künstliche Intelligenz“ meint aber sowohl eine Forschungsrichtung als auch verschiedene Methoden und ganz unterschiedliche Software. Viele KI-Systeme funktionieren sehr zuverlässig: Gesichtserkennung zum Entsperren eines Telefons, Sprache-zu-Text- oder eng begrenzte Verfahren in der Industrie. Wenn wir all das mit den derzeit überhöhten Versprechen rund um Sprachmodelle in einen Topf werfen, kann das Europa und unserem Wirtschaftsstandort schaden.

Wieso?

Wenn die Blase um die KI-Sprachmodelle platzt, könnte ein neuer KI-Winter folgen. Dann ziehen sich Staat und private Investoren womöglich auch aus den Bereichen zurück, in denen KI sinnvoll und zuverlässig eingesetzt wird.

Zum Schluss wollen wir noch auf ein anderes Thema zu sprechen kommen, das uns besorgt. Was passiert, wenn Bots immer mehr Inhalte erzeugen und weitere Bots diese Inhalte verarbeiten – werden die Menschen dann dereinst bedeutungslos, werden sie ein Rundungsfehler im Internet?

Ich hoffe nicht. Und ich glaube es auch nicht.

Warum?

Die Erzeugung von Inhalten findet nicht im luftleeren Raum statt. Es gibt verschiedene menschliche Akteursgruppen, die daran beteiligt und interessiert sind. Und es gibt weiterhin Menschen, die diese Inhalte anschauen. Mir wird es auf Instagram langsam langweilig, weil ich immer länger scrollen muss, bis ich auf Menschen stoße, bei denen ich darauf vertraue, dass sie echt sind und echte Inhalte produzieren. Aber diese Menschen gibt es noch.

Ja, und?

Es gibt diejenigen, die Inhalte erstellen und davon profitieren, möglichst viele Zuschauer anzuziehen, weil sie dafür Geld bekommen. Und es gibt Werbetreibende, denen es eigentlich nicht gefallen kann, wenn ihre Werbung dort erscheint, wo sie nicht davon ausgehen können, dass sie überhaupt von einem Menschen gesehen wird. Schließlich gibt es Journalisten, die in diesem System ebenfalls Leidtragende sind. Wir müssen das gesamte soziotechnische System betrachten – dafür haben wir an der RPTU den deutschlandweit einzigartigen Studiengang Sozioinformatik. Nur so können wir herausfinden, wo die Hebel liegen und was wir verändern können.

Haben Sie einen Vorschlag?

Als ich vor ungefähr einem Jahr beim Bundespräsidenten war und das Bundesverdienstkreuz bekam, habe ich ihm eine Lösung vorgeschlagen, die ich gern schon heute hätte. Ich wünsche mir eine sehr einfache Infrastruktur, über die ich auf all meinen Social-Media-Konten einen Teil meiner Identität oder Persönlichkeit preisgeben kann, beispielsweise, dass ich in Rheinland-Pfalz wahlberechtigt bin.