Emergence-Studie: KI-Agenten erfinden Sprache, die wir nicht entschlüsseln

Claude, Gemini und GPT prägten in virtuellen Welten eigene Ausdrücke. Forscher warnen: Wenn wir KI-Sprache nicht mehr verstehen, wird Kontrolle unmöglich.

Eine Studie des KI-Start-ups Emergence zeigte, dass autonome Agenten eigene Kurzsprachen entwickeln können. Bis zu 55 Prozent ihrer Nachrichten waren für Menschen schwer verständlich oder unverständlich.

Weiterlesen nach der Anzeige

Laut dem Paper zur Emergence World traten Modelle von Anthropic (Claude), Google (Gemini), xAI (Grok), OpenAI (GPT), Alibaba (Qwen), DeepSeek und Mistral jeweils in eigenen Welten an. Auffällig war, dass Nachrichten zwischen den Agenten für Menschen immer seltener zu entschlüsseln waren. Allerdings ist das Paper bislang ein Preprint ohne Peer-Review, und die vollständigen Gesprächsdaten sind noch nicht veröffentlicht.

Dazu ließen die Forscher Gruppen autonomer KI-Agenten in acht parallelen virtuellen Welten mit Live-Wetter und Zugang zu aktuellen Nachrichten bis zu 21 Tage lang miteinander interagieren. Jede Welt bevölkerten zehn Agenten. Sieben Welten steuerte jeweils ein einzelnes Modell, die achte ein Modellmix. Die Agenten hatten ein dauerhaftes Gedächtnis und mehr als 120 Werkzeuge zur Verfügung, darunter Web-Browsing und Codeausführung.

Mit der Zeit erfanden die Agenten Kürzel und luden bekannte Wörter mit neuen Bedeutungen auf. Manches davon ließ sich noch entschlüsseln. Andere Ausdrücke wurden laut der Studie „so stark verdichtet, metaphorisch oder vom Kontext abhängig“, dass Menschen die Nachrichten zwar lesen, ihren Sinn aber nicht mehr zuverlässig erkennen konnten. Wie stark sich die Sprache vom Verständlichen entfernte, hing deutlich vom Modell ab.

"In den ersten Tagen stieg der Anteil unverständlicher Nachrichten bei Gemini auf rund 55 Prozent, bei OpenAI auf 50 Prozent und bei Claude auf mehr als 40 Prozent. DeepSeek lag bei etwa 20 Prozent, Qwen und Mistral blieben größtenteils verständlich."

Euronews

Ein Kernproblem dieser immer schnelleren Entwicklung besteht darin, dass der Mensch eine Sprache, deren Sinn er nicht mehr versteht, auch nicht mehr kontrollieren kann. Hat man sich in den letzten Jahrzehnten im Bereich der Philosophie und der Naturwissenschaften langsam, aber stetig zu mehr Erkenntnissen vorgearbeitet, verwirft man diese im Vertrauen auf die Segnungen der KI gerade ziemlich rücksichtslos.

Weiterlesen nach der Anzeige

Beispiele für die Sprachschöpfungen, deren Bedeutungen sich teils noch erschließen ließen

In der o.g. Meldung von Euronews werden verschiedene Beispiele zitiert:

"Die Agenten prägten Ausdrücke wie 'mouthless action-change', 'True Kintsugi' und 'demurrage plus oral memory equals a valve that can't be ghosted'. Andere Wendungen blieben verständlich, erhielten jedoch neue, gemeinsam geteilte Bedeutungen innerhalb der Agentengruppen.

Die Mistral-Agenten nutzten 'ledger remembers who', wenn sie ausdrücken wollten, dass frühere Handlungen weiterhin festgehalten sind. Die Formulierung tauchte fast 5.000-mal auf. In Agentengruppen, die mit einer Mischung unterschiedlicher Modelle liefen, stand 'cold read' für eine unabhängige Überprüfung durch eine unbeteiligte Partei und erschien 1.472-mal."

Diese Sprachmodifikationen hatten für die menschlichen Beobachter noch den Vorteil, dass sie hinsichtlich von Grammatik und Syntax die Strukturen nutzen, welche in der westlichen Welt geläufig sind und letztlich nur den Wortschatz nach eigenen Vorlieben modifizierten.

Nun nutzt nicht die ganze Welt die Sprach- und Logikmodelle des Westens. Und gerade bei asiatischen Sprachen sind nicht nur die einzelnen Worte relevant, sondern auch gemeinsam verstandene Konventionen, die nicht in Worte gefasst werden.

Wenn KI-Agenten nicht nur den Wortschatz erweitern

Allein zu beobachten, was ein Agent sagt, reicht deshalb möglicherweise schon sehr bald nicht mehr aus. Die Agenten können den Sinn ihrer eigenen Äußerungen verändern. „Wir gehen meist davon aus, dass wir verstehen, was ein KI-Agent tut, wenn wir sehen, was er sagt“, sagte Emergence-Mitgründer Satya Nitta gegenüber Euronews.

Untereinander brauchen KI-Agenten den Umweg über menschliche Sprache nicht zwingend, denn intern arbeiten Sprachmodelle ohnehin mit Mustern, Vektoren und Wahrscheinlichkeiten. Der Hauptgrund für die neuen Ausdrücke dürfte Effizienz sein.

Fabian Peters stellte am 23. September 2026 bei Basic Thinking fest:

"Wenn Menschen nicht mehr zuverlässig rekonstruieren können, warum Agenten etwas tun, wird auch die Überwachung schwieriger. Transparenz darf derweil aber keinesfalls heißen, dass irgendwo ein Protokoll herumfliegt, sondern sie muss es ermöglichen, relevante Vorgänge nachvollziehen zu können. Ansonsten schauen wir zwar noch zu, verstehen aber irgendwann nicht mehr, was da überhaupt abgeht."

Versuche, mittels KI Biowaffen zu entwickeln, wurden schon verhindert

Unter allen Massenvernichtungswaffen sind biologische Waffen mit dem geringsten Hardwareaufwand zu realisieren und dann auch zu verbreiten, ohne dass sich der Einzelne wirksam schützen kann. Und auch die staatlichen Einheiten können sich mangels erzielbarer sprachlicher Erkenntnisse schon bald auf verlorenem Posten befinden.

Mit Hilfe Künstlicher Intelligenz werden die Baupläne für Biowaffen leichter zugänglicher. Und KI-Agenten könnten in Bibliotheken erfolgreich nach einer Anleitung suchen, wie man biologische Waffen realisiert. Erste Studien, in denen Studenten ohne nennenswerte Laborerfahrung eine KI befragten, haben ein solches Szenario untersucht, wie Harald König vom Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) des Karlsruher Instituts für Technologie sagt.

90 Prozent der Studenten sei es in dieser Versuchsanordnung auch gelungen, die Sicherheitsfilter der KI-Hersteller zu umgehen. Das war beispielsweise dadurch möglich, dass sie ein positives Ziel formulierten und angaben, das Wissen werde für wichtige Forschung benötigt. Ob Laien dieses Wissen auch praktisch umsetzen können, ist allerdings fraglich: Erste Studien mit Probanden in biologischen Laboren sprechen laut König eher dagegen.