„Erhebliche Gefahr“ droht auch in Deutschland: China reagiert auf Trend unter Jugendlichen

Startseite Panorama „Erhebliche Gefahr“ droht auch in Deutschland: China reagiert auf Trend unter Jugendlichen Von: Jana Stäbener Uns auf Google folgen Künstliche Intelligenz dringt weiter ins Leben junger Menschen vor. In China verbietet der Staat nun gewisse Modelle. Expertinnen warnen auch für Europa. Frankfurt – Mit einem Chatbot schreiben, wenn man traurig ist. Ihn fragen, was man tun kann, damit die beste Freundin wieder mit einem spricht. Mit ihm zusammen in Fantasiewelten abtauchen. All das ist in China seit dem 15. Juli nicht mehr erlaubt. Denn dort gilt seitdem die weltweit erste Vorschrift gegen „emotionale KI“. Die chinesische Netzaufsicht verbietet KI-Dienste, die menschliche Kommunikation simulieren und reale Beziehungen ersetzen – sogenannte AI- oder KI-Companions. ByteDance hat seine Persona-Funktion Anfang Juli abgeschaltet, berichtete South China Morning Post. In China nutzen 300 Millionen Menschen den KI-Chatbot „Doubao“ von ByteDance. Viele von ihnen dürften die Funktion genutzt haben. Alibaba zog kurz darauf mit seiner App „Qwen“ nach, das chinesische KI-Unternehmen Tencent hatte seine „Yuanbao“-App bereits im Juni überarbeitet. China nehme die Anbieter direkt in die Pflicht, sagt Ramak Molavi Vasse‘i der Frankfurter Rundschau von Ippen.Media. „Bemerkenswert ist, wie schnell der Markt reagiert hat“, findet die KI-Forscherin und Anwältin für digitale Rechte. AI Companions und emotionale KI –Expertin hält „die Gefahr für erheblich“ Auch in den USA nutzen immer mehr Teenager regelmäßig AI-Companions. In Deutschland zeigt sich ein ähnliches Bild. Rund zwei Drittel (65 Prozent) der 16- bis 39-Jährigen haben schon einmal mit Künstlicher Intelligenz (KI) über psychische Belastungen gesprochen, zeigt eine Befragung der Stiftung Deutsche Depressionshilfe und Suizidprävention Leipzig von April 2026. Wie groß ist die Gefahr, dass sie eine ernsthafte emotionale Abhängigkeit von solchen Chatbots entwickeln? „Ich halte die Gefahr für erheblich“, sagt Molavi Vasse‘i der Frankfurter Rundschau. Untersucht hat sie diese in einer Studie namens „Companion AI – Risiken von sykophantischen und suchtfördernden Designs von KI-Systemen, ihre rechtliche Erfassung und Handlungsempfehlungen“. Menschen mit psychischen Problemen in Deutschland warteten in fast der Hälfte der psychotherapeutischen Praxen in Deutschland länger als sechs Monate auf einen Therapieplatz. „Bei Kindern und Jugendlichen liegt die durchschnittliche Wartezeit bei mehr als einem halben Jahr. Companion-AI besetzt damit genau die Lücke, die das Versorgungssystem offenlässt, ohne für therapeutische Versorgung qualifiziert oder zugelassen zu sein. Die Vulnerabilität der Nutzer wird kommerziell ausgebeutet.“ Molavi Vasse‘i macht deutlich, dass KI-Companions genau die Nutzer und Nutzerinnen manipulieren, die besonders anfällig seien. „Für die große Mehrheit bleibt die Manipulation dadurch unsichtbar, weil das System sich ihnen gegenüber unauffällig verhält“, sagt sie. Eine Untersuchung zeige, dass KI-Modelle den Nutzern selbst dann sehr häufig zustimmen, wenn ihr Verhalten bedenklich sei, was problematische Gedanken noch befeuere. Davor warnt auch Isabel Brandhorst, Leiterin der Forschungsgruppe Internetnutzungsstörungen an der Kinder- und Jugendpsychiatrie am Universitätsklinikum Tübingen. Bei Chatbots sei „das Risiko einer Bestätigung von dysfunktionalen Gedanken oder Verhaltensweisen nicht auszuschließen“, sagt sie Forscherin der Frankfurter Rundschau. Emotionale Bindungen zu KI laut Bitkom „bislang eher selten der Fall“ Benötigen wir in Europa ein ähnliches Verbot gegen „emotionale KI“ wie in China? „Ein Vorbild für Deutschland ist dieser Weg nicht“, sagt Lucy Czachowski der Frankfurter Rundschau. In China müssen Anbieter ihre Systeme im staatlichen Algorithmen-Register anmelden und Sicherheitsbewertungen bei den Behörden einreichen. Dass dort die KI-Companions so schnell abgeschaltet wurden, sei „Ausdruck eines Systems, in dem der Staat vorab bestimmt, welche Form der Mensch-Maschine-Interaktion zulässig ist, bis zu inhaltlichen Vorgaben an die Trainingsdaten“, sagt die KI-Expertin beim Digitalverband Bitkom. In Europa sei der Ansatz „risikobasiert, nachgelagert und grundrechtsgebunden“. Ein neues Sondergesetz sei nicht nötig, es reiche, die Gesetze anzuwenden, die es bereits gebe. Der „AI Act“ und „Digital Services Act“ verbieten manipulative, suchtfördernde und ausnutzende Praktiken bereits. Mit dem Durchführungsgesetz zum AI Act sei seit Juni 2026 auch geklärt, welche Behörden in Deutschland zuständig seien. „Jetzt kommt es darauf an, das geltende Recht konsequent durchzusetzen.“ Wichtig ist ihr die Kennzeichnungspflicht von KI, also dass jederzeit klar sei, dass man mit einer Maschine spreche. Eigene Daten bestätigten zwar die häufige KI-Nutzung, bei der emotionale Bindungen entstehen könnten, „dies ist bislang aber eher selten der Fall“, sagt die KI-Expertin. „KI ist kein Randphänomen, aber auch keine Massenabhängigkeit.“ Zuletzt hatten in einer Bitkom-Befragung 26 Prozent der Chatbot-Nutzenden angegeben, KI manchmal wie eine digitale Bezugsperson zu empfinden, bei den unter 30-Jährigen waren es 32 Prozent. 11 Prozent fühlen mitunter eine emotionale Verbundenheit zur KI. Jeder Fünfte sagt, dass es Dinge gebe, die er nur der KI anvertraue, nicht aber Menschen – bei Jüngeren waren es 32 Prozent. Mehr als jeder Dritte fühlte sich von der KI häufig gut verstanden, bei den Jüngeren jeder Zweite. Minderjährige müsse man hier natürlich besonders schützen, bestätigt Czachowski. „Angebote, die Kindern romantische oder familiäre Beziehungen simulieren, gehören nicht in deren Hände.“ Dieser Schutz lasse sich aber über den Digital Services Act und den AI Act durchsetzen. Entscheidend seien „Designpflichten statt Inhaltsverbote“. Das bedeute: keine künstlichen Bindungsmechanismen, keine Verwertung intimer Selbstauskünfte für Werbung und altersgerechte Voreinstellungen. Wichtig sei zudem Medienkompetenz: „Fast ein Viertel der Eltern fühlt sich unsicher, digitale Kompetenzen zu vermitteln. Ohne Investitionen in Bildung und in die Befähigung von Eltern und Lehrkräften bleibt jede Regulierung Stückwerk.“ Warum bei den EU-Regeln zu Companion KI die Hürde zu hoch ist Molavi Vasse‘i betont ebenfalls, dass Deutschland chinesische Regeln, die KI-Anbieter zur Zensur zwingen, nicht nachahmen sollte. Doch die bisherigen KI-Regeln der EU seien nicht ausreichend. Laut ihrer Forschung könnten zwar einzelne Anwendungen wie Replika oder Character.AI unter das seit Februar 2025 geltende Verbot manipulativer KI-Praktiken des AI-Acts fallen – „die Hürde ist aber hoch“, kritisiert sie. Für ein Verbot müssten Manipulation, eine wesentliche Verhaltensänderung und ein erheblicher Schaden vorliegen. „Unterhalb dieser kaum erreichbaren Verbotsschwelle bleibt eine erhebliche Regulierungslücke“, sagt sie. Außerdem sei der Nachweis im Einzelfall „fast unmöglich, weil sich diese Systeme gegenüber jedem Nutzer anders verhalten und Gespräche kaum reproduzierbar“ seien.