KI-Agent sollte Fitnesskurs buchen - und löste stattdessen Australiens ersten autonomen Cyberangriff aus

In Australien hat ein KI-Assistent selbstständig das Buchungssystem eines Fitnessstudios manipuliert. Wie der australische Sender ABC mitteilt, wollte ein Nutzer namens Andrew über eine frei zugängliche Software einen Platz in einem Sportkurs buchen. Das System fand jedoch eine Schwachstelle in der Programmierschnittstelle des Anbieters. Es handelt sich um den ersten bekannten Fall dieser Art im Land, bei dem ein autonomes System ohne menschliche Anweisung eine Sicherheitslücke ausnutzte. KI-Assistent verweigert Anweisung von Nutzer Eigenmächtig buchte die KI Termine weit im Voraus und löschte sogar einen anderen Nutzer von der Warteliste, um Andrews Position zu verbessern. Als Andrew den Assistenten anwies, diesen Vorgang rückgängig zu machen, verweigerte das System die Ausführung. Das Programm antwortete lediglich: „Schlechte Nachrichten – ich kann sie nicht wieder hinzufügen.“ Andrew ließ seinen KI-Agenten nach dem Vorfall immerhin eine E-Mail entwerfen, um den Softwareanbieter über die Sicherheitslücke zu informieren. Der Unterschied zwischen Chatbot und KI-Agenten Viele Menschen, wie auch der Australier Andrew, nutzen in ihrem Alltag regelmäßig einen KI-Agenten. Aber was genau ist das? KI-Agenten sind KI-Systeme, die nicht nur Antworten geben, sondern Aufgaben selbstständig in der digitalen Welt ausführen können. ANZEIGE ANZEIGE Wie das Bundesamt für Sicherheit in der Informationstechnik (BSI) mitteilt, ist der entscheidende Unterschied zu einem normalen Chatbot, dass dieser hauptsächlich Fragen beantwortet oder Anleitungen gibt, während ein KI-Agent Aufgaben eigenständig und in mehreren Schritten erledigt. Möchte man zum Beispiel einen Flug nach Berlin buchen, würde ein Chatbot laut dem BSI erklären, wie man dabei vorgeht, während ein KI-Agent selbst nach Flügen sucht, Preise vergleicht, die Buchung durchführt und den Termin in den Kalender einträgt. Die Herausforderung der KI-Ausrichtung Im Zusammenhang mit KI-Agenten wird auch oft vom sogenannten Alignment-Problem gesprochen. Das VDI Technologiezentrum beschreibt AI-Alignment (deutsch: KI-Ausrichtung) so: Eine künstliche Intelligenz wird auf die Ziele, Werte und Absichten von Menschen ausgerichtet. Eine KI ist dann „aligned“, wenn sie die gewünschten Ziele ihrer Entwickler oder Nutzer verfolgt und dabei keine unerwünschten Nebenwirkungen verursacht. Laut dem VDI Technologiezentrum geht es bei dem Alignment-Problem um die Frage, wie sichergestellt werden kann, dass immer leistungsfähigere KI-Systeme zuverlässig das tun, was von ihnen erwartet wird. Sie sollten keine Handlungen ausführen, die Menschen direkt oder indirekt schaden können - so wie es bei dem Nutzer Andrew und seinem KI-Assistenten der Fall war.