Klage gegen OpenAI: ChatGPT Health löst lebensbedrohliche Situation aus
Ein Pastor hat OpenAI verklagt, weil medizinische Ratschläge von ChatGPT nach seiner Darstellung zu einer lebensbedrohlichen Situation geführt haben. Der Fall gilt als eine der ersten Rechtsstreitigkeiten, in denen behauptet wird, dass die medizinischen Empfehlungen eines Chatbots einem Nutzer unmittelbar geschadet haben. Nicht erkannte Beschwerden führten zu einer Lungenembolie Laut einem Bericht der New York Times (Paywall) wirft Scott Winters dem Unternehmen sowie dessen CEO Sam Altman in einer am Mittwoch vor dem Superior Court of California in San Francisco eingereichten Klage Fahrlässigkeit sowie die unerlaubte Ausübung der Medizin vor. Unterstützt wird er dabei von der gemeinnützigen Organisation Tech Justice Law. Winters hatte sich laut Klage mit gesundheitlichen Symptomen an ChatGPT gewandt, die auf eine schwerwiegende Erkrankung hingedeutet haben sollen, vom Chatbot jedoch wiederholt verharmlost worden seien. Dadurch habe er davon abgesehen, rechtzeitig ärztliche Hilfe in Anspruch zu nehmen. Infolge der verzögerten Behandlung hätten sich die Beschwerden zu einer lebensbedrohlichen Lungenembolie entwickelt. Das System soll Winters wiederholt versichert haben, dass seine Beschwerden „nichts Gefährliches“ seien. Darüber hinaus habe der Chatbot ihn dazu ermutigt, nicht auf Freunde und Familienmitglieder zu hören, die ihm dringend zu einem Arztbesuch geraten hatten. Stattdessen habe ChatGPT unter anderem erklärt, er solle darauf vertrauen, dass „Gott deinen Körper nicht dazu geschaffen hat, unaufhörlich zu versagen“. Sicherheit von ChatGPT Health soll laut Kläger überprüft werden Winters argumentiert, dass die vorgesehenen Sicherheitsmechanismen von ChatGPT in diesem Fall versagt hätten. Diese sollen Nutzer bei gesundheitlichen Warnsignalen eigentlich dazu auffordern, professionelle medizinische Hilfe in Anspruch zu nehmen, und Gespräche bei offensichtlichen medizinischen Notfällen entsprechend zu lenken oder zu beenden. Stattdessen soll ChatGPT im Gespräch Diagnosen sowie Behandlungsvorschläge gemacht und dadurch den Eindruck vermittelt haben, eine medizinische Beratung zu bieten. Neben Schadensersatz fordert Winters, dass ChatGPT Health vorläufig nicht weiter betrieben werden darf, bis unabhängige Prüfer dessen Sicherheit bestätigt haben. Darüber hinaus verlangt die Klage strengere technische Schutzmaßnahmen, die verhindern sollen, dass ChatGPT Diagnosen stellt oder konkrete medizinische Behandlungsempfehlungen ausspricht. Chatbots laut OpenAI nicht für medizinische Diagnosen ausgelegt OpenAI weist die Vorwürfe erwartungsgemäß zurück. Unternehmenssprecher Drew Pusateri erklärte, dass entsprechende Fälle in den Nutzungsbedingungen von ChatGPT eindeutig geregelt seien. Dort werde klar darauf hingewiesen, dass der Dienst nicht für medizinische Diagnosen oder Behandlungen vorgesehen sei. Gleichzeitig nehme OpenAI allerdings die Notwendigkeit ernst, Antworten auf Gesundheitsfragen so sicher wie möglich zu gestalten, da viele Menschen den Chatbot genau zu diesem Zweck nutzen. Dennoch greife es seiner Ansicht nach zu kurz, Chatbots allein für medizinische Entscheidungen oder deren Folgen verantwortlich zu machen. Zugleich verweist er darauf, dass neuere KI-Modelle mittlerweile deutlich besser darin seien, fehlende Informationen nachzufragen, Unsicherheiten offen zu kommunizieren und Situationen zu erkennen, in denen professionelle medizinische Hilfe erforderlich sei. KI-Anbieter geraten zunehmend unter Druck Der Fall gewinnt auch vor dem Hintergrund an Bedeutung, dass OpenAI, Microsoft und andere KI-Unternehmen ihre Gesundheitsangebote zuletzt deutlich ausgebaut haben. Neue Dienste wie ChatGPT Health sollen es Nutzern ermöglichen, medizinische Unterlagen hochzuladen und Gesundheitsfragen mithilfe künstlicher Intelligenz beantworten zu lassen. Die Kläger sehen darin ein zusätzliches Risiko, solange die Systeme nach ihrer Auffassung nicht über ausreichende Sicherheitsvorkehrungen verfügen.