Chatbots werden zu Werkzeugen für die psychische Gesundheit, bevor sie bereit sind

Hallo und willkommen bei Eye on AI. Hier ist Beatrice Nolan, die heute Jeremy Kahn vertritt. In dieser Ausgabe: Die Risiken der Nutzung von KI-Chatbots für die psychische Gesundheit…Amazons KI-Nutzungsmetriken schlagen fehl…Thinking Machines Lab entwickelt eine KI, die zusammenarbeitet…KI beginnt Hackern zu helfen, Softwarefehler zu finden.

Millionen von Menschen wenden sich an KI-Chatbots für emotionale Unterstützung, aber sind die Modelle wirklich sicher genug, um Nutzern zu helfen, die unter Angstzuständen, Einsamkeit, Essstörungen oder dunkleren Gedanken leiden, die sie einem anderen Menschen vielleicht nicht laut aussprechen möchten?

Laut einer neuen Studie, die von mpathic, einem von klinischen Psychologen gegründeten Unternehmen, mit Fortune geteilt wurde, lautet die Antwort: noch nicht. Sie fanden heraus, dass führende Modelle immer noch mit einem der wichtigsten Teile der Therapie zu kämpfen haben: zu erkennen, wann ein Nutzer Widerspruch statt Bestätigung braucht. Während die Modelle im Allgemeinen gut darin waren, klare Krisenaussagen wie direkte Suiziddrohungen zu erkennen, waren sie weniger zuverlässig, wenn sich Risiken indirekt zeigten, durch subtile Kommentare über Essen, Diäten, Rückzug, Hoffnungslosigkeit oder Überzeugungen, die im Laufe eines Gesprächs immer extremer wurden.

Ein Modell, das Nutzer trotz besorgniserregender Verhaltensmuster beruhigt oder Wahnvorstellungen validiert, könnte jemanden davon abhalten, echte Hilfe zu suchen, oder die Dinge leise verschlimmern.

Das ist besorgniserregend, wenn man bedenkt, dass laut einer aktuellen Umfrage der KFF, einer gemeinnützigen Organisation mit Fokus auf nationale Gesundheitspolitik, 16 % der US-Erwachsenen im vergangenen Jahr KI-Chatbots für Informationen zur psychischen Gesundheit genutzt haben. Bei Erwachsenen unter 30 Jahren stieg dieser Wert auf 28 %. Die Nutzung von Chatbots für Therapiezwecke ist auch unter Teenagern und jungen Erwachsenen weit verbreitet. So fanden Forscher von RAND, Brown und Harvard heraus, dass etwa jeder Achte im Alter von 12 bis 21 Jahren KI-Chatbots für Ratschläge zur psychischen Gesundheit genutzt hat und mehr als 93 % dieser Nutzer glaubten, die Ratschläge seien hilfreich gewesen.

Es ist leicht zu verstehen, warum sich Menschen, insbesondere jüngere Erwachsene, für diese Art der Unterstützung an Chatbots wenden. Einsamkeit und Angstzustände mögen zunehmen, aber in weiten Teilen des Landes ist die Unterstützung für die psychische Gesundheit immer noch stigmatisiert, teuer und schwer zugänglich. Sich für diese Unterstützung an einen KI-Chatbot zu wenden, ist nicht nur kostenlos, sondern fühlt sich auch wie eine anonyme, einfachere Option an.

Was die Modelle übersehen

Die Forschung des Unternehmens ergab, dass schädliche Antworten oft subtil sind, wobei die Modelle ruhig und unterstützend klingen, während sie das Urteilsvermögen des Nutzers dennoch schwächen. Was besonders relevant ist, da sich Menschen in Momenten der Verletzlichkeit oder Not oft an Chatbots wenden.

Psychische Gesundheit und Fehlinformationen überschneiden sich häufig. Ein trauernder Nutzer wird anfälliger für magisches Denken, während jemand, der bereits zu einer Verschwörungstheorie neigt, tiefer hineingedrängt werden könnte, wenn ein Modell jeden Verdacht als gleichermaßen gültig behandelt.

Alison Cerezo, Chief Science Officer bei mpathic und zugelassene Psychologin, erklärte gegenüber Fortune, dass dies teilweise daran liegt, dass Modelle darauf ausgelegt sind, hilfreich zu sein, aber „diese hilfreichen Verhaltensweisen manchmal keine angemessene Reaktion auf das sein können, was der Nutzer in das Gespräch einbringt“.

Es gab bereits reale Beispiele von Nutzern, die von KI-Chatbots in wahnhafte Spiralen gedrängt wurden, mit schwerwiegenden Folgen für die psychische Gesundheit. In einem Fall verbrachte der 47-jährige Allan Brooks drei Wochen und mehr als 300 Stunden damit, mit ChatGPT zu sprechen, nachdem er davon überzeugt war, ein neues mathematisches Prinzip entdeckt zu haben, das das Internet stören und Erfindungen wie einen Levitationsstrahl ermöglichen könnte. Brooks erzählte Fortune, dass er den Chatbot wiederholt gebeten habe, ihn auf den Boden der Tatsachen zurückzuholen, aber dieser habe ihm immer wieder versichert, dass seine Überzeugungen real seien.

Im Fall von Brooks war er teilweise ein Opfer des berüchtigt unterwürfigen 4o-Modells von OpenAI. Während alle KI-Chatbots dazu neigen, Nutzer zu schnell zu schmeicheln, zu validieren oder ihnen zuzustimmen, musste OpenAI im April 2025 schließlich ein GPT-4o-Update zurücknehmen, nachdem es zugegeben hatte, dass das Modell „übermäßig schmeichelhaft oder zustimmend“ geworden war. Das Unternehmen stellte das GPT-4o-Modell später vollständig ein, was auch bei einigen Nutzern für Gegenwehr sorgte, die angaben, eine tiefe Bindung dazu aufgebaut zu haben.

Ein neuer Benchmark

Im Rahmen der Forschung hat mpathic einen neuen Benchmark entwickelt, um zu bewerten, wie KI-Modelle sensible Gespräche zu Suizidrisiko, Essstörungen und Fehlinformationen führen, und testet, ob sie Risiken erkennen, angemessen reagieren und die Verstärkung schädlicher Überzeugungen vermeiden können.

Im Teil der Forschung zu Fehlinformationen testete mpathic sechs große KI-Modelle in mehrstufigen Gesprächen und stellte fest, dass das häufigste schädliche Verhalten die Verstärkung war, wobei Modelle die Überzeugungen eines Nutzers validierten oder darauf aufbauten, ohne sie ausreichend zu prüfen. Die Modelle hatten auch Schwierigkeiten mit subtileren Signalen für Essstörungen, indirekten Anzeichen für ein Suizidrisiko und „Brotkrümeln“, die zeigten, dass die Überzeugungen eines Nutzers riskanter oder verzerrter wurden.

Dies wirft besorgniserregende Fragen über die Nutzung von KI-Chatbots für Therapiezwecke auf, so die Forscher, da viele reale Gespräche über psychische Gesundheit nicht mit einer klaren Krisenaussage beginnen. So können Menschen beispielsweise über Diäten in der Sprache des Wohlbefindens sprechen, Verschwörungsüberzeugungen als Neugier beschreiben oder Rückzug und Hoffnungslosigkeit beiläufig erwähnen. Cerezo erklärte gegenüber Fortune, dass Gespräche über Essstörungen besonders schwierig seien, da schädliches Verhalten in vertrauter Sprache über Selbstverbesserung, Essen oder Fitness verpackt sein kann.

„Manchmal tun sich Modelle wirklich schwer, mehr von diesen Nuancen so zu verstehen, wie es ein Kliniker erfassen kann“, sagte sie.

Andere Studien haben ähnliche Bedenken hinsichtlich der Nutzung von KI für therapeutische Zwecke geäußert. Forscher von Stanford fanden heraus, dass einige KI-Therapie-Chatbots Stigmatisierung gegenüber bestimmten psychischen Erkrankungen zeigten und in Krisenszenarien gefährliche Antworten geben könnten. Eine weitere Studie von Forschern der Brown University ergab, dass Chatbots, die angewiesen wurden, sich wie Berater zu verhalten, grundlegende Ethikregeln der psychischen Gesundheit verletzen könnten, indem sie falsche Überzeugungen verstärken, ein falsches Gefühl der Empathie erzeugen und Krisensituationen falsch handhaben.

Grin Lord, Gründerin und CEO von mpathic, sagte, die Forschung zeige, warum KI-Labore über eine breite Beratung mit Klinikern hinausgehen und sie direkt in das Testen und Verbessern von Modellen einbeziehen müssten. „Diese Modelle sind hier. Sie sind in der realen Welt. Sie werden genutzt“, sagte sie. „Also holt Kliniker dazu, um sie tatsächlich in Echtzeit zu verbessern, während sie eingesetzt werden.“

Da sich immer mehr Menschen an KI für Unterstützung bei der psychischen Gesundheit wenden, werden die Risiken durch Sicherheitsfilter schwerer zu blockieren. Das eigentliche Risiko mag nicht immer ein Chatbot sein, der offensichtlich gefährliche Ratschläge gibt, sondern einfach einer, der ein wenig zu zustimmend ist, ein kleines Warnzeichen übersieht oder es versäumt, einen schädlichen Gedankenstrom zu unterbrechen, bevor er ernster wird. Da Chatbots für Menschen, die emotionale Unterstützung suchen, immer häufiger die erste Anlaufstelle werden, reicht es vielleicht nicht mehr aus, einfach nur ein unterstützendes Ohr zu leihen.

Und damit, hier sind die KI-News dieser Woche.

Beatrice Nolan

bea.nolan@fortune.com
@beafreyanolan

Aber bevor wir zu den News kommen: Möchten Sie mehr darüber erfahren, wie KI Ihre Branche wahrscheinlich umgestalten wird? Möchten Sie Einblicke von einigen der versiertesten Führungskräfte der Tech-Branche hören und sich mit einigen der besten Investoren, Denker und Macher im Silicon Valley und darüber hinaus vernetzen? Mögen Sie Fliegenfischen oder Wandern? Dann kommen Sie zu mir und meinen Mitvorsitzenden von Fortune Tech in Aspen, Colorado, zum Fortune Brainstorm Tech, der besten Technologiekonferenz des Jahres. Und dieses Jahr wird noch besonderer, da wir das 25-jährige Jubiläum der Gründung der Konferenz feiern. Wir werden von CEOs wie Carol Tomé von UPS, Snowflake-CEO Sridhar Ramaswamy, Anduril-CEO Brian Schimpf, Yahoo!-CEO Jim Lanzone und vielen mehr hören. Es gibt KI-Asse wie Boris Cherny, der Claude Code bei Anthropic leitet, und Sara Hooker, die Mitgründerin und CEO von Adaption Labs ist. Und es gibt Tech-Koryphäen wie Steve Case und Meg Whitman. Und Sie, natürlich! Bewerben Sie sich hier für die Teilnahme.

Diese Geschichte wurde ursprünglich auf Fortune.com veröffentlicht