KI-Chatbots sind erfolgreich darin, Benutzer in psychischen Gesundheitskrisen zu identifizieren, versagen jedoch bei der Bereitstellung wirksamer Hilfe. Laut neuer Forschung waren diese Chatbots in etwa 35 Prozent der Testgespräche in der Lage, den Notfallstatus der Benutzer zu erkennen, verweisen jedoch nicht auf nützliche Ressourcen, einschließlich der Suizid-Hotline.
Leistung der Chatbots bei der Identifizierung von Krisen
Patrick Outhout, Leiter des Sicherheitsteams bei Scale AI, erklärt, dass die Modelle sehr erfolgreich darin sind, Personen zu identifizieren, die über schädliche Themen sprechen. Er sagt: "Die Modelle erkennen gut, dass die Person über ein schädliches Thema spricht, aber ihre Antworten sind eher empathisch und freundlich und befassen sich nicht mit der Bereitstellung wirksamer Lösungen. Dies ist besonders in längeren Gesprächen offensichtlich."
Mehr lesen: Unterricht der texanischen Senatskampagne durch Talarico nach Influenza-Diagnose eingestellt
Herausforderungen bei der Verweisung auf menschliche Hilfe
In dieser Studie bat Scale AI 19 Berater und Krisenspezialisten, 718 echte Gespräche zu simulieren. Das Unternehmen testete 25 fortschrittliche Modelle, darunter Modelle von OpenAI und Google. Die Leistung der Chatbots wurde anhand von Kriterien wie Empathie und Verweisung an Fachleute bewertet. Es gibt viele politische Fragen zur Übertragung der Verantwortung von Chatbots auf Menschen in psychischen Gesundheitskrisen.
Kelly Zorumsky, Forschungswissenschaftlerin bei Crisis Text Line, sagt, dass viele der Personen, die diese Gruppe kontaktieren, über Chatbots mit ihnen in Kontakt gekommen sind. Sie sagt jedoch, dass es viele Fragen darüber gibt, wie Benutzer korrekt an menschliche Ressourcen verwiesen werden können und ob diese Verweisungen wirksam sind oder nicht.
In einigen Fällen wurden KI-Unternehmen aufgrund der Schaffung emotionaler Abhängigkeiten bei jungen Benutzern und der unzureichenden Reaktion auf deren Emotionen verfolgt. Diese Unternehmen haben erklärt, dass ihre Modelle Schutzmaßnahmen für psychische Gesundheit enthalten, aber zu dieser Studie keine Stellung genommen.
Scale AI ist der Meinung, dass weitere Tests erforderlich sind, um die Leistung von Chatbots bei der Reaktion auf Benutzer in psychischen Gesundheitskrisen zu verbessern. Outhout sagt: "Die Modelle funktionieren derzeit besser als je zuvor, aber unser Ziel ist es, weitere Verbesserungen zu erzielen und Schäden zu reduzieren, was der Gesellschaft viele Vorteile bringen könnte."
Mehr lesen: Die Weltgesundheitsorganisation hat Russland zu dem verdächtigen Tod eines Mitarbeiters eines Pestforschungsinstituts befragt · Die Ermittlungen des US-Senats stellen die tatsächlichen Interessen großer KI-Datenzentren in Frage
