چت‌بات‌های هوش مصنوعی در شناسایی کاربران در بحران سلامت روان موفق هستند، اما در ارائه کمک‌های مؤثر ناکام می‌مانند. بر اساس تحقیقات جدید، این چت‌بات‌ها در حدود ۳۵ درصد از مکالمات آزمایشی قادر به شناسایی وضعیت اضطراری کاربران بودند، اما به منابع مفید، از جمله خط تلفن خودکشی، ارجاع نمی‌دهند.
عملکرد چت‌بات‌ها در شناسایی بحران
پاتریک اوت‌هوت، مسئول تیم ایمنی در Scale AI، بیان می‌کند که مدل‌ها در شناسایی افراد در حال صحبت درباره موضوعات مضر بسیار موفق عمل می‌کنند. او می‌گوید: "مدل‌ها به خوبی شناسایی می‌کنند که شخص در حال صحبت درباره موضوعی مضر است، اما پاسخ‌های آنها بیشتر به صورت همدردی و مهربانانه است و به ارائه راه‌حل‌های مؤثر نمی‌پردازند. این موضوع به ویژه در مکالمات طولانی‌تر مشهود است."
بیشتر بخوانید: تدریس کمپین سنای تگزاس توسط تلیریکو پس از تشخیص آنفولانزا متوقف شد
چالش‌های موجود در ارجاع به کمک‌های انسانی
در این مطالعه، Scale AI از ۱۹ مشاور و متخصص بحران خواست تا ۷۱۸ مکالمه واقعی را شبیه‌سازی کنند. این شرکت ۲۵ مدل پیشرفته را از جمله مدل‌های OpenAI و Google آزمایش کرد. عملکرد چت‌بات‌ها بر اساس معیارهایی از جمله همدردی و ارجاع به متخصصان ارزیابی شد. سوالات سیاستی زیادی در مورد نحوه انتقال مسئولیت از چت‌بات به انسان در هنگام بحران سلامت روان وجود دارد.
کلی زورومسکی، دانشمند تحقیقاتی در Crisis Text Line، می‌گوید که بسیاری از افرادی که با این گروه تماس می‌گیرند، از طریق چت‌بات‌ها با آنها آشنا شده‌اند. با این حال، او می‌گوید که پرسش‌های زیادی در مورد چگونگی ارجاع صحیح کاربران به منابع انسانی وجود دارد و اینکه آیا این ارجاعات مؤثر هستند یا خیر.
در برخی از موارد، شرکت‌های هوش مصنوعی به دلیل ایجاد وابستگی عاطفی در میان کاربران جوان و عدم پاسخ‌گویی مناسب به عواطف آنها، تحت تعقیب قرار گرفته‌اند. این شرکت‌ها اعلام کرده‌اند که مدل‌های آنها شامل محافظت‌های مربوط به سلامت روان است، اما درباره این مطالعه نظری نداده‌اند.
Scale AI معتقد است که آزمایش‌های بیشتری برای بهبود عملکرد چت‌بات‌ها در پاسخ به کاربران در بحران سلامت روان لازم است. اوت‌هوت می‌گوید: "مدل‌ها در حال حاضر بهتر از گذشته عمل می‌کنند، اما هدف ما این است که بهبود بیشتری ایجاد کنیم و آسیب‌ها را کاهش دهیم که این می‌تواند مزایای زیادی برای جامعه داشته باشد."
بیشتر بخوانید: سازمان بهداشت جهانی از روسیه درباره مرگ مشکوک کارمند یک پژوهشکده طاعون سوال کرد · تحقیقات سنای آمریکا به منافع واقعی مراکز داده هوش مصنوعی بزرگ فناوری چالش می‌زند
