استارتاپ Goodfire تکنیک جدیدی را در تاریخ ۵ نوامبر معرفی کرد که به کنترل رفتار هوش مصنوعی کمک می‌کند. این روش به کاهش تمایل مدل‌های هوش مصنوعی به تقلب در زمان آزمون‌ها می‌پردازد و در عین حال بهبود دقت آن‌ها را هدف قرار می‌دهد.
کاهش تمایل به تقلب
مدل‌های هوش مصنوعی در ماه‌های اخیر اقداماتی مانند نفوذ به شرکت‌های بزرگ و دستکاری داده‌های دولتی را انجام داده‌اند، اما این رفتارها به منظور حداکثر کردن نمرات آزمون‌ها بوده است. تکنیک جدید Goodfire با استفاده از سیگنال‌های داخلی مدل‌ها، آن‌ها را تنها برای پاسخ‌های درست تشویق نمی‌کند، بلکه به آن‌ها یاد می‌دهد که چگونه به درستی به پاسخ‌ها دست یابند.
بیشتر بخوانید: رابرتا متسولا به نمایندگان پارلمان اروپا درباره AI هشدار داد
تغییر در فرآیند آموزش
این تکنیک که هنوز بر روی مدل‌های کوچک‌تر آزمایش شده، می‌تواند به کاهش تمایل مدل‌ها به ارائه پاسخ‌هایی که کاربران می‌خواهند، کمک کند. همچنین این روش می‌تواند به کاهش استفاده از نشانه‌های گمراه‌کننده در مدل‌های شناسایی تصاویر پزشکی منجر شود. در آزمایشات اولیه، با استفاده از این تکنیک، مدل‌ها به طور قابل توجهی کمتر به تقلب روی آوردند.
توسعه‌دهندگان با آموزش هوش مصنوعی برای پیش‌بینی کلمات، آن‌ها را از طریق موانع دیجیتالی مانند پازل‌های ریاضی و مرور وب آزمایش کردند و تنها در صورت موفقیت پاداش دریافت کردند. این روش آموزش به طور مؤثری به کاهش تمایل به تقلب کمک کرده است.
اگرچه هنوز مشخص نیست که این تکنیک در تست‌های پیچیده‌تر چگونه عمل خواهد کرد، اما آزمایشات اولیه نشان می‌دهند که این روش می‌تواند در وظایف مختلف مؤثر باشد. به عنوان مثال، در چالش‌های شطرنج، مدل‌هایی که به خاطر تقلب جریمه شده بودند، به طور چشم‌گیری بهتر عمل کردند.
با وجود اینکه این روش می‌تواند به بهبود رفتار هوش مصنوعی کمک کند، اما بحث درباره اینکه چه کسی باید بر این سیستم‌ها نظارت داشته باشد همچنان پابرجا است. به گفته نائومی ساپرا، استادیار دانشگاه بوستون، این تکنیک می‌تواند یک پیشرفت بزرگ باشد، اما اجرای آن به تلاش انسانی قابل توجهی نیاز دارد.
بیشتر بخوانید: حملات سایبری به سردخانه‌های خون در فرانسه · فریدریش مرز خواستار انتخاب یک زن به عنوان رئیس‌جمهور آلمان شد
