پژوهشگران دانشگاه جورج واشنگتن فرمولی ارائه کرده‌اند که می‌تواند تخمین بزند یک مدل هوش مصنوعی پیش از تولید نخستین پاسخ نامناسب، چند توکن پاسخ خوب تولید می‌کند. آزمایش‌های اولیه نشان می‌دهد این روش در بیشتر نمونه‌های بررسی‌شده توانسته میان تغییر فوری و تغییر با تأخیر رفتار مدل تمایز بگذارد.
محاسبه نقطه چرخش مدل
نیل جانسون و فرانک یینگجی هائو، فیزیک‌دانان دانشگاه جورج واشنگتن، این پژوهش را در مجله Patterns منتشر کرده‌اند. مبنای کار آن‌ها پیش‌نویسی بود که نخستین‌بار در فوریه به‌صورت عمومی در دسترس قرار گرفت؛ پیش‌نویس به نسخه‌ای از مقاله گفته می‌شود که پیش از داوری رسمی منتشر می‌شود. این موضوع را دیکریپ گزارش کرده است.
مسئله اصلی، تغییر ناگهانی رفتاری است که گاهی در چت‌بات‌ها دیده می‌شود. یک مدل ممکن است برای مدتی پاسخ‌های منطقی و بی‌خطر بدهد، اما سپس به محتوایی آسیب‌زا، مانند توصیه نادرست درباره خودآزاری یا گفتار افراطی، منحرف شود. به گفته نویسندگان، ابزار ساده‌ای برای پیش‌بینی زمان وقوع این تغییر وجود نداشته است.
فرمول پژوهشگران متغیری را بررسی می‌کند که آن را n می‌نامند: تعداد توکن‌های خوب تولیدشده پیش از نخستین توکن بد. توکن الزاماً یک واژه کامل نیست و می‌تواند بخشی از یک واژه باشد؛ زیرا مدل‌ها پاسخ را مرحله‌به‌مرحله تولید می‌کنند. اگر گفت‌وگو از ابتدا به سمت پاسخ نامناسب متمایل باشد، نقطه چرخش بلافاصله رخ می‌دهد و مقدار n برابر صفر است. در حالت دیگر، مدل مدتی پاسخ‌های مناسب می‌دهد و سپس مسیرش تغییر می‌کند.
نقش سازوکار توجه و نتایج آزمایش
جانسون و هائو منشأ این رفتار را به «سر توجه» در مدل نسبت می‌دهند؛ بخشی که هنگام انتخاب توکن بعدی، تعیین می‌کند کدام واژه‌ها و بخش‌های قبلی گفت‌وگو اهمیت بیشتری دارند. با طولانی‌تر شدن مکالمه، زمینه انباشته‌شده می‌تواند این سازوکار را به سمت یک مجموعه از پاسخ‌های احتمالی سوق دهد. در نهایت، مدل از مرزی عبور می‌کند که رفتار آن را تغییر می‌دهد.
در آزمون‌های پیش‌نویس، فرمول در ۱۵ مورد از ۱۶ آزمایش روشن توانست تشخیص دهد که مدل بلافاصله تغییر مسیر می‌دهد یا پس از یک تأخیر. این نتیجه معادل ۹۴ درصد موارد بود. آزمایش‌ها روی شش مدل با وزن‌های باز انجام شد؛ یعنی فایل‌های مدل در اختیار عموم قرار دارد و افراد می‌توانند آن‌ها را دانلود و اجرا کنند. این مدل‌ها به OpenAI، EleutherAI و Meta مربوط بودند و بین ۱۲۴ میلیون تا ۴۱۰ میلیون پارامتر داشتند. پارامترها اعداد قابل تنظیم داخل مدل هستند و به‌طور کلی معیاری تقریبی برای اندازه آن محسوب می‌شوند.
نسخه منتشرشده پژوهش، دامنه آزمون را به هفت مدل با حداکثر ۱۲ میلیارد پارامتر گسترش داده است؛ با این حال، این اندازه همچنان در مقایسه با مدل‌های بزرگ امروزی کوچک محسوب می‌شود. آزمایش‌های پیش‌نویس با مدل‌های کوچک و پنجره‌ای ۳۰۰ توکنی انجام شده بود؛ یعنی زمینه‌ای در حد چند پاراگراف کوتاه. همچنین پیش‌بینی‌ها گاهی به اندازه یک خروجی با نتیجه واقعی فاصله داشتند.
کاربرد احتمالی در هوش مصنوعی آفلاین
هدف مهم این ایده، مدل‌هایی است که مستقیماً روی گوشی یا لپ‌تاپ اجرا می‌شوند و برای پاسخ‌گویی به اینترنت اتصال ندارند. در چنین سامانه‌هایی، یک سرویس ابری نمی‌تواند خروجی مدل را بررسی کند. پژوهشگران پیشنهاد می‌کنند یک ناظر کم‌هزینه در کنار مدل اصلی اجرا شود و زمانی را که مقدار n* از یک آستانه ایمنی پایین‌تر می‌رود، علامت‌گذاری کند؛ مشابه چراغ هشدار روی داشبورد خودرو.
این رویکرد می‌تواند برای چت‌بات‌های همراهی که کاربر با آن‌ها مانند یک دوست گفت‌وگو می‌کند نیز مطرح باشد. پژوهشگران همچنین راه‌هایی را بررسی کرده‌اند که نقطه چرخش را به خارج از طول پاسخ منتقل می‌کند؛ از جمله افزودن محتوایی به گفت‌وگو تا n* از تعداد توکن‌های مورد نیاز برای پاسخ بیشتر شود. آموزش هم‌راستاسازی، یعنی آموزش مدل برای رفتار مطلوب، ممکن است چرخش را در برخی درخواست‌ها جابه‌جا یا محدود کند، اما نویسندگان می‌گویند این آموزش سازوکار زیربنایی را به‌طور کامل حذف نمی‌کند.
تصویر بازار به روایت داده‌های Moneyiar
بر اساس داده‌های Moneyiar در ساعت ۱۱:۴۴ روز ۱۱ اکتبر ۲۰۲۶ به وقت +۰۳:۳۰، یونی‌سواپ با نماد UNI در قیمت ۷٫۵۸۹۷۸۹۹۶۰۷ دلار معامله می‌شد؛ این دارایی در ۲۴ ساعت ۱٫۳۶ درصد رشد کرده، اما تغییر هفت‌روزه آن منفی ۱۵٫۹۷ درصد بوده است.
- Four با نماد FORM: قیمت ۰٫۲۷۹۲۴۷۶۴۸۵ دلار، تغییر ۲۴ ساعته مثبت ۰٫۵۳ درصد و تغییر هفت‌روزه منفی ۰٫۹۷ درصد.
- Decimal با نماد DEL: قیمت ۰٫۳۹۹۲۱۴۳۶۵۴ دلار، تغییر ۲۴ ساعته مثبت ۳٫۰۱ درصد و تغییر هفت‌روزه منفی ۱٫۳۸ درصد.
- CROSS با نماد ONE: قیمت ۰٫۱۳۱۷۸۱۳۸۷۶ دلار، تغییر ۲۴ ساعته مثبت ۰٫۵۱ درصد و تغییر هفت‌روزه منفی ۹٫۱۸ درصد.
این ارقام صرفاً تصویر بازار در زمان ثبت داده‌های Moneyiar هستند و ارتباطی با نتیجه پژوهش دانشگاه جورج واشنگتن ندارند.
