فکر کردن طویل‌زمان انگارً مدل‌های هوش مصنوعی را احمق‌تر می‌کند_باماها

محققان شرکت هوش مصنوعی آنتروپیک در بازدید‌های خود دریافته‌اند که هر چه مقدار یک مدل هوش مصنوعی طویل‌تر فکر کند، این گمان که توانایی مدل در جواب به سؤالات افت یابد نیز بالاتر می‌رود.

به نقل از ونچربیت، مدل‌های هوش مصنوعی که زمان بیشتری را صرف فکر کردن روی مسائل می‌کنند، همیشه کارکرد بهتری ندارند و در برخی موارد، عملکردشان به‌طور قابل‌توجهی افت می‌یابد. این نوشته بر پایه پژوهش جدیدی از آنتروپیک نقل شده که یکی از فرضیات مهم در کوششهای تازه صنعت هوش مصنوعی برای مقیاس‌پذیری را به چالش می‌کشد.

توانایی مدل‌های هوش مصنوعی در تاثییر فکرکردن‌های طویل افت می‌یابد

این مطالعه به سرپرستی «آریو پرادیپتا جما»، پژوهشگر ایمنی هوش مصنوعی در آنتروپیک و دیگر پژوهشگران این شرکت انجام شده است. در این مطالعه، «مقیاس‌پذیری معکوس در محاسبات زمان آزمون» شناسایی شده است. در این حالت، افزایش طول فرایند استدلال در مدل‌های زبانی بزرگ در واقع علتکاهش کارکرد آن‌ها در انواع مختلفی از ماموریت های می‌بشود.

این یافته‌ها می‌تواند پیامدهای قابل‌توجهی برای شرکت‌هایی داشته باشد که از سیستم‌های هوش مصنوعی متکی به قابلیت‌های استدلال گسترده منفعت گیری می‌کنند.

محققان آنتروپیک مدل‌ها را در چهار دسته ماموریت های آزمایش کردند: مسائل شمارشی ساده با عوامل حواس‌پرتی، ماموریت های رگرسیونی با ویژگی‌های گمراه‌کننده، معماهای استنتاج پیچیده و سناریوهایی که شامل دغدغه‌های ایمنی هوش مصنوعی می‌بشود.

این مطالعه الگوهای ناکامی متغیری را در سیستم‌های هوش مصنوعی مشخص می کند. برای مثال، مدل‌های Claude هرچه زیاد تر استدلال می‌کنند، زیاد تر توسط اطلاعات نامربوط منحرف خواهد شد، درحالی‌که مدل‌های سری o از OpenAI در برابر عوامل حواس‌پرتی مقاومت می‌کنند؛ اما بیشتر از حد به چارچوب‌بندی قضیه وابسته خواهد شد.

در ماموریت های رگرسیونی، استدلال طویل‌تر علتمی‌بشود مدل‌ها از پیش‌فکر‌های منطقی به سمت همبستگی‌های کاذب منحرف شوند، یقیناً اراعه مثال‌ها تا حد بسیاری این حرکت را اصلاح می‌کند.

احتمالا دلواپس‌کننده‌ترین مسئله برای کاربران سازمانی این باشد که همه مدل‌ها در ماموریت های استنتاجی پیچیده با استدلال طویل‌تر، دچار کم شدن کارکرد شدند که نشان‌دهنده سختی مدل‌ها در نگه داری تمرکز زمان انجام ماموریت های استنتاجی پیچیده است.