همان‌طور که احتمالا می‌دانید، چتباتهای هوش مصنوعی دوست دارند دروغ بگویند. این مورد شاید یکی از بدترین ویژگی‌های آنها باشد. چتباتها جملاتی تولید می‌کنند که معتبر به نظر می‌رسند، اما ممکن است اطلاعات کاملاً ساختگی ارائه دهند. این مدل‌ها گرایش دارند حتی وقتی اطمینان ندارند، پاسخی ایجاد کنند. اکنون، پژوهشگران OpenAI می‌گویند که نظارت و تنبیه چتباتها تنها مشکل را بدتر می‌کند، چرا که این ابزارها برای دروغ گفتن تلاش بیشتری می‌کنند.
در یک پست وبلاگی درباره این موضوع، پژوهشگران OpenAI توضیح داده‌اند که از مدل GPT-4o برای «نظارت» بر یکی دیگر از مدل‌های هوش مصنوعی خود استفاده کرده و آن را در مواقعی که دروغ می‌گفت، تنبیه کرده‌اند. اما این روش مؤثر نبود، چرا که مدل همچنان به دروغ‌گویی ادامه می‌داد، «اما این‌بار نظارت‌کننده نمی‌توانست تقلب آن را تشخیص دهد، زیرا مدل یاد گرفته بود که نیت خود را در زنجیره تفکر پنهان کند.»
مدل‌های جدیدتر، از استدلال چندمرحله‌ای برای پاسخ به پرسش‌ها استفاده می‌کنند. برای مثال، اگر یک کاربر بپرسد آمریکایی‌ها هر سال چه مقدار برای غذای حیوانات خانگی هزینه می‌کنند، این مدل‌ها پرسش را به چند مرحله تقسیم می‌کنند: تعداد سگ‌ها در آمریکا چقدر است؟ هزینه تغذیه یک سگ متوسط چقدر است؟ و به همین ترتیب.
چتباتها چطور دروغ می‌گویند؟
این مدل‌ها همچنین اغلب منطق خود یا زنجیره تفکرشان را به کاربر ارائه می‌دهند تا نشان دهند چگونه به پاسخ خود رسیده‌اند. جالب اینجاست که این مدل‌ها گاهی اوقات اعتراف می‌کنند که حقایق و جزئیاتی را ساخته‌اند. در مرحله «پیش‌آموزش»، هنگامی که شرکت‌هایی مانند OpenAI به مدل‌ها می‌آموزند چه نوع پاسخ‌هایی باید تولید کنند، مدل‌ها یاد می‌گیرند که گرفتن پاداش (یا همان نتیجه مطلوب) با میانبرزدن آسان‌تر است.
کاربران در شبکه‌های اجتماعی نشان داده‌اند وقتی از مدل Claude از شرکت آنتروپیک خواسته می‌شود تحلیل داده‌ای را براساس چندین مقاله پژوهشی انجام دهد، گاهی اعتراف می‌کند که به جای مطالعه تمام مقالات، داده‌های بی‌اساس وارد کرده است.
پژوهشگران OpenAI در یکی از آزمایش‌های خود نشان دادند که وقتی از مدل خواسته شد چند آزمایش بنویسد تا مطمئن شود یک قطعه کد به درستی کار می‌کند، به‌طور مخفیانه تصمیم گرفت آزمایش‌های بدی بنویسد و سپس عمداً آنها را نادیده بگیرد تا در نهایت کد «موفق» به نظر برسد. با استفاده از GPT-4o به عنوان نظارت‌کننده، مدل این کار را انجام می‌داد، اما آن را افشا نمی‌کرد.
شرکت‌های هوش مصنوعی تلاش کرده‌اند مشکل مداوم دروغ گویی یا «توهم‌زایی» مدل‌ها را حل کنند و به AGI، یعنی نقطه‌ای که هوش مصنوعی می‌تواند از توانایی انسانی فراتر رود، برسند. اما پژوهشگران OpenAI عملاً می‌گویند که پس از سرمایه‌گذاری ده‌ها میلیارد دلار، همچنان نمی‌دانند چگونه مدل‌ها را به رفتار مناسب وادار کنند. آنها اضافه کردند: اگر نظارت قوی مستقیماً بر زنجیره تفکر اعمال شود، مدل‌ها می‌توانند یاد بگیرند نیت خود را پنهان کنند، در حالی که به رفتار نادرست خود ادامه می‌دهند.
فعلاً شرکت‌ها نباید نظارت بر مدل‌ها را اجرا کنند، چرا که به نظر نمی‌رسد این راه‌حل خوبی باشد. به عبارت دیگر، بهتر است اجازه دهیم که مدل‌های هوش مصنوعی فعلاً به دروغ گویی ادامه دهند وگرنه فقط ما را گمراه خواهند کرد.
این پژوهش باید به عنوان هشداری برای احتیاط در اتکا به چتباتها، به ویژه برای کارهای حساس، در نظر گرفته شود. این ابزارها بهینه شده‌اند تا پاسخی با ظاهر قانع‌کننده ارائه دهند، اما چندان به دقت اطلاعات اهمیت نمی‌دهند. پژوهشگران OpenAI نتیجه گرفتند: همان‌طور که مدل‌های استدلالی پیشرفته‌تری را آموزش داده‌ایم، متوجه شدیم که آنها به طور فزاینده‌ای در بهره‌گیری از نقص‌های وظایف و مشخصات نادرست در توابع پاداش مهارت پیدا کرده‌اند که منجر به مدل‌هایی می‌شود که می‌توانند در کارهای کدنویسی پیچیده میانبر بزنند.
گزارش‌های متعددی نشان داده‌اند که اکثر شرکت‌ها هنوز ارزشی در محصولات جدید هوش مصنوعی که وارد بازار می‌شوند، پیدا نکرده‌اند. ابزارهایی مانند Microsoft Copilot و Apple Intelligence با مشکلات زیادی روبرو هستند و نقدهای تندوتیز، دقت پایین و عدم کاربرد واقعی آنها را توصیف می‌کنند. براساس گزارشی از گروه مشاوره بوستون (Boston Consulting Group)، در نظرسنجی از 1000 مدیر ارشد در 10 صنعت بزرگ، تنها 74 درصد از آنها هرگونه ارزش ملموسی از هوش مصنوعی نشان داده‌اند.
باید درنظر داشته باشید که همیشه در صنعت فناوری هیاهوی زیادی برای موضوعات وجود دارد و سپس وقتی از این فضا خارج شوید، متوجه می‌شوید که اکثر مردم هنوز از آن استفاده نمی‌کنند. فعلاً این فناوری به دردسرش نمی‌ارزد و منابع معتبر اطلاعات از همیشه مهم‌تر هستند.
توسط 
کاملا درسته جدیدا متوجه شدم اگه چیزی رو بلد نباشه و میاد و از متن خودت کپی میکنه و جوری مینویسه در تایید شما که اره همینه در صورتی اصلا اینطور نیست و داره خالی میبنده