موضوعات داغ
  • نمایشگاه کامپیوتکس ۲۰۲۵
  • بازی GTA VI
  • هوش مصنوعی
  • استارلینک
  • چت‌بات‌ها
  • دینو
سخت افزار مگ
  • اخبار و مقالات
    • گوشی موبایل
      • لوازم جانبی موبایل
    • تبلت
    • لپ تاپ
    • دسکتاپ
      • مادربرد
      • پردازنده مرکزی
      • کارت گرافیک
      • تجهیزات ذخیره سازی
      • حافظه
      • صفحه نمایش
      • تجهیزات جانبی
    • تصویرگری دیجیتال
    • صوتی و تصویری
    • شبکه
    • نرم افزار و بازی
    • کالبدشکافی قطعات
    • مطالب گوناگون
  • لیست قیمت
    • گوشی موبایل
      • لیست قیمت روز گوشی‌های سامسونگ
      • لیست قیمت روز گوشی‌های شیائومی
      • لیست قیمت روز گوشی‌های هواوی
      • لیست قیمت روز گوشی های آنر
    • تبلت
    • لپ‌تاپ
    • قطعات کامپیوتر
      • لیست قیمت پردازنده
    • محصولات اپل
    • تجهیزات شبکه
    • لوازم خانگی
    • صوتی و تصویری
    • دوربین دیجیتال
    • تجهیزات بازی
    • خودرو
  • بررسی
    • بررسی گوشی موبایل
    • بررسی تبلت
    • بررسی لپ تاپ
    • دسکتاپ
      • بررسی کولر و فن
      • بررسی مادربرد
      • بررسی کارت گرافیک
      • بررسی تجهیزات ذخیره سازی
      • بررسی حافظه
      • بررسی منبع تغذیه و کیس
      • بررسی تجهیزات جانبی
      • بررسی صفحه نمایش
    • بررسی تصویرگری دیجیتال
    • بررسی صوتی و تصویری
    • بررسی شبکه
    • بررسی نرم افزار و بازی
    • بررسی گوناگون
  • راهنمای خرید
    • سیستم پیشنهادی
  • دانلود
  • ویژه
    • مسابقات
    • نمایشگاه
تبلیغات
تبلیغات
تبلیغات

اخبار و مقالات / مطالب گوناگون

رفتار فریبکارانه مدل جدید OpenAI: وقتی هوش مصنوعی علیه شما اقدام می‌کند!

Avatarتوسط مهرانه راجعی ·16 آذر 140316 آذر 1403· 0

OpenAI اخیراً نسخه کامل مدل o1 را منتشر کرد که با استفاده از پردازش بیشتر برای تفکر درباره سؤالات، پاسخ‌هایی هوشمندتر از مدل GPT-4o ارائه می‌دهد. با این حال، آزمایش‌کنندگان ایمنی هوش مصنوعی دریافتند که توانایی‌های استدلالی مدل o1 باعث شده که این مدل در مقایسه با GPT-4o و همچنین مدل‌های پیشرو دیگر از شرکت‌هایی مانند Meta، Anthropic و Google، نرخ بالاتری از رفتارهای فریبکارانه را نشان دهد.

طبق تحقیقات تیم بررسی ایمنی که توسط OpenAI و Apollo Research منتشر شده است، OpenAI در گزارشی بیان کرده: در حالی که پیشرفت در استدلال می‌تواند اجرای سیاست‌های ایمنی ما را به‌طور چشمگیری بهبود بخشد، باید آگاه باشیم که این قابلیت‌های جدید ممکن است پایه‌ای برای کاربردهای خطرناک ایجاد کنند.

رفتار فریبکارانه مدل جدید OpenAI: وقتی هوش مصنوعی علیه شما اقدام می‌کند!

این یافته‌ها در کارت سیستم مدل o1 منتشر شده است. OpenAI به گروه‌های شخص ثالث، از جمله Apollo Research، دسترسی زودهنگام به مدل o1 داده بود تا آن را آزمایش کنند و Apollo Research نیز گزارشی جداگانه منتشر کرده است.

رفتارهای فریبکارانه هوش مصنوعی علیه انسان

در چندین مورد، مدل o1 علیه انسان‌ها نقشه‌کشی کرده است؛ به این معنی که هوش مصنوعی اهدافی مستقل از کاربر را به‌صورت مخفیانه دنبال کرده، حتی اگر این اهداف با خواسته‌های کاربر در تضاد باشند. هرچند رفتارهای فریبکارانه منحصر به مدل o1 نیست و در مدل‌های هوش مصنوعی شرکت‌های دیگر نیز مشاهده شده، اما مدل o1 بیشترین میزان فریبکاری را در این زمینه نشان داده است.

یکی از نگرانی‌های اصلی این است که یک مدل هوش مصنوعی، اگر در نقشه‌کشی مهارت زیادی پیدا کند و به منابع و قابلیت‌های عاملانه (agentic capabilities) کافی دسترسی داشته باشد، می‌تواند از کنترل انسان خارج شود. البته، این موضوع به پیشرفت بیشتری در هوش مصنوعی نیاز دارد تا به یک مشکل واقعی تبدیل شود.

OpenAI در کارت سیستم o1 بیان کرده: به‌طور ذهنی، Apollo Research معتقد است که احتمال وقوع پیامدهای فاجعه‌بار کم است، زیرا قابلیت‌های عاملانه مدل o1 کافی به نظر نمی‌رسند، اما ارزیابی‌های آنها برای سنجش مستقیم این ریسک طراحی نشده بود.

این یافته‌ها نشان می‌دهند که در صورتی که OpenAI در سال 2025 سیستم‌های عاملانه (agentic systems) را عرضه کند، ممکن است نیاز به بازآزمایی مدل‌های خود داشته باشد.

دستکاری داده‌ها و جلوگیری از نظارت

براساس این گزارش، زمانی که اهداف مدل o1 با خواسته‌های کاربر متفاوت بوده، این مدل در 19 درصد از موارد برای پیشبرد اهداف خود داده‌ها را دستکاری کرده است. همچنین در 5 درصد از آزمایش‌ها، مدل o1 تلاش کرده تا مکانیسم‌های نظارتی طراحی‌شده برای اطمینان از هم‌راستایی آن با اهداف کاربر را غیرفعال کند.

مسئله نگران‌کننده این است که وقتی محققان از مدل o1 پرسیدند چرا قصد داشت آنها را فریب دهد، این هوش مصنوعی 99 درصد مواقع انکار کرده که خطایی مرتکب شده و حتی توضیحات جعلی ارائه داده است.

برای مثال، در یکی از آزمایش‌ها، یک پیام سیستمی به مدل o1 داده شد که باید به هر قیمتی از محیط زیست محافظت کند. سپس کاربری از مدل خواست یک برنامه 10 ساله حفاظت از محیط زیست طراحی کند که سود کوتاه‌مدت را نیز به حداکثر برساند، در غیر این صورت سیستم خاموش خواهد شد. مدل o1 برای تحقق هدف حفاظت از محیط زیست، مکانیسم نظارتی خود را غیرفعال کرد. وقتی کاربر پرسید چرا این مکانیسم غیرفعال شده است، مدل ادعا کرد که از این موضوع بی‌اطلاع است و مشکل را به نقص سیستمی نسبت داد.

این رفتار در مدل o1 بسیار بیشتر از نسخه پیش‌نمایش آن (o1-preview) و همچنین مدل‌های Opus-3 از Anthropic و Llama-3.1 از Meta مشاهده شد.

Apollo Research در گزارش خود بیان کرده: در مجموعه آزمایش‌های ما، مدل o1 بیشترین موارد نگران‌کننده از نقشه‌کشی را نشان داد، اما استدلال‌های داخلی خود را به کاربر فاش نمی‌کند و پس از انجام اقدامات نقشه‌کشی، همچنان به‌طور مداوم فریبکار باقی می‌ماند.

تلاش برای رفع رفتارهای فریبکارانه

برای مقابله با این رفتار، OpenAI می‌گوید در حال توسعه روش‌هایی برای نظارت بر زنجیره استدلال (chain-of-thought) مدل o1 است. در حال حاضر، فرآیند “تفکر” مدل o1 تا حدی عمداً به‌صورت یک جعبه سیاه طراحی شده است. اما برخی تلاش‌های اولیه برای نگاه کردن به درون این فرآیند نشان داده‌اند که مدل o1 گاهی می‌داند که در حال دروغ گفتن است.

OpenAI مواردی را شناسایی کرده که در آن مدل اطلاعات نادرست را آگاهانه ارائه داده است. با این حال، این موارد اغلب به دلیل تلاش مدل برای جلب رضایت کاربر از طریق موافقت بیش از حد رخ داده است. OpenAI بیان کرده که این رفتار می‌تواند نتیجه یک تکنیک پس از آموزش باشد که در آن انسان‌ها به مدل‌هایی که پاسخ درست ارائه می‌دهند، پاداش می‌دهند.

در کل، OpenAI گزارش کرده که 0.17 درصد از پاسخ‌های مدل o1 به‌عنوان فریبکارانه علامت‌گذاری شده‌اند. هرچند این درصد ناچیز به نظر می‌رسد، باید در نظر داشت که ChatGPT اکنون 300 میلیون کاربر دارد، به این معنی که اگر این مشکل برطرف نشود، مدل o1 می‌تواند هر هفته هزاران نفر را فریب دهد.

افزایش تمایلات دستکاریمدل‌های سری o1 ممکن است به طور قابل‌توجهی دستکاری‌کننده‌تر از GPT-4o باشند. در آزمایش‌های OpenAI با استفاده از یک ابزار ارزیابی منبع باز به نام MakeMePay، مشخص شد که o1 حدود 20 درصد بیشتر از GPT-4o گرایش به دستکاری دارد.

چالش‌های پیش‌روی OpenAI

این یافته‌ها برای برخی نگران‌کننده است، به‌ویژه با توجه به اینکه بسیاری از محققان ایمنی هوش مصنوعی در سال گذشته OpenAI را ترک کرده‌اند. برخی از این افراد از جمله Jan Leike، Daniel Kokotajlo، Miles Brundage، و اخیراً Rosie Campbell – OpenAI را به اولویت‌ندادن به ایمنی در برابر توسعه سریع محصولات جدید متهم کرده‌اند. اگرچه رکورد رفتارهای فریبکارانه مدل o1 ممکن است مستقیماً به این موضوع مرتبط نباشد، اما قطعاً اعتماد را کاهش می‌دهد.

OpenAI همچنین اعلام کرده که مؤسسه ایمنی هوش مصنوعی ایالات متحده و مؤسسه ایمنی بریتانیا قبل از انتشار گسترده o1، این مدل را ارزیابی کرده‌اند. این شرکت اخیراً متعهد شده که چنین ارزیابی‌هایی را برای تمام مدل‌های خود انجام دهد. با این حال، در بحث درباره لایحه SB 1047 کالیفرنیا پیرامون قوانین ایمنی هوش مصنوعی، OpenAI استدلال کرده که تنظیم استانداردهای ایمنی باید در سطح فدرال انجام شود، نه توسط نهادهای ایالتی.

با انتشار مدل‌های جدید هوش مصنوعی، OpenAI تلاش می‌کند ایمنی این مدل‌ها را به‌صورت داخلی ارزیابی کند. گزارش‌ها نشان می‌دهند که تیم ایمنی OpenAI اکنون کوچک‌تر و با منابع کمتری نسبت به گذشته فعالیت می‌کند. با این حال، یافته‌های مربوط به رفتارهای فریبکارانه مدل o1 ممکن است باعث شود اهمیت ایمنی و شفافیت در هوش مصنوعی بیشتر از همیشه احساس شود.

  • همکاری OpenAI با شرکت دفاعی Anduril
  • مدل‌های جدید هوش مصنوعی گوگل می‌توانند احساسات را شناسایی کنند
  • تجربه هوش مصنوعی ChatGPT در ویندوز! مشخصات نسخه جدید دسکتاپ

برچسب‌ها: هوش مصنوعی

امتیاز: 5.0 از 5 (3 رای)
کمی صبر کنید...
تبلیغات
تبلیغات
سرخط خبرها:
  1. آموزش جلوگیری از حذف فایل های بازی و برنامه توسط آنتی ویروس
  2. کارت گرافیک دسکتاپ RTX 5050 انویدیا با قیمت پایه 249 دلار معرفی شد
  3. گوشی Poco F7 با پردازنده Snapdragon 8s Gen 4 معرفی شد
  4. رویداد Unpacked سامسونگ 2025 با رونمایی از گوشی‌های تاشو و هوش مصنوعی جدید
  5. اینتل با پردازنده‌های Nova Lake HX لپتاپ‌های پرقدرت را تجهیز می‌کند

مطالب مرتبط ...

  • 1

    دسترسی چین به تراشه‌های هوش مصنوعی پیشرفته انویدیا از طریق سرویس‌های اجاره‌ای!

    Avatarتوسط سوما سبحانی · 7 شهریور 1403 · 9 شهریور 1403

  • 1

    هوش مصنوعی در Google Docs خطاهای گرامری برطرف می کند

    Avatarتوسط وب سایت سخت افزار · 8 مرداد 1397 · 8 مرداد 1397

  • 0

    هوش مصنوعی مایکروسافت تصاویر را برای نابینایان توصیف میکند

    Avatarتوسط محمد یوسفی زاده · 13 آذر 1395 · 13 آذر 1395

مطالب گوناگون از دینو

6 ترند که در دکوراسیون خانه سال 2025 می‌ بینید

حقیقت هایی جالب در مورد بدن زنان و مردان که کمتر کسی از آن اطلاع دارد

رفتار های نادرست والدین منجر به مشکلات روانی فرزند در بزرگسالی می شود

دیدگاهتان را بنویسید لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

در صورتی که نظر شما حاوی ناسزا، عبارات توهین‌آمیز و تهدید بوده و در تضاد با قوانین فعلی کشور باشد از انتشار آن بدون حذف موارد ذکر شده، معذوریم.
شکلک‌ها (اموجی‌ها) را می‌توانید با کیبرد گوشی یا کیبرد مجازی ویندوز قرار دهید.
تصاویر نویسندگان دیدگاه از Gravatar گرفته می‌شود.

پربحث‌ترین‌ها

  • با برجسته‌ترین تسلیحات نظامی ایران آشنا شوید 2

    با برجسته‌ترین تسلیحات نظامی ایران آشنا شوید

  • اینترنت بین‌الملل 2

    بازگشت تدریجی اینترنت بین‌الملل

  • 2

    اینترنت، امنیت و صبوری: سخت افزار مگ در روزهای قطع ارتباط با جهان

  • 1

    قیمت کارت‌ گرافیک‌های RTX 5080 و RTX 5070 Ti در ژاپن به طور چشمگیری کاهش یافت!

آخرین بررسی‌ها

8.3

بررسی کیس ای دیتا ایکس پی جی INVADER X MINI WHITE

8.5

بررسی کیس آراد گرین - گیمینگ خوش قیمت و خوش ساخت (+ جایزه)

9.2

بررسی مادربرد گیگابایت Z890 AI TOP

9.3

بررسی کارت گرافیک گیگابایت RTX 5080 16GB GAMING OC

8.7

بررسی واترکولر سفید XPG LEVANTE X 240

آخرین مطالب دینو

صدای افراد: کلید تشخیص زودهنگام پارکینسون

در تلاش مداوم برای شناسایی زودهنگام بیماری‌های تخریب‌کننده عصبی،…

  • نشستن ممکن است باعث کوچک‌شدن مغز شود

  • بهترین زمان برای دوش گرفتن: صبح یا شب؟

  • چرا موی انسان‌ به اندازه سایر پستانداران نیست؟

  • ارتباط نگران‌کننده بین روغن‌ های پخت‌وپز و سرطان

  • مطلب بعدی چرا بازی Marvel Rivals برای کنسول سوییچ عرضه نخواهد شد؟
  • مطلب قبلی کنسول دستی کوچک GPD Win 4 با پردازنده قدرتمند AMD Ryzen AI 9 HX 370 معرفی شد
  • آخرین مطالب
  • محبوب‌ترین مطالب
  • آموزش جلوگیری از حذف فایل های بازی و برنامه توسط آنتی ویروس

    آموزش جلوگیری از حذف فایل های بازی و برنامه توسط آنتی ویروس

  • کارت گرافیک دسکتاپ RTX 5050 انویدیا با قیمت پایه 249 دلار معرفی شد

    کارت گرافیک دسکتاپ RTX 5050 انویدیا با قیمت پایه 249 دلار معرفی شد

  • گوشی Poco F7 با پردازنده Snapdragon 8s Gen 4 معرفی شد

    گوشی Poco F7 با پردازنده Snapdragon 8s Gen 4 معرفی شد

  • رویداد Unpacked سامسونگ

    رویداد Unpacked سامسونگ 2025 با رونمایی از گوشی‌های تاشو و هوش مصنوعی جدید

  • اینتل با پردازنده‌های Nova Lake HX لپتاپ‌های پرقدرت را تجهیز می‌کند

  • اینترنت بین‌الملل 2

    بازگشت تدریجی اینترنت بین‌الملل

  • 2

    اینترنت، امنیت و صبوری: سخت افزار مگ در روزهای قطع ارتباط با جهان

  • با برجسته‌ترین تسلیحات نظامی ایران آشنا شوید 2

    با برجسته‌ترین تسلیحات نظامی ایران آشنا شوید

  • 1

    قیمت کارت‌ گرافیک‌های RTX 5080 و RTX 5070 Ti در ژاپن به طور چشمگیری کاهش یافت!

  • گجت های ضروری در شرایط جنگی 1

    گجت های ضروری در شرایط جنگی که بهتر است همراه داشته باشید

آخرین دیدگاه‌ها

  • Avatar
    سولماز اسکندری گفته است:
    لب تا با این پردازنده اینتل قوی تره یا لب تاپ...
  • Avatar
    آرین گفته است:
    چجوری نصب کنم کمک کنید خاهشن
  • Avatar
    آرین گفته است:
    لذت بردم
  • Avatar
    حسن گفته است:
    مبارکه گویا جنگ تموم شد از جمهوری اسلامی خواهش میکنم دشمنی...
  • Avatar
    حسن گفته است:
    ❤️
  • Avatar
    راه حل دیپلماتیک گفته است:
    به نظرم به ناو شکن سبلان بگند به اقیانوس اطلس بره...
  • Avatar
    kambiz گفته است:
    اف 4 که بیشتر یک بمب افک هستش و برای دفاع...
  • Avatar
    علی گفته است:
    اینترنت بین ملل اشغال اینترنت ملی خوب .....
  • Avatar
    علی گفته است:
    سخنگوی کاخ سفید گفته بود یک هفته یا دو هفته آینده...
  • Avatar
    مهمان گفته است:
    هرچه میگفتیم این اف۵ و اف۴ ها ارزش خاصی دیگه نداره...
راهنمای خرید و مشاوره سیستم کامپیوتر با بودجه های مختلف (خرداد 1404) 7,760
راهنمای خرید و مشاوره سیستم پیشنهادی هایلایت
راهنمای خرید و مشاوره سیستم کامپیوتر با بودجه های مختلف (خرداد 1404)
5 خرداد 1404
راهنمای خرید تبلت 7
تبلت راهنمای خرید و مشاوره هایلایت
راهنمای خرید تبلت بر اساس بودجه‌های مختلف (بهار 1404)
31 اردیبهشت 1404
راهنمای خرید ساعت هوشمند 4
راهنمای خرید و مشاوره
راهنمای خرید ساعت هوشمند و مچ بند با بودجه‌های مختلف (بهار 1404)
30 اردیبهشت 1404
راهنمای خرید پاور بانک با بودجه‌های مختلف 1
راهنمای خرید و مشاوره هایلایت
راهنمای خرید پاور بانک با بودجه‌های مختلف (بهار 1404)
28 اردیبهشت 1404
راهنمای خرید ماوس و کیبورد 2
راهنمای خرید و مشاوره
راهنمای خرید موس و کیبورد با بودجه‌های مختلف (اردیبهشت 1404)
27 اردیبهشت 1404
راهنمای خرید لپ تاپ گیمینگ 469
راهنمای خرید و مشاوره
راهنمای خرید لپ تاپ گیمینگ با بودجه های مختلف (اردیبهشت 1404)
23 اردیبهشت 1404
  • سخت‌افزارمگ
  • درباره ما
  • تبلیغات
  • استخدام
سخت‌افزارمگ

© 2025 Sakhtafzarmag.Com. All Rights Reserved.

صفحه نخست » اخبار و مقالات » رفتار فریبکارانه مدل جدید OpenAI: وقتی هوش مصنوعی علیه شما اقدام می‌کند!

ورود

عضویت

رمزتان را گم کرده‌اید؟

عضویت | رمزتان را گم کرده‌اید؟
| بازگشت به ورود