موضوعات داغ
  • بازی GTA VI
  • رجیستری
  • گوشی‌های سری گلکسی S26
  • آیفون 17 اپل
  • بتلفیلد 6
  • دینو
سخت افزار مگ
  • اخبار و مقالات
    • گوشی موبایل
      • لوازم جانبی موبایل
    • تبلت
    • لپ تاپ
    • دسکتاپ
      • مادربرد
      • پردازنده مرکزی
      • کارت گرافیک
      • تجهیزات ذخیره سازی
      • حافظه
      • صفحه نمایش
      • تجهیزات جانبی
    • تصویرگری دیجیتال
    • صوتی و تصویری
    • شبکه
    • نرم افزار و بازی
    • کالبدشکافی قطعات
    • مطالب گوناگون
  • بررسی
    • بررسی گوشی موبایل
    • بررسی تبلت
    • بررسی لپ تاپ
    • دسکتاپ
      • بررسی کولر و فن
      • بررسی مادربرد
      • بررسی کارت گرافیک
      • بررسی تجهیزات ذخیره سازی
      • بررسی حافظه
      • بررسی منبع تغذیه و کیس
      • بررسی تجهیزات جانبی
      • بررسی صفحه نمایش
    • بررسی تصویرگری دیجیتال
    • بررسی صوتی و تصویری
    • بررسی شبکه
    • بررسی نرم افزار و بازی
    • بررسی گوناگون
  • راهنمای خرید
    • سیستم پیشنهادی
  • لیست قیمت
    • گوشی موبایل
      • لیست قیمت روز گوشی‌های سامسونگ
      • لیست قیمت روز گوشی‌های شیائومی
      • لیست قیمت روز گوشی‌های هواوی
      • لیست قیمت روز گوشی های آنر
    • تبلت
    • لپ‌تاپ
    • قطعات کامپیوتر
      • لیست قیمت پردازنده
    • محصولات اپل
    • تجهیزات شبکه
    • لوازم خانگی
    • صوتی و تصویری
    • دوربین دیجیتال
    • تجهیزات بازی
    • خودرو
  • ویژه
    • مسابقات
    • نمایشگاه
تبلیغات
تبلیغات
تبلیغات

اخبار و مقالات / مطالب گوناگون

مدل جدید اپل ویدئو های طولانی را بهتر از همیشه تحلیل می‌کند!

Avatarتوسط مهرانه راجعی ·1 شهریور 14041 شهریور 1404· 0

پژوهشگران اپل نسخه‌ای بهبودیافته از مدل SlowFast-LLaVA را توسعه داده‌اند که توانسته است در تحلیل و درک ویدئو های طولانی از مدل‌های بزرگ‌تر عملکرد بهتری نشان دهد. این موضوع اهمیت زیادی دارد، زیرا پردازش ویدئوهای طولانی یکی از چالش‌های اصلی مدل‌های زبانی تصویری محسوب می‌شود.

این روزها بیشتر صحبت‌ها درباره ابزارها و مدل‌‌های هوش مصنوعی تولید ویدئو است که در ماه‌های گذشته در مورد برخی آن‌ها مثل Sora، Veo، Flow، Pictory یا Runway AI اطلاعاتی را با شما به اشتراک گذاشتیم. اما کمتر به مدل‌هایی پرداخته می‌شود که هدفشان درک و تحلیل ویدئوهای طولانی است. در این مطلب قرار است به سراغ نوآوری اپل برویم؛ جایی‌که پژوهشگران این شرکت با معرفی مدل جدیدی توانسته‌اند گام مهمی در فهم دقیق ویدئو ها بردارند و حتی در برخی موارد از رقبای بزرگ‌تر هم جلو بزنند.

بخش فنی موضوع

به‌طور ساده، زمانیکه یک مدل زبانی بزرگ (LLM) برای درک ویدئو آموزش داده می‌شود، ویدئو را به فریم‌ها تقسیم کرده و با استفاده از بینایی کامپیوتری ویژگی‌های بصری هر فریم را استخراج می‌کند. سپس دگرگونی این ویژگی‌ها در گذر زمان را ارزیابی کرده و در نهایت همه داده‌ها را با زبان همسو می‌سازد تا بتواند محتوای ویدئو را به شکل متنی توصیف یا تحلیل نماید.

یک روش بسیار ناکارآمد برای این کار تحلیل تک‌تک فریم‌های ویدئو است؛ روشی که حجم عظیمی از اطلاعات تکراری تولید می‌کند، زیرا اغلب فریم‌ها تغییرات معناداری نسبت به فریم قبل ندارند.

وجود این حجم عظیم داده‌های تکراری می‌تواند به‌راحتی باعث شود مدل زبانی از پنجره زمینه (context window) خود فراتر برود. پنجره زمینه حداکثر مقدار اطلاعاتی است که مدل می‌تواند در یک زمان پردازش و نگهداری کند. زمانیکه این ظرفیت پر می‌شود، مدل برای ادامه پردازش، اطلاعات قدیمی‌تر را کنار می‌گذارد تا فضای کافی برای داده‌های جدید داشته باشد.

البته روش‌های کارآمدتری نیز برای آموزش مدل‌های ویدئویی وجود دارد. برای نمونه، شرکت انویدیا به‌تازگی مقاله‌ای در این زمینه منتشر کرده است. اما در مجموع این توضیح، اساس درک پژوهش اپل را شکل می‌دهد.

مطالعه اپل

به گفته پژوهشگران اپل، مدل های زبانی بزرگ ویدئو یی (Video LLMs) ادراک ویدئویی را با مدل‌های زبانی از پیش آموزش‌دیده ترکیب می‌کنند تا بتوانند ویدئوها را پردازش کرده و به دستورات کاربران پاسخ دهند. هرچند پیشرفت‌های چشمگیری حاصل شده، اما همچنان محدودیت‌های قابل‌توجهی در این مدل‌ها وجود دارد.

این محدودیت‌ها به گفته آن‌ها سه دسته‌اند:

  • مدل‌های موجود معمولاً به پنجره‌های زمینه طولانی و تعداد بسیار زیادی فریم وابسته‌اند که ناکارآمد است و قابلیت انتقال به مدل‌های کوچک‌تر را سخت می‌کند.
  • بیشتر آن‌ها به فرآیندهای آموزشی چندمرحله‌ای و پیچیده نیاز دارند که اغلب از داده‌های خصوصی استفاده می‌کنند و بازتولید آن‌ها دشوار است.
  • بسیاری از آن‌ها تنها برای وظایف ویدئویی بهینه شده‌اند و درک تصاویر را به خوبی مدل‌های عمومی ندارند.

اپل برای رفع این محدودیت‌ها ابتدا به مدل SlowFast-LLaVA توجه کرد؛ یک مدل متن‌باز که پیش‌تر نتایج امیدوارکننده‌ای با ترکیب نشانه‌های مکانی و زمانی به دست آورده بود. این مدل از دو جریان استفاده می‌کرد:

  • یک جریان کند (Slow stream) که فریم‌های کمتر اما با جزئیات بالاتر را پردازش می‌کند تا محتوای صحنه را دریابد.
  • یک جریان سریع (Fast stream) که فریم‌های بیشتری با جزئیات کمتر بررسی می‌کند تا حرکت‌ها و تغییرات در طول زمان دنبال شود.

اپل ابتدا این مدل را با تصاویر تنظیم دقیق (fine-tune) کرد تا توانایی استدلال بصری عمومی را تقویت کند. سپس آن را به‌طور همزمان با تصاویر و ویدئوها (از مجموعه‌داده‌های عمومی) آموزش داد تا ساختارهای زمانی را بدون کاهش توانایی درک تصاویر بیاموزد.

اپل یک مدل زبانی بزرگ برای درک کارآمد ویدئو های طولانی آموزش داد

نتیجه این تلاش‌ها به شکل‌گیری SlowFast-LLaVA-1.5 (SF-LLaVA-1.5) انجامید؛ مجموعه‌ای از مدل‌ها در سه اندازه با 1B، 3B و 7B پارامتر. این مدل‌ها توانستند در بسیاری از وظایف ویدئویی عملکردی بهتر از مدل‌های بسیار بزرگ‌تر داشته باشند و حتی در بعضی موارد همان‌طور که پژوهشگران اپل گفته‌اند، با اختلاف قابل‌توجهی از آن‌ها پیشی بگیرند.

در واقع، در معیارهای ویدئو های طولانی مانند LongVideoBench و MLVU، مدل اپل توانسته است در همه اندازه‌ها، حتی در کوچک‌ترین نسخه 1B، رکوردهای جدیدی ثبت کند.

علاوه بر این، مدل توانست یکی از سه محدودیت یادشده را پشت سر بگذارد و در وظایف تصویری نیز نتایج خوبی نشان دهد؛ از جمله در آزمون‌های دانش عمومی، استدلال ریاضی، OCR و سناریوهای متنی-تصویری. تیم پژوهش حتی چندین استراتژی فشرده‌سازی ویدئو را آزمایش کرد، اما دریافت که تنظیمات انتخاب‌شده بهترین تعادل میان سرعت، دقت و تعداد توکن‌ها را ارائه می‌دهد.

محدودیت‌های باقی‌مانده

با وجود این پیشرفت‌ها، پژوهشگران اپل برای مدل SF-LLaVA-1.5 حداکثر طول ورودی 128 فریم را در نظر گرفتند.

این یعنی چه ویدئو تنها چند دقیقه باشد و چه چند ساعت، مدل همیشه حداکثر 128 فریم را پردازش می‌کند: 96 فریم به صورت یکنواخت برای جریان سریع انتخاب می‌شوند و 32 فریم نیز برای جریان کند.

پژوهشگران با توجه به این موضوع می‌گویند: این رویکرد ممکن است برخی فریم‌های کلیدی را در ویدئوهای طولانی از دست بدهد و مدل را در مورد سرعت پخش ویدئو گمراه کند. (…) عملکرد SF-LLaVA-1.5 می‌تواند با تنظیم تمام پارامترها از جمله رمزگذار بصری بهبود یابد. با این حال، این کار برای مدل‌های ویدئوی طولانی ساده نیست، زیرا حافظه GPU بالایی برای ذخیره مقادیر فعال‌سازی نیاز دارد. مطالعات آینده می‌توانند به ادغام تکنیک‌های صرفه‌جویی در حافظه مانند Stochastic BP بپردازند.

با این حال، رویکرد اپل باعث شد این مدل به یک مدل پیشرفته در سطح جهانی تبدیل شود، آن هم با این مزیت که فقط بر اساس مجموعه‌داده‌های عمومی آموزش دیده است. SF-LLaVA-1.5 اکنون به صورت متن‌باز در GitHub و Hugging Face دردسترس است و متن کامل این پژوهش نیز در arXiv منتشر شده است.

برچسب‌ها: اپل, هوش مصنوعی

امتیاز: 5.0 از 5 (2 رای)
کمی صبر کنید...
تبلیغات
تبلیغات
سرخط خبرها:
  1. سقوط 42 درصدی سهام انویدیا در 3 هفته؛ آیا دوران گرانی قطعات کامپیوتر به پایان می‌رسد؟
  2. بررسی و مقایسه ساعت‌های هوشمند TCH برای خرید هوشمندانه در بلک فرایدی
  3. انتشار اخبار بدون مجوز در پلتفرم‌های فروش دیجیتال ممنوع است
  4. اختلال اینترنت و جهش 2.5 برابری فروش کتاب الکترونیک در سال 1404
  5. خرید مستقیم سرور اختصاصی از دیتاسنتر؛ آشنایی با خدمات آوابرید

مطالب مرتبط ...

  • آیفون ۱۸ پرو مکس 2

    تماشا کنید: آیفون 18 پرو مکس تا چه اندازه ارزش خرید دارد؟

    Avatarتوسط سینا راد · 17 مهر 1405 · 19 مهر 1405

  • 0

    هکرها ابزار جیلبریک سازگار با iOS 15 و iOS 16 را منتشر کردند

    Avatarتوسط مهرانه راجعی · 24 آذر 1401 · 24 آذر 1401

  • 0

    آیفون 15 پرو با مشکلاتی در اجرای بازی Genshin Impact با تنظیمات بالا روبه‌رو است

    Avatarتوسط سوما سبحانی · 3 مهر 1402 · 3 مهر 1402

مطالب گوناگون از دینو

بهترین فیلم‌های ۲۰۲۶؛ معرفی ۱۰ فیلم تماشایی و ۵ فیلم موردانتظار سال

بارش شهابی اسدی ۱۴۰۵ چه زمانی است؟ بهترین ساعت تماشای شهاب‌ها در آسمان ایران

هنگام آلودگی هوا در خانه چه کنیم؟ ۷ راهکار علمی و نقش واقعی دستگاه تصفیه هوا

دیدگاهتان را بنویسید لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

در صورتی که نظر شما حاوی ناسزا، عبارات توهین‌آمیز و تهدید بوده و در تضاد با قوانین فعلی کشور باشد از انتشار آن بدون حذف موارد ذکر شده، معذوریم.
شکلک‌ها (اموجی‌ها) را می‌توانید با کیبرد گوشی یا کیبرد مجازی ویندوز قرار دهید.
تصاویر نویسندگان دیدگاه از Gravatar گرفته می‌شود.

پربحث‌ترین‌ها

  • جهش 2.5 برابری فروش کتاب الکترونیک 3

    اختلال اینترنت و جهش 2.5 برابری فروش کتاب الکترونیک در سال 1404

  • پتینسون مأمور 007 بعدی سینما 1

    رسمی: رابرت پتینسون مأمور 007 بعدی سینما است

  • ایران دارای شدیدترین اینترنت سانسور شده 1

    ایران در میان 11 کشور دارای شدیدترین سانسور اینترنت در جهان قرار گرفت

  • دیجی‌کالا خودرو 1

    دیجی‌کالا خودرو راه‌اندازی شد؛ فروش آنلاین خودروی صفر با تحویل 3 تا 5 روز کاری

آخرین بررسی‌ها

9.4

بررسی پاور GREEN GP1650B-EDGE پرچم‌دار ۱۶۵۰ واتی

9.7

بررسی حافظه اس‌اس‌دی SAMSUNG 9100 PRO 2TB

9.3

بررسی مادربرد X870 AORUS STEALTH ICE گیگابایت

8.8

تماشا کنید: بررسی گوشی گلکسی A17 4G سامسونگ؛ اقتصادی تازه‌نفس

8.8

بررسی لپ تاپ MSI Vector 16 HX - اژدهای همه‌فن‌حریف

آخرین مطالب دینو

اهرم و مارجین در فارکس چگونه کار می‌کنند؟ آموزش محاسبه مارجین، مارجین کال و استاپ اوت

اهرم و مارجین در فارکس دو مفهوم اساسی هستند…

  • ۱۰ حقیقت شگفت‌انگیز درباره هواپیما که احتمالاً نمی‌دانستید

  • ۷ فناوری جدید خودرو که آینده رانندگی را تغییر می‌دهند؛ از هوش مصنوعی تا رانندگی خودکار

  • بهترین فیلم‌های ۲۰۲۶؛ معرفی ۱۰ فیلم تماشایی و ۵ فیلم موردانتظار سال

  • ۲۰ سؤال اطلاعات عمومی جالب با جواب؛ چند مورد را می‌دانید؟

  • مطلب بعدی چگونه بازی GTA IV را بدون کارت گرافیک روی کامپیوتر اجرا کنیم؟
  • مطلب قبلی فعال‌سازی رومینگ ایرانسل در عراق (تنظیمات + بسته‌ها)
  • آخرین مطالب
  • محبوب‌ترین مطالب
  • سقوط 42 درصدی سهام انویدیا در 3 هفته؛ آیا دوران گرانی قطعات کامپیوتر به پایان می‌رسد؟

    سقوط 42 درصدی سهام انویدیا در 3 هفته؛ آیا دوران گرانی قطعات کامپیوتر به پایان می‌رسد؟

  • بررسی و مقایسه ساعت‌های هوشمند TCH برای خرید هوشمندانه در بلک فرایدی

    بررسی و مقایسه ساعت‌های هوشمند TCH برای خرید هوشمندانه در بلک فرایدی

  • انتشار اخبار بدون مجوز

    انتشار اخبار بدون مجوز در پلتفرم‌های فروش دیجیتال ممنوع است

  • جهش 2.5 برابری فروش کتاب الکترونیک

    اختلال اینترنت و جهش 2.5 برابری فروش کتاب الکترونیک در سال 1404

  • خرید مستقیم سرور اختصاصی از دیتاسنتر؛ آشنایی با خدمات آوابرید

    خرید مستقیم سرور اختصاصی از دیتاسنتر؛ آشنایی با خدمات آوابرید

  • جهش 2.5 برابری فروش کتاب الکترونیک 3

    اختلال اینترنت و جهش 2.5 برابری فروش کتاب الکترونیک در سال 1404

  • پتینسون مأمور 007 بعدی سینما 1

    رسمی: رابرت پتینسون مأمور 007 بعدی سینما است

  • ایران دارای شدیدترین اینترنت سانسور شده 1

    ایران در میان 11 کشور دارای شدیدترین سانسور اینترنت در جهان قرار گرفت

  • دیجی‌کالا خودرو 1

    دیجی‌کالا خودرو راه‌اندازی شد؛ فروش آنلاین خودروی صفر با تحویل 3 تا 5 روز کاری

  • سقوط 42 درصدی سهام انویدیا در 3 هفته؛ آیا دوران گرانی قطعات کامپیوتر به پایان می‌رسد؟ 0

    سقوط 42 درصدی سهام انویدیا در 3 هفته؛ آیا دوران گرانی قطعات کامپیوتر به پایان می‌رسد؟

آخرین دیدگاه‌ها

  • Avatar
    ارش گفته است:
    اختلال اینترنت در سال ۱۴۰۴ باعث شد بسیاری از مردم نتوانند...
  • Avatar
    محمدمهدی حمزه گفته است:
    * کتابخوان ها منظورم بود
  • Avatar
    Ytxcvxx گفته است:
    حاجی، به نظرم ترامپ باید در هرگونه توافق با ایران، موضوع...
  • Avatar
    محمدمهدی حمزه گفته است:
    متأسفانه خارجی ها که خیلی گرون شدن. داخلی ها هم که...
  • Avatar
    Ali_zm11 گفته است:
    این بنده خدا سر بتمن که گند زد و جزو بدترین...
  • Avatar
    kambiz گفته است:
    کجاست سایتش. توی گوگل که چیزی نمیاد.
  • Avatar
    محسن0631 گفته است:
    این مورد هم یکی از هزاران مواردیست که کشورهای به حساب...
  • Avatar
    کامل اکبری گفته است:
    ایجیجطو
  • Avatar
    محمدمهدی حمزه گفته است:
    خطر همه ی این ها روی هم، یک دهم خطر ویروس...
  • Avatar
    محمد گفته است:
    بزی ☺️
راهنمای خرید لپ تاپ گیمینگ 471
راهنمای خرید و مشاوره هایلایت
راهنمای خرید لپ تاپ گیمینگ با بودجه های مختلف (دی 1404)
13 دی 1404
راهنمای خرید لپ تاپ با بودجه های مختلف 1,304
راهنمای خرید و مشاوره هایلایت
راهنمای خرید لپ تاپ با بودجه های مختلف (دی 1404)
10 دی 1404
راهنمای خرید مانیتور آذر 1404 70
راهنمای خرید و مشاوره
راهنمای خرید مانیتور با بهترین قیمت در بودجه‌های مختلف (دی 1404)
6 دی 1404
راهنمای خرید گوشی موبایل آذر 491
راهنمای خرید و مشاوره
راهنمای خرید گوشی موبایل بر اساس بودجه‌های مختلف (دی 1404)
5 دی 1404
7,767
راهنمای خرید و مشاوره سیستم پیشنهادی هایلایت
راهنمای خرید و مشاوره سیستم کامپیوتر با بودجه های مختلف (دی 1404)
3 دی 1404
راهنمای خرید و مشاوره هدفون و هدست با بودجه های مختلف (آبان 1404) 0
اخبار و مقالات راهنمای خرید و مشاوره هایلایت
راهنمای خرید و مشاوره هدفون و هدست با بودجه های مختلف (آبان 1404)
27 آبان 1404
  • سخت‌افزارمگ
  • درباره ما
  • تبلیغات
  • استخدام
سخت‌افزارمگ

© 2026 Sakhtafzarmag.Com. All Rights Reserved.

صفحه نخست » اخبار و مقالات » مطالب گوناگون » مدل جدید اپل ویدئو های طولانی را بهتر از همیشه تحلیل می‌کند!

ورود

عضویت

رمزتان را گم کرده‌اید؟

عضویت | رمزتان را گم کرده‌اید؟
| بازگشت به ورود