موضوعات داغ
  • بتلفیلد 6
  • گوشی‌های سری گلکسی S26
  • آیفون 17 اپل
  • بازی GTA VI
  • گلکسی S25 FE
  • دینو
سخت افزار مگ
  • اخبار و مقالات
    • گوشی موبایل
      • لوازم جانبی موبایل
    • تبلت
    • لپ تاپ
    • دسکتاپ
      • مادربرد
      • پردازنده مرکزی
      • کارت گرافیک
      • تجهیزات ذخیره سازی
      • حافظه
      • صفحه نمایش
      • تجهیزات جانبی
    • تصویرگری دیجیتال
    • صوتی و تصویری
    • شبکه
    • نرم افزار و بازی
    • کالبدشکافی قطعات
    • مطالب گوناگون
  • بررسی
    • بررسی گوشی موبایل
    • بررسی تبلت
    • بررسی لپ تاپ
    • دسکتاپ
      • بررسی کولر و فن
      • بررسی مادربرد
      • بررسی کارت گرافیک
      • بررسی تجهیزات ذخیره سازی
      • بررسی حافظه
      • بررسی منبع تغذیه و کیس
      • بررسی تجهیزات جانبی
      • بررسی صفحه نمایش
    • بررسی تصویرگری دیجیتال
    • بررسی صوتی و تصویری
    • بررسی شبکه
    • بررسی نرم افزار و بازی
    • بررسی گوناگون
  • راهنمای خرید
    • سیستم پیشنهادی
  • لیست قیمت
    • گوشی موبایل
      • لیست قیمت روز گوشی‌های سامسونگ
      • لیست قیمت روز گوشی‌های شیائومی
      • لیست قیمت روز گوشی‌های هواوی
      • لیست قیمت روز گوشی های آنر
    • تبلت
    • لپ‌تاپ
    • قطعات کامپیوتر
      • لیست قیمت پردازنده
    • محصولات اپل
    • تجهیزات شبکه
    • لوازم خانگی
    • صوتی و تصویری
    • دوربین دیجیتال
    • تجهیزات بازی
    • خودرو
  • ویژه
    • مسابقات
    • نمایشگاه
تبلیغات
تبلیغات
تبلیغات
تبلیغات
تبلیغات
تبلیغات
تبلیغات

اخبار و مقالات

عملکرد الگوریتم جدید مدوسا انویدیا

عملکرد الگوریتم جدید مدوسا انویدیا تا 1.9 برابر رشد برای Llama 3.1 دارد

Avatarتوسط وحید دلشاد ·18 شهریور 140318 شهریور 1403· 0

شتاب‌دهنده‌های هوش مصنوعی NVIDIA HGX H200 با استفاده از الگوریتم مدوسا توانستند به پیشرفت چشمگیری در پردازش و استنتاج مدل Llama 3.1 دست یابند. نوآوری انویدیا در اکوسیستم نرم‌افزاری خود ادامه دارد و با کمک مدوسا، به بهبود عملکرد دست یافته است. عملکرد الگوریتم جدید مدوسا انویدیا نسبت به مدل‌های قبلی سرعت و قدرت بیشتری به همراه دارد.

با گسترش مدل‌های زبانی بزرگ (LLM) و افزایش پیچیدگی آن‌ها، استفاده از پردازش‌های چندگرافیکی (Multi-GPU) برای ارائه تاخیر کمتر و بازدهی بیشتر در کاربردهای هوش مصنوعی بلادرنگ ضروری شده است.

در سیستم‌های چندگرافیکی، عملکرد به توانایی پردازش همزمان درخواست‌ها با استفاده از چندین پردازنده گرافیکی وابسته است. این پردازنده‌ها به‌عنوان یک واحد قدرتمند عمل می‌کنند، با ارتباط فوق‌سریع بین GPU‌ها و استفاده از نرم‌افزارهای پیشرفته که توانایی بهره‌برداری کامل از ظرفیت چند GPU را دارند. این کار به کمک تکنیک‌هایی مثل (موازی‌سازی تنسور) و الگوریتم‌هایی مانند رمزگشایی احتمالی انجام می‌شود که با آن می‌توان تأخیر تولید توکن‌ها را بهبود بخشید و تجربه کاربری را روان‌تر کرد.

عملکرد الگوریتم جدید مدوسا انویدیا

برای پردازش سریع Llama 3.1، سیستم‌های ابری می‌توانند از یک سرور NVIDIA HGX H200 استفاده کنند. هر سرور شامل هشت پردازنده گرافیکی H200 Tensor Core و چهار تراشه NVLink Switch است. این پردازنده‌ها می‌توانند با پهنای باند کامل 900 گیگابایت بر ثانیه به یکدیگر متصل شوند. این پهنای باند بالا مانع از ایجاد گلوگاه‌های ارتباطی بین پردازنده‌ها در استفاده‌های تعاملی می‌شود.

کتابخانه TensorRT-LLM و نقش آن در بهبود عملکرد

برای بهینه‌سازی الگوریتم‌های مختلف بر روی سیستم‌های NVIDIA H200 HGX، انویدیا از کتابخانه متن‌باز TensorRT-LLM استفاده می‌کند. این کتابخانه با استفاده از تکنیک‌های پیشرفته مانند موازی‌سازی تنسور و رمزگشایی احتمالی، عملکرد بهتری در استنتاج مدل‌های زبانی بزرگ به نمایش می‌گذارد.

بهینه‌سازی‌های آینده در TensorRT-LLM شامل بهبود الگوریتم رمزگشایی احتمالی مدوسا است که تاخیر استنتاج را در مدل Llama 3.1 به حداقل می‌رساند. این الگوریتم می‌تواند در مدل 70 میلیارد پارامتری Llama 3.1، 268 توکن در ثانیه و در مدل 405 میلیارد پارامتری، 108 توکن در ثانیه برای هر کاربر تولید کند.

مدوسا و افزایش 1.9 برابری سرعت تولید توکن

مدل‌های زبانی بزرگ که بر پایه معماری ترنسفورمر عمل می‌کنند، خودبازگشتی هستند؛ یعنی توکن‌ها باید به ترتیب و به‌صورت پشت‌سر‌هم تولید شوند، که این مسئله سرعت تولید توکن در هر مرحله را محدود می‌کند. به طور معمول، سرعت تولید توکن به توانایی بارگذاری وزن‌های مدل در حافظه وابسته است. این امر می‌تواند موجب شود که از ظرفیت پردازنده‌های قدرتمند H200 به‌طور کامل استفاده نشود.

رمزگشایی احتمالی روشی است که با استفاده از یک (مدل پیش‌نویس)، چندین توکن بعدی را پیش‌بینی می‌کند. سپس مدل هدف این توکن‌ها را به‌صورت گروهی تولید کرده و آن‌ها را با توکن بعدی به‌صورت موازی بررسی می‌کند. این فرآیند موجب می‌شود که از منابع پردازشی GPU بهینه‌تر استفاده شود و اگر توکن‌های پیش‌بینی‌شده توسط مدل اصلی پذیرفته شوند، در هر مرحله چندین توکن تولید شده و به‌طور قابل‌توجهی سرعت افزایش می‌یابد.

عملکرد الگوریتم جدید مدوسا انویدیا

مدوسا یک الگوریتم پیشرفته رمزگشایی احتمالی است که برخلاف دیگر روش‌ها از همان مدل اصلی به‌عنوان مدل پیش‌نویس استفاده می‌کند. این کار باعث کاهش پیچیدگی‌های سیستم و اختلافات توزیعی ناشی از استفاده از مدل‌های پیش‌نویس جداگانه می‌شود. مدوسا از (هدهای رمزگشایی) استفاده می‌کند که این هدها توکن‌های بعدی را پیش‌بینی کرده و هر هد مدوسا توزیع مربوط به توکن‌های بعدی را ارائه می‌دهد.

با کمک مدوسا، سیستم NVIDIA HGX H200 می‌تواند برای مدل 70 میلیارد پارامتری Llama 3.1، 268 توکن در ثانیه و برای مدل 405 میلیارد پارامتری، 108 توکن در ثانیه برای هر کاربر تولید کند. این نرخ در مقایسه با سیستم‌های بدون مدوسا، به ترتیب 1.5 و 1.9 برابر سریع‌تر است. اگرچه نرخ پذیرش توکن‌های تولیدشده توسط مدوسا در وظایف مختلف متفاوت است، اما عملکرد کلی آن در طیف گسترده‌ای از وظایف اثبات شده است.

هدهای مدوسا برای هر دو مدل Llama 3.1 70B و 405B با استفاده از بهینه‌ساز مدل TensorRT و چارچوب NeMo آموزش داده شده‌اند. این فرآیند با یک مدل پشتیبانی ثابت انجام شده است که به حفظ دقت مدل اصلی در هنگام استفاده از مدوسا کمک می‌کند.

نوآوری بی‌پایان انویدیا در تمامی سطوح فناوری

سیستم‌های NVIDIA HGX H200 به‌همراه NVLink Switch و TensorRT-LLM در حال حاضر عملکرد بی‌نظیری در استنتاج بلادرنگ مدل‌های پیچیده و پرکاربرد ارائه می‌دهند. انویدیا همچنان به بهبود تجربه کاربری و کاهش هزینه‌های استنتاج با نوآوری‌های مداوم در تمامی سطوح فناوری از جمله تراشه‌ها، سیستم‌ها، کتابخانه‌های نرم‌افزاری و الگوریتم‌ها ادامه می‌دهد.

مطالب مرتبط:

  • ایسوس GeForce RTX 4070 را با حافظه GDDR6 رونمایی کرد
  • نگاهی به مادربرد گیگابایت مدل  B760M E (rev. 1.0)
  • جایگزینی فریم‌ ور متن‌ باز AMD openSIL با AGESA در پردازنده‌ های Zen 6

برچسب‌ها: انویدیا

امتیاز: 5.0 از 5 (1 رای)
کمی صبر کنید...
تبلیغات
تبلیغات
سرخط خبرها:
  1. بازی بعدی استودیو Arrowhead با موتور Unreal Engine 5 ساخته می‌شود
  2. هواوی Nova Flip S معرفی شد؛ اقتصادی‌ترین گوشی تاشو بازار
  3. مک‌ بوک ایر M5 اپل در بهار 2026 معرفی خواهد شد
  4. رونمایی از سیستم مورد نیاز و پیشنهادی بازی Dispatch
  5. ایسوس ProArt PA32KCX را معرفی کرد: اولین مانیتور مینی LED 8K HDR جهان

مطالب مرتبط ...

  • 8

    کارت های گرافیک انویدیا گران شد!

    Avatarتوسط افسانه پناهی · 8 دی 1394 · 8 دی 1394

  • 0

    انویدیا کارت گرافیک RTX 2000 ADA را با قیمت 625 دلار عرضه کرد

    Avatarتوسط سوما سبحانی · 24 بهمن 1402 · 24 بهمن 1402

  • چیپ GeForce GTX 1650 OC Rev 2.0 0

    گرافیک جدید GTX 1650 با چیپ TU116-150 مشاهده شد

    Avatarتوسط محمد کرماجانی · 31 تیر 1399 · 31 تیر 1399

مطالب گوناگون از دینو

کدام داروها می‌توانند تحمل گرما را سخت‌تر کنند؟

10 فیلم فوق‌ العاده که به شما کمک می کند بچه ها را بهتر درک کنید

چگونه از نشخوار افکار منفی و تجربیات گذشته خودداری کنیم؟

دیدگاهتان را بنویسید لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

در صورتی که نظر شما حاوی ناسزا، عبارات توهین‌آمیز و تهدید بوده و در تضاد با قوانین فعلی کشور باشد از انتشار آن بدون حذف موارد ذکر شده، معذوریم.
شکلک‌ها (اموجی‌ها) را می‌توانید با کیبرد گوشی یا کیبرد مجازی ویندوز قرار دهید.
تصاویر نویسندگان دیدگاه از Gravatar گرفته می‌شود.

پربحث‌ترین‌ها

  • لیست دستگاه‌هایی که به‌روزرسانی One UI 8.5 را دریافت می‌کنند 4

    لیست دستگاه‌های سامسونگ که به‌روزرسانی One UI 8.5 را دریافت می‌کنند

  • ستارهاشمی 2

    ستار هاشمی از مقصر قطعی اینترنت در ایران پرده برداشت

  • مشخصات کنسول نسل بعدی ایکس‌باکس فاش شد 1

    مشخصات کنسول نسل بعدی ایکس‌باکس فاش شد

  • رفع فیلترینگ توسط شورای‌عالی فضای مجازی 1

    اعضای شورای‌عالی فضای مجازی درباره رفع فیلترینگ هم‌نظر نیستند

آخرین بررسی‌ها

9.1

تماشا کنید: بررسی گلکسی زد فلیپ 7 سامسونگ | تکامل با شیب ملایم

9.1

بررسی مانیتور گیمینگ Gigabyte M27QA ICE: انتخاب جذاب گیمرهای QHD

9

بررسی پاور FSP VITA GM 1000W

8.7

بررسی پاور GREEN GP800A-UK EVO V3.1 GOLD

9.1

تماشا کنید: بررسی گوشی گلکسی زد فولد 7 سامسونگ - این لاکچریِ جذاب!

آخرین مطالب دینو

آیا باید زمانی که هنوز از تمرین قبلی‌ درد دارید، ورزش کنید؟

اگر پس از یک جلسه دویدن یا تمرین در…

  • گیاهان دارویی و ادویه‌هایی که به بهبود گوارش کمک می‌کنند

  • ماه زنگ زده و مقصر زمین است!

  • راز پیوند شیمیایی میان انسان و گربه‌ها؛ هورمون عشق وارد عمل می‌شود

  • شناسایی رسمی دیابت نوع 5؛ همه چیز درباره علائم، علت و درمان

  • مطلب بعدی شایعه: بازی GTA 6 تاخیر خورد؛ عرضه نسخه PC در سال 2028!
  • مطلب قبلی ویدیو گیم پلی ریمیک بازی‌های Crazy Taxi و Shinobi لیک شدند
  • آخرین مطالب
  • محبوب‌ترین مطالب
  • بازی جدید استودیو Arrowhead

    بازی بعدی استودیو Arrowhead با موتور Unreal Engine 5 ساخته می‌شود

  • هواوی Nova Flip S معرفی شد؛ اقتصادی‌ترین گوشی تاشو بازار

  • مک‌ بوک ایر M5 اپل در بهار 2026 معرفی خواهد شد

    مک‌ بوک ایر M5 اپل در بهار 2026 معرفی خواهد شد

  • بازی Dispatch

    رونمایی از سیستم مورد نیاز و پیشنهادی بازی Dispatch

  • ایسوس ProArt PA32KCX را معرفی کرد: اولین مانیتور مینی LED 8K HDR جهان

  • لیست دستگاه‌هایی که به‌روزرسانی One UI 8.5 را دریافت می‌کنند 4

    لیست دستگاه‌های سامسونگ که به‌روزرسانی One UI 8.5 را دریافت می‌کنند

  • ستارهاشمی 2

    ستار هاشمی از مقصر قطعی اینترنت در ایران پرده برداشت

  • شروع طوفانی بازی بتلفیلد 6 1

    شروع طوفانی بازی بتلفیلد 6 در پلتفرم استیم

  • مشخصات کنسول نسل بعدی ایکس‌باکس فاش شد 1

    مشخصات کنسول نسل بعدی ایکس‌باکس فاش شد

  • رفع فیلترینگ توسط شورای‌عالی فضای مجازی 1

    اعضای شورای‌عالی فضای مجازی درباره رفع فیلترینگ هم‌نظر نیستند

آخرین دیدگاه‌ها

  • Avatar
    . گفته است:
    آقا این گیم عملا گرافیک نسل۷ داره کجاش قراره تمجید بشه؟...
  • Avatar
    رایان گفته است:
    عالی
  • Avatar
    آرمین ابیشی گفته است:
    عطا جان، من مهندس طراح پاور نیستم، اما اینو میدونم نمیشه...
  • Avatar
    عطا گفته است:
    با توجه به واتیج بالای این مدل چرا از Full-Bridge استفاده...
  • Avatar
    میثم گفته است:
    عالی
  • Avatar
    مهدی گفته است:
    سلام نه
  • Avatar
    Ashkan Daliran گفته است:
    برای بررسی سریع اینکه آیا دستگاه شما One UI 8.5 را...
  • Avatar
    رضا گفته است:
    آیا گوشی سامسونگ آ۱۴بروز رسانی دریافت میکند
  • Avatar
    سیدمحمد اکرمی گفته است:
    امروز مهر ۱۴۰۴ قیمت همون کارت های استوک ماین شده هنوز...
  • Avatar
    حسن گفته است:
    حدود ۱۵ سال پشت سر هم فقط موتورولا میخریدم منو با...
راهنمای خرید سیستم ۵۰ میلیون تومانی برای بازی بتلفیلد ۶ (حداقل بودجه) 0
راهنمای خرید و مشاوره سیستم پیشنهادی هایلایت ویژه
راهنمای خرید سیستم اقتصادی برای اجرای بازی بتلفیلد 6 (بودجه 50 میلیون تومانی)
22 مهر 1404
راهنمای خرید تبلت 8
تبلت راهنمای خرید و مشاوره
راهنمای خرید تبلت بر اساس بودجه‌های مختلف (پاییز 1404)
12 مهر 1404
راهنمای خرید ساعت هوشمند 4
راهنمای خرید و مشاوره
راهنمای خرید ساعت هوشمند و مچ بند با بودجه‌های مختلف (پاییز 1404)
9 مهر 1404
راهنمای خرید پاور بانک با بودجه‌های مختلف 1
راهنمای خرید و مشاوره
راهنمای خرید پاور بانک با بودجه‌های مختلف (پاییز 1404)
7 مهر 1404
راهنمای خرید ماوس و کیبورد 2
راهنمای خرید و مشاوره
راهنمای خرید موس و کیبورد با بودجه‌های مختلف (پاییز 1404)
5 مهر 1404
راهنمای خرید لپ تاپ گیمینگ 469
راهنمای خرید و مشاوره
راهنمای خرید لپ تاپ گیمینگ با بودجه های مختلف (مهر 1404)
4 مهر 1404
  • سخت‌افزارمگ
  • درباره ما
  • تبلیغات
  • استخدام
سخت‌افزارمگ

© 2025 Sakhtafzarmag.Com. All Rights Reserved.

صفحه نخست » اخبار و مقالات » عملکرد الگوریتم جدید مدوسا انویدیا تا 1.9 برابر رشد برای Llama 3.1 دارد

ورود

عضویت

رمزتان را گم کرده‌اید؟

عضویت | رمزتان را گم کرده‌اید؟
| بازگشت به ورود