موضوعات داغ
  • نمایشگاه کامپیوتکس ۲۰۲۵
  • بازی GTA VI
  • هوش مصنوعی
  • استارلینک
  • چت‌بات‌ها
  • دینو
سخت افزار مگ
  • اخبار و مقالات
    • گوشی موبایل
      • لوازم جانبی موبایل
    • تبلت
    • لپ تاپ
    • دسکتاپ
      • مادربرد
      • پردازنده مرکزی
      • کارت گرافیک
      • تجهیزات ذخیره سازی
      • حافظه
      • صفحه نمایش
      • تجهیزات جانبی
    • تصویرگری دیجیتال
    • صوتی و تصویری
    • شبکه
    • نرم افزار و بازی
    • کالبدشکافی قطعات
    • مطالب گوناگون
  • لیست قیمت
    • گوشی موبایل
      • لیست قیمت روز گوشی‌های سامسونگ
      • لیست قیمت روز گوشی‌های شیائومی
      • لیست قیمت روز گوشی‌های هواوی
      • لیست قیمت روز گوشی های آنر
    • تبلت
    • لپ‌تاپ
    • قطعات کامپیوتر
      • لیست قیمت پردازنده
    • محصولات اپل
    • تجهیزات شبکه
    • لوازم خانگی
    • صوتی و تصویری
    • دوربین دیجیتال
    • تجهیزات بازی
    • خودرو
  • بررسی
    • بررسی گوشی موبایل
    • بررسی تبلت
    • بررسی لپ تاپ
    • دسکتاپ
      • بررسی کولر و فن
      • بررسی مادربرد
      • بررسی کارت گرافیک
      • بررسی تجهیزات ذخیره سازی
      • بررسی حافظه
      • بررسی منبع تغذیه و کیس
      • بررسی تجهیزات جانبی
      • بررسی صفحه نمایش
    • بررسی تصویرگری دیجیتال
    • بررسی صوتی و تصویری
    • بررسی شبکه
    • بررسی نرم افزار و بازی
    • بررسی گوناگون
  • راهنمای خرید
    • سیستم پیشنهادی
  • دانلود
  • ویژه
    • مسابقات
    • نمایشگاه
تبلیغات
تبلیغات
تبلیغات

اخبار و مقالات

عملکرد الگوریتم جدید مدوسا انویدیا

عملکرد الگوریتم جدید مدوسا انویدیا تا 1.9 برابر رشد برای Llama 3.1 دارد

Avatarتوسط وحید دلشاد ·18 شهریور 140318 شهریور 1403· 0

شتاب‌دهنده‌های هوش مصنوعی NVIDIA HGX H200 با استفاده از الگوریتم مدوسا توانستند به پیشرفت چشمگیری در پردازش و استنتاج مدل Llama 3.1 دست یابند. نوآوری انویدیا در اکوسیستم نرم‌افزاری خود ادامه دارد و با کمک مدوسا، به بهبود عملکرد دست یافته است. عملکرد الگوریتم جدید مدوسا انویدیا نسبت به مدل‌های قبلی سرعت و قدرت بیشتری به همراه دارد.

با گسترش مدل‌های زبانی بزرگ (LLM) و افزایش پیچیدگی آن‌ها، استفاده از پردازش‌های چندگرافیکی (Multi-GPU) برای ارائه تاخیر کمتر و بازدهی بیشتر در کاربردهای هوش مصنوعی بلادرنگ ضروری شده است.

در سیستم‌های چندگرافیکی، عملکرد به توانایی پردازش همزمان درخواست‌ها با استفاده از چندین پردازنده گرافیکی وابسته است. این پردازنده‌ها به‌عنوان یک واحد قدرتمند عمل می‌کنند، با ارتباط فوق‌سریع بین GPU‌ها و استفاده از نرم‌افزارهای پیشرفته که توانایی بهره‌برداری کامل از ظرفیت چند GPU را دارند. این کار به کمک تکنیک‌هایی مثل (موازی‌سازی تنسور) و الگوریتم‌هایی مانند رمزگشایی احتمالی انجام می‌شود که با آن می‌توان تأخیر تولید توکن‌ها را بهبود بخشید و تجربه کاربری را روان‌تر کرد.

عملکرد الگوریتم جدید مدوسا انویدیا

برای پردازش سریع Llama 3.1، سیستم‌های ابری می‌توانند از یک سرور NVIDIA HGX H200 استفاده کنند. هر سرور شامل هشت پردازنده گرافیکی H200 Tensor Core و چهار تراشه NVLink Switch است. این پردازنده‌ها می‌توانند با پهنای باند کامل 900 گیگابایت بر ثانیه به یکدیگر متصل شوند. این پهنای باند بالا مانع از ایجاد گلوگاه‌های ارتباطی بین پردازنده‌ها در استفاده‌های تعاملی می‌شود.

کتابخانه TensorRT-LLM و نقش آن در بهبود عملکرد

برای بهینه‌سازی الگوریتم‌های مختلف بر روی سیستم‌های NVIDIA H200 HGX، انویدیا از کتابخانه متن‌باز TensorRT-LLM استفاده می‌کند. این کتابخانه با استفاده از تکنیک‌های پیشرفته مانند موازی‌سازی تنسور و رمزگشایی احتمالی، عملکرد بهتری در استنتاج مدل‌های زبانی بزرگ به نمایش می‌گذارد.

بهینه‌سازی‌های آینده در TensorRT-LLM شامل بهبود الگوریتم رمزگشایی احتمالی مدوسا است که تاخیر استنتاج را در مدل Llama 3.1 به حداقل می‌رساند. این الگوریتم می‌تواند در مدل 70 میلیارد پارامتری Llama 3.1، 268 توکن در ثانیه و در مدل 405 میلیارد پارامتری، 108 توکن در ثانیه برای هر کاربر تولید کند.

مدوسا و افزایش 1.9 برابری سرعت تولید توکن

مدل‌های زبانی بزرگ که بر پایه معماری ترنسفورمر عمل می‌کنند، خودبازگشتی هستند؛ یعنی توکن‌ها باید به ترتیب و به‌صورت پشت‌سر‌هم تولید شوند، که این مسئله سرعت تولید توکن در هر مرحله را محدود می‌کند. به طور معمول، سرعت تولید توکن به توانایی بارگذاری وزن‌های مدل در حافظه وابسته است. این امر می‌تواند موجب شود که از ظرفیت پردازنده‌های قدرتمند H200 به‌طور کامل استفاده نشود.

رمزگشایی احتمالی روشی است که با استفاده از یک (مدل پیش‌نویس)، چندین توکن بعدی را پیش‌بینی می‌کند. سپس مدل هدف این توکن‌ها را به‌صورت گروهی تولید کرده و آن‌ها را با توکن بعدی به‌صورت موازی بررسی می‌کند. این فرآیند موجب می‌شود که از منابع پردازشی GPU بهینه‌تر استفاده شود و اگر توکن‌های پیش‌بینی‌شده توسط مدل اصلی پذیرفته شوند، در هر مرحله چندین توکن تولید شده و به‌طور قابل‌توجهی سرعت افزایش می‌یابد.

عملکرد الگوریتم جدید مدوسا انویدیا

مدوسا یک الگوریتم پیشرفته رمزگشایی احتمالی است که برخلاف دیگر روش‌ها از همان مدل اصلی به‌عنوان مدل پیش‌نویس استفاده می‌کند. این کار باعث کاهش پیچیدگی‌های سیستم و اختلافات توزیعی ناشی از استفاده از مدل‌های پیش‌نویس جداگانه می‌شود. مدوسا از (هدهای رمزگشایی) استفاده می‌کند که این هدها توکن‌های بعدی را پیش‌بینی کرده و هر هد مدوسا توزیع مربوط به توکن‌های بعدی را ارائه می‌دهد.

با کمک مدوسا، سیستم NVIDIA HGX H200 می‌تواند برای مدل 70 میلیارد پارامتری Llama 3.1، 268 توکن در ثانیه و برای مدل 405 میلیارد پارامتری، 108 توکن در ثانیه برای هر کاربر تولید کند. این نرخ در مقایسه با سیستم‌های بدون مدوسا، به ترتیب 1.5 و 1.9 برابر سریع‌تر است. اگرچه نرخ پذیرش توکن‌های تولیدشده توسط مدوسا در وظایف مختلف متفاوت است، اما عملکرد کلی آن در طیف گسترده‌ای از وظایف اثبات شده است.

هدهای مدوسا برای هر دو مدل Llama 3.1 70B و 405B با استفاده از بهینه‌ساز مدل TensorRT و چارچوب NeMo آموزش داده شده‌اند. این فرآیند با یک مدل پشتیبانی ثابت انجام شده است که به حفظ دقت مدل اصلی در هنگام استفاده از مدوسا کمک می‌کند.

نوآوری بی‌پایان انویدیا در تمامی سطوح فناوری

سیستم‌های NVIDIA HGX H200 به‌همراه NVLink Switch و TensorRT-LLM در حال حاضر عملکرد بی‌نظیری در استنتاج بلادرنگ مدل‌های پیچیده و پرکاربرد ارائه می‌دهند. انویدیا همچنان به بهبود تجربه کاربری و کاهش هزینه‌های استنتاج با نوآوری‌های مداوم در تمامی سطوح فناوری از جمله تراشه‌ها، سیستم‌ها، کتابخانه‌های نرم‌افزاری و الگوریتم‌ها ادامه می‌دهد.

مطالب مرتبط:

  • ایسوس GeForce RTX 4070 را با حافظه GDDR6 رونمایی کرد
  • نگاهی به مادربرد گیگابایت مدل  B760M E (rev. 1.0)
  • جایگزینی فریم‌ ور متن‌ باز AMD openSIL با AGESA در پردازنده‌ های Zen 6

برچسب‌ها: انویدیا

امتیاز: 5.0 از 5 (1 رای)
کمی صبر کنید...
تبلیغات
تبلیغات
سرخط خبرها:
  1. گوشی اقتصادی گلکسی زد فلیپ FE سامسونگ با قیمت 899 دلار عرضه شد
  2. لیندا یاکارینو از مدیرعاملی ایکس کناره‌ گیری کرد
  3. سرورهای بازی Steel Hunters پس از 3 ماه بسته می‌شوند
  4. گلکسی زد فولد 7 دو هزار دلاری از قلم S Pen پشتیبانی نخواهد کرد
  5. دسترسی ساعت‌های هوشمند به جمینای و گسترش قابلیت Circle to Search

مطالب مرتبط ...

  • 0

    گرافیک GTX 1650 با حافظه GDDR6 مشاهده شد

    Avatarتوسط محمد کرماجانی · 24 بهمن 1398 · 24 بهمن 1398

  • 1

    رشد بازار کارت گرافیک با وجود کمبود تراشه

    Avatarتوسط بهنام آزادخواه · 6 شهریور 1400 · 6 شهریور 1400

  • 2

    انویدیا با فروش تراشه Blackwell جدید در چین 10 میلیارد دلار درآمد کسب می‌کند

    Avatarتوسط سوما سبحانی · 3 خرداد 1404 · 3 خرداد 1404

مطالب گوناگون از دینو

6 ترند که در دکوراسیون خانه سال 2025 می‌ بینید

حقیقت هایی جالب در مورد بدن زنان و مردان که کمتر کسی از آن اطلاع دارد

رفتار های نادرست والدین منجر به مشکلات روانی فرزند در بزرگسالی می شود

دیدگاهتان را بنویسید لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

در صورتی که نظر شما حاوی ناسزا، عبارات توهین‌آمیز و تهدید بوده و در تضاد با قوانین فعلی کشور باشد از انتشار آن بدون حذف موارد ذکر شده، معذوریم.
شکلک‌ها (اموجی‌ها) را می‌توانید با کیبرد گوشی یا کیبرد مجازی ویندوز قرار دهید.
تصاویر نویسندگان دیدگاه از Gravatar گرفته می‌شود.

پربحث‌ترین‌ها

  • نظرسنجی صداوسیما درباره واتساپ 3

    نظرسنجی صداوسیما: 68 درصد مردم پیام‌رسان‌های خارجی را ابزار جاسوسی می‌دانند!

  • 1

    MaxSun پنج کارت گرافیک RTX 5050، از جمله اولین طراحی ITX تک فن خود را عرضه می‌کند

  • عرضه دوباره بازی MindsEye 1

    آیا بازی MindsEye دوباره عرضه خواهد شد؟

  • 1

    کانکتور 12VHPWR کارت گرافیک RTX 3060 Ti به طرز فجیعی ذوب شد

آخرین بررسی‌ها

8.5

بررسی کیس آراد گرین - گیمینگ خوش قیمت و خوش ساخت (اعلام برنده)

9.4

بررسی سلطان ایرکولینگ دنیا  ASSASSIN IV VC VISION دیپ کول

8.3

بررسی کیس ای دیتا ایکس پی جی INVADER X MINI WHITE

9.2

بررسی مادربرد گیگابایت Z890 AI TOP

9.3

بررسی کارت گرافیک گیگابایت RTX 5080 16GB GAMING OC

آخرین مطالب دینو

دریپر قهوه چیست؟ معرفی انواع دریپرهای قهوه

در دنیای قهوه‌دوستان حرفه‌ای، روش‌های دم‌آوری قهوه نقش مهمی…

  • ۵ اشتباه رایج شرکت‌ها در انتخاب غذای سازمانی

  • چرا انسان‌ های خوب، کارهای بد انجام می‌دهند؟

  • این داروها می‌توانند تحمل گرما را سخت‌تر کنند

  • 4 عادت که به شما کمک می‌کند تا 100 سالگی زندگی کنید

  • مطلب بعدی شایعه: بازی GTA 6 تاخیر خورد؛ عرضه نسخه PC در سال 2028!
  • مطلب قبلی ویدیو گیم پلی ریمیک بازی‌های Crazy Taxi و Shinobi لیک شدند
  • آخرین مطالب
  • محبوب‌ترین مطالب
  • گوشی اقتصادی گلکسی زد فلیپ FE سامسونگ با قیمت 899 دلار عرضه شد

  • لیندا یاکارینو از مدیرعاملی ایکس کناره‌ گیری کرد

  • سرورهای بازی Steel Hunters

    سرورهای بازی Steel Hunters پس از 3 ماه بسته می‌شوند

  • گلکسی زد فولد 7 دو هزار دلاری از قلم S Pen پشتیبانی نخواهد کرد

  • دسترسی ساعت‌های هوشمند به جمینای و گسترش قابلیت Circle to Search

    دسترسی ساعت‌های هوشمند به جمینای و گسترش قابلیت Circle to Search

  • نظرسنجی صداوسیما درباره واتساپ 3

    نظرسنجی صداوسیما: 68 درصد مردم پیام‌رسان‌های خارجی را ابزار جاسوسی می‌دانند!

  • 1

    MaxSun پنج کارت گرافیک RTX 5050، از جمله اولین طراحی ITX تک فن خود را عرضه می‌کند

  • راهنمای خرید پاور بانک با بودجه‌های مختلف 1

    راهنمای خرید پاور بانک با بودجه‌های مختلف (تابستان 1404)

  • عرضه دوباره بازی MindsEye 1

    آیا بازی MindsEye دوباره عرضه خواهد شد؟

  • 1

    کانکتور 12VHPWR کارت گرافیک RTX 3060 Ti به طرز فجیعی ذوب شد

آخرین دیدگاه‌ها

  • Avatar
    نیما نویدی گفته است:
    چه عجب این نمایشگر دومش رو بالاخره تمام صفحه کرد‌ کی...
  • Avatar
    حمید گفته است:
    یکم زیادی گرون نیست؟ واقعا منطقی نیست با این قیمت
  • Avatar
    احمد گفته است:
    افرین.خوب گفتی.دمت گرم
  • Avatar
    آرمین ابیشی گفته است:
    نیازی به خاموش کردن محافظ نیست. نکنید
  • Avatar
    امیرسام گفته است:
    سلام وقتی کامپیوتر را شات داون میکنیم.محافظ برق را خاموش کنیم...
  • Avatar
    محمد مهدی گفته است:
    بابا تر کیه از پا کسانی زعیف تره پاکستان بمب اتم...
  • Avatar
    جواد لشگری گفته است:
    سلام مکانیسم ماشه بیاد تا ۴ ماه دیگر و۱۹۳ کشور جهان...
  • Avatar
    مهمان گفته است:
    واتساپ رو خود آمریکایی ها هم می‌دونن نا امنه شاید یکی...
  • Avatar
    رضا گفته است:
    صدا و سیما حرف مفت زیاد میزنه رفع فیلترینگ بهتر از...
  • Avatar
    kambiz گفته است:
    از 100 درصد باقی مونده مخاطبان صدا و سیما فقط %68...
راهنمای خرید پاور بانک با بودجه‌های مختلف 1
راهنمای خرید و مشاوره
راهنمای خرید پاور بانک با بودجه‌های مختلف (تابستان 1404)
13 تیر 1404
راهنمای خرید ماوس و کیبورد 2
راهنمای خرید و مشاوره
راهنمای خرید موس و کیبورد با بودجه‌های مختلف (تیر 1404)
11 تیر 1404
راهنمای خرید لپ تاپ گیمینگ 469
راهنمای خرید و مشاوره
راهنمای خرید لپ تاپ گیمینگ با بودجه های مختلف (تیر 1404)
10 تیر 1404
راهنمای خرید مانیتور 68
راهنمای خرید و مشاوره
راهنمای خرید مانیتور با بهترین قیمت در بودجه‌های مختلف (تیر 1404)
9 تیر 1404
راهنمای خرید لپ تاپ با بودجه های مختلف 1,300
راهنمای خرید و مشاوره
راهنمای خرید لپ تاپ با بودجه های مختلف (تیر 1404)
7 تیر 1404
راهنمای خرید گوشی موبایل 491
راهنمای خرید و مشاوره هایلایت
راهنمای خرید گوشی موبایل بر اساس بودجه‌های مختلف (تیر 1404)
5 تیر 1404
  • سخت‌افزارمگ
  • درباره ما
  • تبلیغات
  • استخدام
سخت‌افزارمگ

© 2025 Sakhtafzarmag.Com. All Rights Reserved.

صفحه نخست » اخبار و مقالات » عملکرد الگوریتم جدید مدوسا انویدیا تا 1.9 برابر رشد برای Llama 3.1 دارد

ورود

عضویت

رمزتان را گم کرده‌اید؟

عضویت | رمزتان را گم کرده‌اید؟
| بازگشت به ورود