موضوعات داغ
  • آیفون 17 اپل
  • بازی GTA VI
  • گلکسی S25 FE سامسونگ
  • هوش مصنوعی
  • گیمزکام ۲۰۲۵
  • دینو
سخت افزار مگ
  • اخبار و مقالات
    • گوشی موبایل
      • لوازم جانبی موبایل
    • تبلت
    • لپ تاپ
    • دسکتاپ
      • مادربرد
      • پردازنده مرکزی
      • کارت گرافیک
      • تجهیزات ذخیره سازی
      • حافظه
      • صفحه نمایش
      • تجهیزات جانبی
    • تصویرگری دیجیتال
    • صوتی و تصویری
    • شبکه
    • نرم افزار و بازی
    • کالبدشکافی قطعات
    • مطالب گوناگون
  • بررسی
    • بررسی گوشی موبایل
    • بررسی تبلت
    • بررسی لپ تاپ
    • دسکتاپ
      • بررسی کولر و فن
      • بررسی مادربرد
      • بررسی کارت گرافیک
      • بررسی تجهیزات ذخیره سازی
      • بررسی حافظه
      • بررسی منبع تغذیه و کیس
      • بررسی تجهیزات جانبی
      • بررسی صفحه نمایش
    • بررسی تصویرگری دیجیتال
    • بررسی صوتی و تصویری
    • بررسی شبکه
    • بررسی نرم افزار و بازی
    • بررسی گوناگون
  • راهنمای خرید
    • سیستم پیشنهادی
  • لیست قیمت
    • گوشی موبایل
      • لیست قیمت روز گوشی‌های سامسونگ
      • لیست قیمت روز گوشی‌های شیائومی
      • لیست قیمت روز گوشی‌های هواوی
      • لیست قیمت روز گوشی های آنر
    • تبلت
    • لپ‌تاپ
    • قطعات کامپیوتر
      • لیست قیمت پردازنده
    • محصولات اپل
    • تجهیزات شبکه
    • لوازم خانگی
    • صوتی و تصویری
    • دوربین دیجیتال
    • تجهیزات بازی
    • خودرو
  • ویژه
    • مسابقات
    • نمایشگاه
تبلیغات
تبلیغات
تبلیغات
تبلیغات
تبلیغات
تبلیغات
تبلیغات

اخبار و مقالات

عملکرد الگوریتم جدید مدوسا انویدیا

عملکرد الگوریتم جدید مدوسا انویدیا تا 1.9 برابر رشد برای Llama 3.1 دارد

Avatarتوسط وحید دلشاد ·18 شهریور 140318 شهریور 1403· 0

شتاب‌دهنده‌های هوش مصنوعی NVIDIA HGX H200 با استفاده از الگوریتم مدوسا توانستند به پیشرفت چشمگیری در پردازش و استنتاج مدل Llama 3.1 دست یابند. نوآوری انویدیا در اکوسیستم نرم‌افزاری خود ادامه دارد و با کمک مدوسا، به بهبود عملکرد دست یافته است. عملکرد الگوریتم جدید مدوسا انویدیا نسبت به مدل‌های قبلی سرعت و قدرت بیشتری به همراه دارد.

با گسترش مدل‌های زبانی بزرگ (LLM) و افزایش پیچیدگی آن‌ها، استفاده از پردازش‌های چندگرافیکی (Multi-GPU) برای ارائه تاخیر کمتر و بازدهی بیشتر در کاربردهای هوش مصنوعی بلادرنگ ضروری شده است.

در سیستم‌های چندگرافیکی، عملکرد به توانایی پردازش همزمان درخواست‌ها با استفاده از چندین پردازنده گرافیکی وابسته است. این پردازنده‌ها به‌عنوان یک واحد قدرتمند عمل می‌کنند، با ارتباط فوق‌سریع بین GPU‌ها و استفاده از نرم‌افزارهای پیشرفته که توانایی بهره‌برداری کامل از ظرفیت چند GPU را دارند. این کار به کمک تکنیک‌هایی مثل (موازی‌سازی تنسور) و الگوریتم‌هایی مانند رمزگشایی احتمالی انجام می‌شود که با آن می‌توان تأخیر تولید توکن‌ها را بهبود بخشید و تجربه کاربری را روان‌تر کرد.

عملکرد الگوریتم جدید مدوسا انویدیا

برای پردازش سریع Llama 3.1، سیستم‌های ابری می‌توانند از یک سرور NVIDIA HGX H200 استفاده کنند. هر سرور شامل هشت پردازنده گرافیکی H200 Tensor Core و چهار تراشه NVLink Switch است. این پردازنده‌ها می‌توانند با پهنای باند کامل 900 گیگابایت بر ثانیه به یکدیگر متصل شوند. این پهنای باند بالا مانع از ایجاد گلوگاه‌های ارتباطی بین پردازنده‌ها در استفاده‌های تعاملی می‌شود.

کتابخانه TensorRT-LLM و نقش آن در بهبود عملکرد

برای بهینه‌سازی الگوریتم‌های مختلف بر روی سیستم‌های NVIDIA H200 HGX، انویدیا از کتابخانه متن‌باز TensorRT-LLM استفاده می‌کند. این کتابخانه با استفاده از تکنیک‌های پیشرفته مانند موازی‌سازی تنسور و رمزگشایی احتمالی، عملکرد بهتری در استنتاج مدل‌های زبانی بزرگ به نمایش می‌گذارد.

بهینه‌سازی‌های آینده در TensorRT-LLM شامل بهبود الگوریتم رمزگشایی احتمالی مدوسا است که تاخیر استنتاج را در مدل Llama 3.1 به حداقل می‌رساند. این الگوریتم می‌تواند در مدل 70 میلیارد پارامتری Llama 3.1، 268 توکن در ثانیه و در مدل 405 میلیارد پارامتری، 108 توکن در ثانیه برای هر کاربر تولید کند.

مدوسا و افزایش 1.9 برابری سرعت تولید توکن

مدل‌های زبانی بزرگ که بر پایه معماری ترنسفورمر عمل می‌کنند، خودبازگشتی هستند؛ یعنی توکن‌ها باید به ترتیب و به‌صورت پشت‌سر‌هم تولید شوند، که این مسئله سرعت تولید توکن در هر مرحله را محدود می‌کند. به طور معمول، سرعت تولید توکن به توانایی بارگذاری وزن‌های مدل در حافظه وابسته است. این امر می‌تواند موجب شود که از ظرفیت پردازنده‌های قدرتمند H200 به‌طور کامل استفاده نشود.

رمزگشایی احتمالی روشی است که با استفاده از یک (مدل پیش‌نویس)، چندین توکن بعدی را پیش‌بینی می‌کند. سپس مدل هدف این توکن‌ها را به‌صورت گروهی تولید کرده و آن‌ها را با توکن بعدی به‌صورت موازی بررسی می‌کند. این فرآیند موجب می‌شود که از منابع پردازشی GPU بهینه‌تر استفاده شود و اگر توکن‌های پیش‌بینی‌شده توسط مدل اصلی پذیرفته شوند، در هر مرحله چندین توکن تولید شده و به‌طور قابل‌توجهی سرعت افزایش می‌یابد.

عملکرد الگوریتم جدید مدوسا انویدیا

مدوسا یک الگوریتم پیشرفته رمزگشایی احتمالی است که برخلاف دیگر روش‌ها از همان مدل اصلی به‌عنوان مدل پیش‌نویس استفاده می‌کند. این کار باعث کاهش پیچیدگی‌های سیستم و اختلافات توزیعی ناشی از استفاده از مدل‌های پیش‌نویس جداگانه می‌شود. مدوسا از (هدهای رمزگشایی) استفاده می‌کند که این هدها توکن‌های بعدی را پیش‌بینی کرده و هر هد مدوسا توزیع مربوط به توکن‌های بعدی را ارائه می‌دهد.

با کمک مدوسا، سیستم NVIDIA HGX H200 می‌تواند برای مدل 70 میلیارد پارامتری Llama 3.1، 268 توکن در ثانیه و برای مدل 405 میلیارد پارامتری، 108 توکن در ثانیه برای هر کاربر تولید کند. این نرخ در مقایسه با سیستم‌های بدون مدوسا، به ترتیب 1.5 و 1.9 برابر سریع‌تر است. اگرچه نرخ پذیرش توکن‌های تولیدشده توسط مدوسا در وظایف مختلف متفاوت است، اما عملکرد کلی آن در طیف گسترده‌ای از وظایف اثبات شده است.

هدهای مدوسا برای هر دو مدل Llama 3.1 70B و 405B با استفاده از بهینه‌ساز مدل TensorRT و چارچوب NeMo آموزش داده شده‌اند. این فرآیند با یک مدل پشتیبانی ثابت انجام شده است که به حفظ دقت مدل اصلی در هنگام استفاده از مدوسا کمک می‌کند.

نوآوری بی‌پایان انویدیا در تمامی سطوح فناوری

سیستم‌های NVIDIA HGX H200 به‌همراه NVLink Switch و TensorRT-LLM در حال حاضر عملکرد بی‌نظیری در استنتاج بلادرنگ مدل‌های پیچیده و پرکاربرد ارائه می‌دهند. انویدیا همچنان به بهبود تجربه کاربری و کاهش هزینه‌های استنتاج با نوآوری‌های مداوم در تمامی سطوح فناوری از جمله تراشه‌ها، سیستم‌ها، کتابخانه‌های نرم‌افزاری و الگوریتم‌ها ادامه می‌دهد.

مطالب مرتبط:

  • ایسوس GeForce RTX 4070 را با حافظه GDDR6 رونمایی کرد
  • نگاهی به مادربرد گیگابایت مدل  B760M E (rev. 1.0)
  • جایگزینی فریم‌ ور متن‌ باز AMD openSIL با AGESA در پردازنده‌ های Zen 6

برچسب‌ها: انویدیا

امتیاز: 5.0 از 5 (1 رای)
کمی صبر کنید...
تبلیغات
تبلیغات
سرخط خبرها:
  1. غلبه Core Ultra 3 205 اینتل بر Core i3 14100 در عملکرد تک هسته‌ای!
  2. کالرفول Rimbook S1؛ لپتاپ اقتصادی با پردازنده نسل سیزدهم اینتل و نمایشگر 16:10
  3. چگونه گزینه Field of View (FOV) را در نسخه PC بازی Borderlands IV تنظیم کنیم؟
  4. انویدیا نخستین مشتری فرآیند A16 شرکت TSMC خواهد بود
  5. کوالکام نام پردازنده پرچمدار جدید خود را تایید کرد: اسنپدراگون 8 الیت نسل 5

مطالب مرتبط ...

  • 0

    سال 2024 با کاهش فروش پردازنده و گرافیک آغاز شد، AMD با کاهش دو رقمی روبرو است

    Avatarتوسط سوما سبحانی · 10 خرداد 1403 · 10 خرداد 1403

  • 14

    بایوس دستکاری شده انویدیا TITAN X کارایی را بیش از پیش افزایش می دهد

    Avatarتوسط بابک ولی زاده · 3 فروردین 1394 · 22 اسفند 1398

  • 12

    بازی Crysis 3 را روی سیستم عامل اندروید اجرا کنید!

    Avatarتوسط حسام شالیکاریان · 13 اسفند 1393 · 13 اسفند 1393

مطالب گوناگون از دینو

کدام داروها می‌توانند تحمل گرما را سخت‌تر کنند؟

10 فیلم فوق‌ العاده که به شما کمک می کند بچه ها را بهتر درک کنید

چگونه از نشخوار افکار منفی و تجربیات گذشته خودداری کنیم؟

دیدگاهتان را بنویسید لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

در صورتی که نظر شما حاوی ناسزا، عبارات توهین‌آمیز و تهدید بوده و در تضاد با قوانین فعلی کشور باشد از انتشار آن بدون حذف موارد ذکر شده، معذوریم.
شکلک‌ها (اموجی‌ها) را می‌توانید با کیبرد گوشی یا کیبرد مجازی ویندوز قرار دهید.
تصاویر نویسندگان دیدگاه از Gravatar گرفته می‌شود.

پربحث‌ترین‌ها

  • آزادسازی واردات ته‌لنجی 97 قلم کالا 3

    اعتراض انجمن لوازم خانگی ایران به آزادسازی واردات ته‌لنجی 97 قلم کالا

  • 1

    مقایسه آیفون 17 پرو با آیفون 16 پرو؛ همه تغییرات مهم در یک نگاه

  • گوشی‌های اپل با نام شیائومی در ایران 1

    ادعای جنجالی یک منبع داخلی: گوشی‌های اپل با نام شیائومی وارد ایران می‌شود!

  • 1

    سرورهای هوش مصنوعی انویدیا با تقاضای غیرقابل تصوری روبه‌رو خواهند شد

آخرین بررسی‌ها

9.1

تماشا کنید: بررسی گوشی گلکسی زد فولد 7 سامسونگ - این لاکچریِ جذاب!

8.4

بررسی ریلمی C75 – این گوشی اقتصادیِ جان سخت

8.6

بررسی مادربرد گیگابایت B860 GAMING X WIFI6E

9

بررسی کیس گیگابایت AORUS C500 GLASS

8.5

بررسی کیس آراد گرین - گیمینگ خوش قیمت و خوش ساخت (اعلام برنده)

آخرین مطالب دینو

کافئین کمتر، خواب عمیق‌تر؛ ارتباط شگفت‌انگیز کافئین و رویا ها

آیا اخیراً مصرف کافئین خود را کاهش داده‌اید و…

  • بازی‌ های ویدیویی کودکان را باهوش‌تر می‌کنند!

  • نوشتن، کارت بازی و حل جدول خطر ابتلا به زوال عقل را در بزرگسالان کاهش می دهد

  • اگر مشهدی هستی و عاشق معمایی، این اتاق فرارها منتظر توئن!

  • 5 نکته‌ که باید پیش از خرید مکمل‌ ها بدانید

  • مطلب بعدی شایعه: بازی GTA 6 تاخیر خورد؛ عرضه نسخه PC در سال 2028!
  • مطلب قبلی ویدیو گیم پلی ریمیک بازی‌های Crazy Taxi و Shinobi لیک شدند
  • آخرین مطالب
  • محبوب‌ترین مطالب
  • غلبه Core Ultra 3 205 اینتل بر Core i3 14100 در عملکرد تک هسته‌ای!

  • کالرفول Rimbook S1؛ لپتاپ اقتصادی با پردازنده نسل سیزدهم اینتل و نمایشگر 16:10

    کالرفول Rimbook S1؛ لپتاپ اقتصادی با پردازنده نسل سیزدهم اینتل و نمایشگر 16:10

  • FOV در نسخه PC بازی Borderlands IV

    چگونه گزینه Field of View (FOV) را در نسخه PC بازی Borderlands IV تنظیم کنیم؟

  • انویدیا نخستین مشتری فرآیند A16 شرکت TSMC خواهد بود

    انویدیا نخستین مشتری فرآیند A16 شرکت TSMC خواهد بود

  • کوالکام نام پردازنده پرچمدار جدید خود را تایید کرد: اسنپدراگون 8 الیت نسل 5

  • آزادسازی واردات ته‌لنجی 97 قلم کالا 3

    اعتراض انجمن لوازم خانگی ایران به آزادسازی واردات ته‌لنجی 97 قلم کالا

  • 1

    مقایسه آیفون 17 پرو با آیفون 16 پرو؛ همه تغییرات مهم در یک نگاه

  • گوشی‌های اپل با نام شیائومی در ایران 1

    ادعای جنجالی یک منبع داخلی: گوشی‌های اپل با نام شیائومی وارد ایران می‌شود!

  • 1

    سرورهای هوش مصنوعی انویدیا با تقاضای غیرقابل تصوری روبه‌رو خواهند شد

  • 0

    غلبه Core Ultra 3 205 اینتل بر Core i3 14100 در عملکرد تک هسته‌ای!

آخرین دیدگاه‌ها

  • Avatar
    مجتبی آذرمهر گفته است:
    خیر کد رو چک کردم دوبار هر دوبار زد اورجینال
  • Avatar
    مهمان گفته است:
    ای کاش تولید ایران بود اینها دارن به این اسم قطعات...
  • Avatar
    باران گفته است:
    خبر خیلی جالبه 👌 تقاضای بالا برای سرورهای هوش مصنوعی نشون...
  • Avatar
    رضا گفته است:
    اقتصاد دستوری - انحصاری نتیجه ای جز این نداره
  • Avatar
    سپهر گلمکانی گفته است:
    سلام. چون هنوز عرضه نشده!
  • Avatar
    مسعود گفته است:
    این دست نامه ها خیلی چیپ و مسخره و به دور...
  • Avatar
    مسعود گفته است:
    خلاصه نامه: یه ملت باید بدبخت باشن و مجبور باشن از...
  • Avatar
    امیرعلی طالبی گفته است:
    بازی دانلودش برام نمیاره
  • Avatar
    رضا گفته است:
    همه برندها هر سال گوشی معرفی میکنن واقعاً واجبه ؟ طراحی...
  • Avatar
    کیرم تو این زندگی گفته است:
    کشاکی سونی به فکر ps4هم بود آخه تو این وضعیت چطوری...
راهنمای خرید ماوس و کیبورد 2
راهنمای خرید و مشاوره
راهنمای خرید موس و کیبورد با بودجه‌های مختلف (شهریور 1404)
11 شهریور 1404
راهنمای خرید لپ تاپ گیمینگ 469
راهنمای خرید و مشاوره
راهنمای خرید لپ تاپ گیمینگ با بودجه های مختلف (شهریور 1404)
9 شهریور 1404
راهنمای خرید مانیتور 68
راهنمای خرید و مشاوره
راهنمای خرید مانیتور با بهترین قیمت در بودجه‌های مختلف (شهریور 1404)
7 شهریور 1404
راهنمای خرید لپ تاپ با بودجه های مختلف 1,300
راهنمای خرید و مشاوره
راهنمای خرید لپ تاپ با بودجه های مختلف (شهریور 1404)
5 شهریور 1404
با پول خرید کنسول‌ های بازی پلی استیشن 5، ایکس باکس سری ایکس و سری اس سیستم کامپیوتر بخرید 1
راهنمای خرید و مشاوره سیستم پیشنهادی هایلایت
با پول خرید کنسول‌ های پلی استیشن و ایکس باکس چه سیستمی بخریم؟
4 شهریور 1404
راهنمای خرید و مشاوره سیستم کامپیوتر با بودجه های مختلف (شهریور 1404) 7,763
راهنمای خرید و مشاوره سیستم پیشنهادی هایلایت
راهنمای خرید و مشاوره سیستم کامپیوتر با بودجه های مختلف (شهریور 1404)
3 شهریور 1404
  • سخت‌افزارمگ
  • درباره ما
  • تبلیغات
  • استخدام
سخت‌افزارمگ

© 2025 Sakhtafzarmag.Com. All Rights Reserved.

صفحه نخست » اخبار و مقالات » عملکرد الگوریتم جدید مدوسا انویدیا تا 1.9 برابر رشد برای Llama 3.1 دارد

ورود

عضویت

رمزتان را گم کرده‌اید؟

عضویت | رمزتان را گم کرده‌اید؟
| بازگشت به ورود