موضوعات داغ
  • گیمزکام ۲۰۲۵
  • گلکسی S25 FE سامسونگ
  • آیفون 17 اپل
  • بازی GTA VI
  • هوش مصنوعی
  • دینو
سخت افزار مگ
  • اخبار و مقالات
    • گوشی موبایل
      • لوازم جانبی موبایل
    • تبلت
    • لپ تاپ
    • دسکتاپ
      • مادربرد
      • پردازنده مرکزی
      • کارت گرافیک
      • تجهیزات ذخیره سازی
      • حافظه
      • صفحه نمایش
      • تجهیزات جانبی
    • تصویرگری دیجیتال
    • صوتی و تصویری
    • شبکه
    • نرم افزار و بازی
    • کالبدشکافی قطعات
    • مطالب گوناگون
  • بررسی
    • بررسی گوشی موبایل
    • بررسی تبلت
    • بررسی لپ تاپ
    • دسکتاپ
      • بررسی کولر و فن
      • بررسی مادربرد
      • بررسی کارت گرافیک
      • بررسی تجهیزات ذخیره سازی
      • بررسی حافظه
      • بررسی منبع تغذیه و کیس
      • بررسی تجهیزات جانبی
      • بررسی صفحه نمایش
    • بررسی تصویرگری دیجیتال
    • بررسی صوتی و تصویری
    • بررسی شبکه
    • بررسی نرم افزار و بازی
    • بررسی گوناگون
  • راهنمای خرید
    • سیستم پیشنهادی
  • لیست قیمت
    • گوشی موبایل
      • لیست قیمت روز گوشی‌های سامسونگ
      • لیست قیمت روز گوشی‌های شیائومی
      • لیست قیمت روز گوشی‌های هواوی
      • لیست قیمت روز گوشی های آنر
    • تبلت
    • لپ‌تاپ
    • قطعات کامپیوتر
      • لیست قیمت پردازنده
    • محصولات اپل
    • تجهیزات شبکه
    • لوازم خانگی
    • صوتی و تصویری
    • دوربین دیجیتال
    • تجهیزات بازی
    • خودرو
  • ویژه
    • مسابقات
    • نمایشگاه
تبلیغات
تبلیغات
تبلیغات

اخبار و مقالات

عملکرد الگوریتم جدید مدوسا انویدیا

عملکرد الگوریتم جدید مدوسا انویدیا تا 1.9 برابر رشد برای Llama 3.1 دارد

Avatarتوسط وحید دلشاد ·18 شهریور 140318 شهریور 1403· 0

شتاب‌دهنده‌های هوش مصنوعی NVIDIA HGX H200 با استفاده از الگوریتم مدوسا توانستند به پیشرفت چشمگیری در پردازش و استنتاج مدل Llama 3.1 دست یابند. نوآوری انویدیا در اکوسیستم نرم‌افزاری خود ادامه دارد و با کمک مدوسا، به بهبود عملکرد دست یافته است. عملکرد الگوریتم جدید مدوسا انویدیا نسبت به مدل‌های قبلی سرعت و قدرت بیشتری به همراه دارد.

با گسترش مدل‌های زبانی بزرگ (LLM) و افزایش پیچیدگی آن‌ها، استفاده از پردازش‌های چندگرافیکی (Multi-GPU) برای ارائه تاخیر کمتر و بازدهی بیشتر در کاربردهای هوش مصنوعی بلادرنگ ضروری شده است.

در سیستم‌های چندگرافیکی، عملکرد به توانایی پردازش همزمان درخواست‌ها با استفاده از چندین پردازنده گرافیکی وابسته است. این پردازنده‌ها به‌عنوان یک واحد قدرتمند عمل می‌کنند، با ارتباط فوق‌سریع بین GPU‌ها و استفاده از نرم‌افزارهای پیشرفته که توانایی بهره‌برداری کامل از ظرفیت چند GPU را دارند. این کار به کمک تکنیک‌هایی مثل (موازی‌سازی تنسور) و الگوریتم‌هایی مانند رمزگشایی احتمالی انجام می‌شود که با آن می‌توان تأخیر تولید توکن‌ها را بهبود بخشید و تجربه کاربری را روان‌تر کرد.

عملکرد الگوریتم جدید مدوسا انویدیا

برای پردازش سریع Llama 3.1، سیستم‌های ابری می‌توانند از یک سرور NVIDIA HGX H200 استفاده کنند. هر سرور شامل هشت پردازنده گرافیکی H200 Tensor Core و چهار تراشه NVLink Switch است. این پردازنده‌ها می‌توانند با پهنای باند کامل 900 گیگابایت بر ثانیه به یکدیگر متصل شوند. این پهنای باند بالا مانع از ایجاد گلوگاه‌های ارتباطی بین پردازنده‌ها در استفاده‌های تعاملی می‌شود.

کتابخانه TensorRT-LLM و نقش آن در بهبود عملکرد

برای بهینه‌سازی الگوریتم‌های مختلف بر روی سیستم‌های NVIDIA H200 HGX، انویدیا از کتابخانه متن‌باز TensorRT-LLM استفاده می‌کند. این کتابخانه با استفاده از تکنیک‌های پیشرفته مانند موازی‌سازی تنسور و رمزگشایی احتمالی، عملکرد بهتری در استنتاج مدل‌های زبانی بزرگ به نمایش می‌گذارد.

بهینه‌سازی‌های آینده در TensorRT-LLM شامل بهبود الگوریتم رمزگشایی احتمالی مدوسا است که تاخیر استنتاج را در مدل Llama 3.1 به حداقل می‌رساند. این الگوریتم می‌تواند در مدل 70 میلیارد پارامتری Llama 3.1، 268 توکن در ثانیه و در مدل 405 میلیارد پارامتری، 108 توکن در ثانیه برای هر کاربر تولید کند.

مدوسا و افزایش 1.9 برابری سرعت تولید توکن

مدل‌های زبانی بزرگ که بر پایه معماری ترنسفورمر عمل می‌کنند، خودبازگشتی هستند؛ یعنی توکن‌ها باید به ترتیب و به‌صورت پشت‌سر‌هم تولید شوند، که این مسئله سرعت تولید توکن در هر مرحله را محدود می‌کند. به طور معمول، سرعت تولید توکن به توانایی بارگذاری وزن‌های مدل در حافظه وابسته است. این امر می‌تواند موجب شود که از ظرفیت پردازنده‌های قدرتمند H200 به‌طور کامل استفاده نشود.

رمزگشایی احتمالی روشی است که با استفاده از یک (مدل پیش‌نویس)، چندین توکن بعدی را پیش‌بینی می‌کند. سپس مدل هدف این توکن‌ها را به‌صورت گروهی تولید کرده و آن‌ها را با توکن بعدی به‌صورت موازی بررسی می‌کند. این فرآیند موجب می‌شود که از منابع پردازشی GPU بهینه‌تر استفاده شود و اگر توکن‌های پیش‌بینی‌شده توسط مدل اصلی پذیرفته شوند، در هر مرحله چندین توکن تولید شده و به‌طور قابل‌توجهی سرعت افزایش می‌یابد.

عملکرد الگوریتم جدید مدوسا انویدیا

مدوسا یک الگوریتم پیشرفته رمزگشایی احتمالی است که برخلاف دیگر روش‌ها از همان مدل اصلی به‌عنوان مدل پیش‌نویس استفاده می‌کند. این کار باعث کاهش پیچیدگی‌های سیستم و اختلافات توزیعی ناشی از استفاده از مدل‌های پیش‌نویس جداگانه می‌شود. مدوسا از (هدهای رمزگشایی) استفاده می‌کند که این هدها توکن‌های بعدی را پیش‌بینی کرده و هر هد مدوسا توزیع مربوط به توکن‌های بعدی را ارائه می‌دهد.

با کمک مدوسا، سیستم NVIDIA HGX H200 می‌تواند برای مدل 70 میلیارد پارامتری Llama 3.1، 268 توکن در ثانیه و برای مدل 405 میلیارد پارامتری، 108 توکن در ثانیه برای هر کاربر تولید کند. این نرخ در مقایسه با سیستم‌های بدون مدوسا، به ترتیب 1.5 و 1.9 برابر سریع‌تر است. اگرچه نرخ پذیرش توکن‌های تولیدشده توسط مدوسا در وظایف مختلف متفاوت است، اما عملکرد کلی آن در طیف گسترده‌ای از وظایف اثبات شده است.

هدهای مدوسا برای هر دو مدل Llama 3.1 70B و 405B با استفاده از بهینه‌ساز مدل TensorRT و چارچوب NeMo آموزش داده شده‌اند. این فرآیند با یک مدل پشتیبانی ثابت انجام شده است که به حفظ دقت مدل اصلی در هنگام استفاده از مدوسا کمک می‌کند.

نوآوری بی‌پایان انویدیا در تمامی سطوح فناوری

سیستم‌های NVIDIA HGX H200 به‌همراه NVLink Switch و TensorRT-LLM در حال حاضر عملکرد بی‌نظیری در استنتاج بلادرنگ مدل‌های پیچیده و پرکاربرد ارائه می‌دهند. انویدیا همچنان به بهبود تجربه کاربری و کاهش هزینه‌های استنتاج با نوآوری‌های مداوم در تمامی سطوح فناوری از جمله تراشه‌ها، سیستم‌ها، کتابخانه‌های نرم‌افزاری و الگوریتم‌ها ادامه می‌دهد.

مطالب مرتبط:

  • ایسوس GeForce RTX 4070 را با حافظه GDDR6 رونمایی کرد
  • نگاهی به مادربرد گیگابایت مدل  B760M E (rev. 1.0)
  • جایگزینی فریم‌ ور متن‌ باز AMD openSIL با AGESA در پردازنده‌ های Zen 6

برچسب‌ها: انویدیا

امتیاز: 5.0 از 5 (1 رای)
کمی صبر کنید...
تبلیغات
تبلیغات
سرخط خبرها:
  1. 5 تغییر بزرگ HyperOS 3؛ بزرگ‌ترین تحول رابط کاربری شیائومی
  2. تماشا کنید: سی دقیقه گیم پلی جذاب از بازی اکشن 007 First Light
  3. اینتل کارت گرافیک Arc Pro B50 را با قیمت 349 دلار عرضه کرد
  4. تصاویر جدیدی از گلکسی S25 FE، تب S11 و تب S11 اولترا لو رفت
  5. ایسر از لپتاپ Swift 16 AI رونمایی کرد؛ اولین لپتاپ مجهز به پردازنده اینتل Panther Lake

مطالب مرتبط ...

  • 7

    قانون جدید انویدیا برای حذف کارت گرافیک های بازی از پایگاه های داده

    Avatarتوسط امیرحسین آریایی · 6 دی 1396 · 22 اسفند 1398

  • گرافیک RTX 3070 1

    عملکرد رسمی GeForce RTX 3070 توسط انویدیا به اشتراک گذاشته شد

    Avatarتوسط محمد کرماجانی · 12 مهر 1399 · 12 مهر 1399

  • 0

    دسترسی محدود به گرافیک‌های GeForce RTX 5080/5090 انویدیا در آلمان!

    Avatarتوسط سوما سبحانی · 29 دی 1403 · 29 دی 1403

مطالب گوناگون از دینو

کدام داروها می‌توانند تحمل گرما را سخت‌تر کنند؟

10 فیلم فوق‌ العاده که به شما کمک می کند بچه ها را بهتر درک کنید

چگونه از نشخوار افکار منفی و تجربیات گذشته خودداری کنیم؟

دیدگاهتان را بنویسید لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

در صورتی که نظر شما حاوی ناسزا، عبارات توهین‌آمیز و تهدید بوده و در تضاد با قوانین فعلی کشور باشد از انتشار آن بدون حذف موارد ذکر شده، معذوریم.
شکلک‌ها (اموجی‌ها) را می‌توانید با کیبرد گوشی یا کیبرد مجازی ویندوز قرار دهید.
تصاویر نویسندگان دیدگاه از Gravatar گرفته می‌شود.

پربحث‌ترین‌ها

  • راهنمای خرید لپ تاپ گیمینگ 469

    راهنمای خرید لپ تاپ گیمینگ با بودجه های مختلف (شهریور 1404)

  • راهنمای خرید مانیتور 68

    راهنمای خرید مانیتور با بهترین قیمت در بودجه‌های مختلف (شهریور 1404)

  • 3

    پروژه GMP: پردازنده AMD Ryzen 9 9950X دو بار آزمایش شد و هر دوبار سوخت!

  • راهنمای خرید ماوس و کیبورد 2

    راهنمای خرید موس و کیبورد با بودجه‌های مختلف (شهریور 1404)

آخرین بررسی‌ها

9.1

تماشا کنید: بررسی گوشی گلکسی زد فولد 7 سامسونگ - این لاکچریِ جذاب!

8.4

بررسی ریلمی C75 – این گوشی اقتصادیِ جان سخت

8.6

بررسی مادربرد گیگابایت B860 GAMING X WIFI6E

9

بررسی کیس گیگابایت AORUS C500 GLASS

8.5

بررسی کیس آراد گرین - گیمینگ خوش قیمت و خوش ساخت (اعلام برنده)

آخرین مطالب دینو

نوشتن، کارت بازی و حل جدول خطر ابتلا به زوال عقل را در بزرگسالان کاهش می دهد

به گفته سازمان بهداشت جهانی (WHO) زوال عقل و…

  • اگر مشهدی هستی و عاشق معمایی، این اتاق فرارها منتظر توئن!

  • 5 نکته‌ که باید پیش از خرید مکمل‌ ها بدانید

  • هوای پاک چین زمین را گرم‌تر می‌کند!

  • نشانه‌های پنهان افسردگی در کودکان که نباید نادیده بگیرید!

  • مطلب بعدی شایعه: بازی GTA 6 تاخیر خورد؛ عرضه نسخه PC در سال 2028!
  • مطلب قبلی ویدیو گیم پلی ریمیک بازی‌های Crazy Taxi و Shinobi لیک شدند
  • آخرین مطالب
  • محبوب‌ترین مطالب
  • 5 تغییر بزرگ HyperOS 3؛ بزرگ‌ترین تحول رابط کاربری شیائومی

    5 تغییر بزرگ HyperOS 3؛ بزرگ‌ترین تحول رابط کاربری شیائومی

  • گیم پلی بازی First Light 007

    تماشا کنید: سی دقیقه گیم پلی جذاب از بازی اکشن 007 First Light

  • اینتل کارت گرافیک Arc Pro B50 را با قیمت 349 دلار عرضه کرد

  • تصاویر جدیدی از گلکسی S25 FE، تب S11 و تب S11 اولترا لو رفت

  • ایسر از لپتاپ Swift 16 AI رونمایی کرد؛ اولین لپتاپ مجهز به پردازنده اینتل Panther Lake

    ایسر از لپتاپ Swift 16 AI رونمایی کرد؛ اولین لپتاپ مجهز به پردازنده اینتل Panther Lake

  • راهنمای خرید لپ تاپ گیمینگ 469

    راهنمای خرید لپ تاپ گیمینگ با بودجه های مختلف (شهریور 1404)

  • راهنمای خرید مانیتور 68

    راهنمای خرید مانیتور با بهترین قیمت در بودجه‌های مختلف (شهریور 1404)

  • 3

    پروژه GMP: پردازنده AMD Ryzen 9 9950X دو بار آزمایش شد و هر دوبار سوخت!

  • راهنمای خرید ماوس و کیبورد 2

    راهنمای خرید موس و کیبورد با بودجه‌های مختلف (شهریور 1404)

  • امولاتور ARMSX2 روی اندروید 1

    با جدیدترین امولاتور PS2 برای سیستم‌عامل اندروید آشنا شوید

آخرین دیدگاه‌ها

  • Avatar
    صادق گفته است:
    دو انتقال پایا و پل داره
  • Avatar
    صادق گفته است:
    سلام برای انتقال بین بانکی بانک صادرات از برنامه ای سپینو...
  • Avatar
    تا یک ماه دیگه گفته است:
    سلام مکانیسم ماشه میگن باعث میشه کالا از دبی نیاد راست...
  • Avatar
    رضا گفته است:
    من به عنوان یک دولوپر گیم میگم که انریل یکی از...
  • Avatar
    علیرضا گفته است:
    به نظر من این مطلب خیلی مفید و احتمالا اصولی اما...
  • Avatar
    نیما گفته است:
    به نظر من تعمیر کن الان پاور خیلی گرون شده ۵۰۰...
  • Avatar
    حسن گفته است:
    اگه سازنده های دیگه هم ری تریسینک رو کنار بذارن فروش...
  • Avatar
    سعید.ح.پ گفته است:
    احتمالن کُتـَـک خورش مـَلـَس رفته، باید با صحبت راضیش کنید، امروزه...
  • Avatar
    سعید.ح.پ گفته است:
    باید محکم تر بزنید تا ادب بشه و براتون بیاه!! اصلن...
  • Avatar
    Monammad گفته است:
    J66v6v6
راهنمای خرید ماوس و کیبورد 2
راهنمای خرید و مشاوره
راهنمای خرید موس و کیبورد با بودجه‌های مختلف (شهریور 1404)
11 شهریور 1404
راهنمای خرید لپ تاپ گیمینگ 469
راهنمای خرید و مشاوره
راهنمای خرید لپ تاپ گیمینگ با بودجه های مختلف (شهریور 1404)
9 شهریور 1404
راهنمای خرید مانیتور 68
راهنمای خرید و مشاوره
راهنمای خرید مانیتور با بهترین قیمت در بودجه‌های مختلف (شهریور 1404)
7 شهریور 1404
راهنمای خرید لپ تاپ با بودجه های مختلف 1,300
راهنمای خرید و مشاوره
راهنمای خرید لپ تاپ با بودجه های مختلف (شهریور 1404)
5 شهریور 1404
با پول خرید کنسول‌ های بازی پلی استیشن 5، ایکس باکس سری ایکس و سری اس سیستم کامپیوتر بخرید 1
راهنمای خرید و مشاوره سیستم پیشنهادی هایلایت
با پول خرید کنسول‌ های پلی استیشن و ایکس باکس چه سیستمی بخریم؟
4 شهریور 1404
راهنمای خرید و مشاوره سیستم کامپیوتر با بودجه های مختلف (شهریور 1404) 7,763
راهنمای خرید و مشاوره سیستم پیشنهادی هایلایت
راهنمای خرید و مشاوره سیستم کامپیوتر با بودجه های مختلف (شهریور 1404)
3 شهریور 1404
  • سخت‌افزارمگ
  • درباره ما
  • تبلیغات
  • استخدام
سخت‌افزارمگ

© 2025 Sakhtafzarmag.Com. All Rights Reserved.

صفحه نخست » اخبار و مقالات » عملکرد الگوریتم جدید مدوسا انویدیا تا 1.9 برابر رشد برای Llama 3.1 دارد

ورود

عضویت

رمزتان را گم کرده‌اید؟

عضویت | رمزتان را گم کرده‌اید؟
| بازگشت به ورود