موضوعات داغ
  • بازی GTA VI
  • رجیستری
  • گوشی‌های سری گلکسی S26
  • آیفون 17 اپل
  • بتلفیلد 6
  • دینو
سخت افزار مگ
  • اخبار و مقالات
    • گوشی موبایل
      • لوازم جانبی موبایل
    • تبلت
    • لپ تاپ
    • دسکتاپ
      • مادربرد
      • پردازنده مرکزی
      • کارت گرافیک
      • تجهیزات ذخیره سازی
      • حافظه
      • صفحه نمایش
      • تجهیزات جانبی
    • تصویرگری دیجیتال
    • صوتی و تصویری
    • شبکه
    • نرم افزار و بازی
    • کالبدشکافی قطعات
    • مطالب گوناگون
  • بررسی
    • بررسی گوشی موبایل
    • بررسی تبلت
    • بررسی لپ تاپ
    • دسکتاپ
      • بررسی کولر و فن
      • بررسی مادربرد
      • بررسی کارت گرافیک
      • بررسی تجهیزات ذخیره سازی
      • بررسی حافظه
      • بررسی منبع تغذیه و کیس
      • بررسی تجهیزات جانبی
      • بررسی صفحه نمایش
    • بررسی تصویرگری دیجیتال
    • بررسی صوتی و تصویری
    • بررسی شبکه
    • بررسی نرم افزار و بازی
    • بررسی گوناگون
  • راهنمای خرید
    • سیستم پیشنهادی
  • لیست قیمت
    • گوشی موبایل
      • لیست قیمت روز گوشی‌های سامسونگ
      • لیست قیمت روز گوشی‌های شیائومی
      • لیست قیمت روز گوشی‌های هواوی
      • لیست قیمت روز گوشی های آنر
    • تبلت
    • لپ‌تاپ
    • قطعات کامپیوتر
      • لیست قیمت پردازنده
    • محصولات اپل
    • تجهیزات شبکه
    • لوازم خانگی
    • صوتی و تصویری
    • دوربین دیجیتال
    • تجهیزات بازی
    • خودرو
  • ویژه
    • مسابقات
    • نمایشگاه
تبلیغات
تبلیغات
تبلیغات

اخبار و مقالات

عملکرد الگوریتم جدید مدوسا انویدیا

عملکرد الگوریتم جدید مدوسا انویدیا تا 1.9 برابر رشد برای Llama 3.1 دارد

Avatarتوسط وحید دلشاد ·18 شهریور 140318 شهریور 1403· 0

شتاب‌دهنده‌های هوش مصنوعی NVIDIA HGX H200 با استفاده از الگوریتم مدوسا توانستند به پیشرفت چشمگیری در پردازش و استنتاج مدل Llama 3.1 دست یابند. نوآوری انویدیا در اکوسیستم نرم‌افزاری خود ادامه دارد و با کمک مدوسا، به بهبود عملکرد دست یافته است. عملکرد الگوریتم جدید مدوسا انویدیا نسبت به مدل‌های قبلی سرعت و قدرت بیشتری به همراه دارد.

با گسترش مدل‌های زبانی بزرگ (LLM) و افزایش پیچیدگی آن‌ها، استفاده از پردازش‌های چندگرافیکی (Multi-GPU) برای ارائه تاخیر کمتر و بازدهی بیشتر در کاربردهای هوش مصنوعی بلادرنگ ضروری شده است.

در سیستم‌های چندگرافیکی، عملکرد به توانایی پردازش همزمان درخواست‌ها با استفاده از چندین پردازنده گرافیکی وابسته است. این پردازنده‌ها به‌عنوان یک واحد قدرتمند عمل می‌کنند، با ارتباط فوق‌سریع بین GPU‌ها و استفاده از نرم‌افزارهای پیشرفته که توانایی بهره‌برداری کامل از ظرفیت چند GPU را دارند. این کار به کمک تکنیک‌هایی مثل (موازی‌سازی تنسور) و الگوریتم‌هایی مانند رمزگشایی احتمالی انجام می‌شود که با آن می‌توان تأخیر تولید توکن‌ها را بهبود بخشید و تجربه کاربری را روان‌تر کرد.

عملکرد الگوریتم جدید مدوسا انویدیا

برای پردازش سریع Llama 3.1، سیستم‌های ابری می‌توانند از یک سرور NVIDIA HGX H200 استفاده کنند. هر سرور شامل هشت پردازنده گرافیکی H200 Tensor Core و چهار تراشه NVLink Switch است. این پردازنده‌ها می‌توانند با پهنای باند کامل 900 گیگابایت بر ثانیه به یکدیگر متصل شوند. این پهنای باند بالا مانع از ایجاد گلوگاه‌های ارتباطی بین پردازنده‌ها در استفاده‌های تعاملی می‌شود.

کتابخانه TensorRT-LLM و نقش آن در بهبود عملکرد

برای بهینه‌سازی الگوریتم‌های مختلف بر روی سیستم‌های NVIDIA H200 HGX، انویدیا از کتابخانه متن‌باز TensorRT-LLM استفاده می‌کند. این کتابخانه با استفاده از تکنیک‌های پیشرفته مانند موازی‌سازی تنسور و رمزگشایی احتمالی، عملکرد بهتری در استنتاج مدل‌های زبانی بزرگ به نمایش می‌گذارد.

بهینه‌سازی‌های آینده در TensorRT-LLM شامل بهبود الگوریتم رمزگشایی احتمالی مدوسا است که تاخیر استنتاج را در مدل Llama 3.1 به حداقل می‌رساند. این الگوریتم می‌تواند در مدل 70 میلیارد پارامتری Llama 3.1، 268 توکن در ثانیه و در مدل 405 میلیارد پارامتری، 108 توکن در ثانیه برای هر کاربر تولید کند.

مدوسا و افزایش 1.9 برابری سرعت تولید توکن

مدل‌های زبانی بزرگ که بر پایه معماری ترنسفورمر عمل می‌کنند، خودبازگشتی هستند؛ یعنی توکن‌ها باید به ترتیب و به‌صورت پشت‌سر‌هم تولید شوند، که این مسئله سرعت تولید توکن در هر مرحله را محدود می‌کند. به طور معمول، سرعت تولید توکن به توانایی بارگذاری وزن‌های مدل در حافظه وابسته است. این امر می‌تواند موجب شود که از ظرفیت پردازنده‌های قدرتمند H200 به‌طور کامل استفاده نشود.

رمزگشایی احتمالی روشی است که با استفاده از یک (مدل پیش‌نویس)، چندین توکن بعدی را پیش‌بینی می‌کند. سپس مدل هدف این توکن‌ها را به‌صورت گروهی تولید کرده و آن‌ها را با توکن بعدی به‌صورت موازی بررسی می‌کند. این فرآیند موجب می‌شود که از منابع پردازشی GPU بهینه‌تر استفاده شود و اگر توکن‌های پیش‌بینی‌شده توسط مدل اصلی پذیرفته شوند، در هر مرحله چندین توکن تولید شده و به‌طور قابل‌توجهی سرعت افزایش می‌یابد.

عملکرد الگوریتم جدید مدوسا انویدیا

مدوسا یک الگوریتم پیشرفته رمزگشایی احتمالی است که برخلاف دیگر روش‌ها از همان مدل اصلی به‌عنوان مدل پیش‌نویس استفاده می‌کند. این کار باعث کاهش پیچیدگی‌های سیستم و اختلافات توزیعی ناشی از استفاده از مدل‌های پیش‌نویس جداگانه می‌شود. مدوسا از (هدهای رمزگشایی) استفاده می‌کند که این هدها توکن‌های بعدی را پیش‌بینی کرده و هر هد مدوسا توزیع مربوط به توکن‌های بعدی را ارائه می‌دهد.

با کمک مدوسا، سیستم NVIDIA HGX H200 می‌تواند برای مدل 70 میلیارد پارامتری Llama 3.1، 268 توکن در ثانیه و برای مدل 405 میلیارد پارامتری، 108 توکن در ثانیه برای هر کاربر تولید کند. این نرخ در مقایسه با سیستم‌های بدون مدوسا، به ترتیب 1.5 و 1.9 برابر سریع‌تر است. اگرچه نرخ پذیرش توکن‌های تولیدشده توسط مدوسا در وظایف مختلف متفاوت است، اما عملکرد کلی آن در طیف گسترده‌ای از وظایف اثبات شده است.

هدهای مدوسا برای هر دو مدل Llama 3.1 70B و 405B با استفاده از بهینه‌ساز مدل TensorRT و چارچوب NeMo آموزش داده شده‌اند. این فرآیند با یک مدل پشتیبانی ثابت انجام شده است که به حفظ دقت مدل اصلی در هنگام استفاده از مدوسا کمک می‌کند.

نوآوری بی‌پایان انویدیا در تمامی سطوح فناوری

سیستم‌های NVIDIA HGX H200 به‌همراه NVLink Switch و TensorRT-LLM در حال حاضر عملکرد بی‌نظیری در استنتاج بلادرنگ مدل‌های پیچیده و پرکاربرد ارائه می‌دهند. انویدیا همچنان به بهبود تجربه کاربری و کاهش هزینه‌های استنتاج با نوآوری‌های مداوم در تمامی سطوح فناوری از جمله تراشه‌ها، سیستم‌ها، کتابخانه‌های نرم‌افزاری و الگوریتم‌ها ادامه می‌دهد.

مطالب مرتبط:

  • ایسوس GeForce RTX 4070 را با حافظه GDDR6 رونمایی کرد
  • نگاهی به مادربرد گیگابایت مدل  B760M E (rev. 1.0)
  • جایگزینی فریم‌ ور متن‌ باز AMD openSIL با AGESA در پردازنده‌ های Zen 6

برچسب‌ها: انویدیا

امتیاز: 5.0 از 5 (1 رای)
کمی صبر کنید...
تبلیغات
تبلیغات
سرخط خبرها:
  1. دیجی‌کالا خودرو راه‌اندازی شد؛ فروش آنلاین خودروی صفر با تحویل 3 تا 5 روز کاری
  2. ایلان ماسک از دکل‌های میکروسلولی استارلینک برای تقویت آنتن‌دهی موبایل در ساختمان‌ها رونمایی کرد
  3. نسخه ایکس‌باکس GTA VI توسط گروه Cyberleek فاش شد؛ نسخه کامپیوتر در راه است
  4. ایران در میان 11 کشور دارای شدیدترین سانسور اینترنت در جهان قرار گرفت
  5. هشدار پلیس فتا درباره خالی شدن حساب‌ها با آگهی‌های جعلی استخدام

مطالب مرتبط ...

  • 0

    افزایش 15 تا 30 درصدی عملکرد RT در کارت گرافیک های RTX 50 انویدیا

    Avatarتوسط سوما سبحانی · 26 دی 1403 · 26 دی 1403

  • 12

    انویدیا: ما قربانی تحریم آمریکا علیه چین خواهیم شد

    Avatarتوسط آرمین ابیشی · 5 شهریور 1402 · 6 شهریور 1402

  • 8

    معرفی بهترین نوت بوک های گیمینگ بازار (بخش دوم)

    Avatarتوسط حسام شالیکاریان · 4 مرداد 1394 · 22 اسفند 1398

مطالب گوناگون از دینو

بهترین فیلم‌های ۲۰۲۶؛ معرفی ۱۰ فیلم تماشایی و ۵ فیلم موردانتظار سال

بارش شهابی اسدی ۱۴۰۵ چه زمانی است؟ بهترین ساعت تماشای شهاب‌ها در آسمان ایران

هنگام آلودگی هوا در خانه چه کنیم؟ ۷ راهکار علمی و نقش واقعی دستگاه تصفیه هوا

دیدگاهتان را بنویسید لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

در صورتی که نظر شما حاوی ناسزا، عبارات توهین‌آمیز و تهدید بوده و در تضاد با قوانین فعلی کشور باشد از انتشار آن بدون حذف موارد ذکر شده، معذوریم.
شکلک‌ها (اموجی‌ها) را می‌توانید با کیبرد گوشی یا کیبرد مجازی ویندوز قرار دهید.
تصاویر نویسندگان دیدگاه از Gravatar گرفته می‌شود.

پربحث‌ترین‌ها

  • دیجی‌کالا خودرو 0

    دیجی‌کالا خودرو راه‌اندازی شد؛ فروش آنلاین خودروی صفر با تحویل 3 تا 5 روز کاری

  • ایلان ماسک برای بازگرداندن جنسن هوانگ به انویدیا دادخواست امضا می‌کند 0

    ایلان ماسک برای بازگرداندن جنسن هوانگ به انویدیا دادخواست امضا می‌کند

  • انتقاد معاون وزیر ارتباطات از تحریم‌های فناورانه در نشست ITU دوحه 0

    انتقاد معاون وزیر ارتباطات از تحریم‌های فناورانه در نشست ITU دوحه

  • قطعی اینترنت، زنجیره لجستیک دریایی را مختل می‌کند 0

    قطعی اینترنت، زنجیره لجستیک دریایی را مختل می‌کند

آخرین بررسی‌ها

9.4

بررسی پاور GREEN GP1650B-EDGE پرچم‌دار ۱۶۵۰ واتی

9.7

بررسی حافظه اس‌اس‌دی SAMSUNG 9100 PRO 2TB

9.3

بررسی مادربرد X870 AORUS STEALTH ICE گیگابایت

8.8

تماشا کنید: بررسی گوشی گلکسی A17 4G سامسونگ؛ اقتصادی تازه‌نفس

8.8

بررسی لپ تاپ MSI Vector 16 HX - اژدهای همه‌فن‌حریف

آخرین مطالب دینو

۷ فناوری جدید خودرو که آینده رانندگی را تغییر می‌دهند؛ از هوش مصنوعی تا رانندگی خودکار

تا همین چند سال پیش، وقتی از فناوری‌های پیشرفته…

  • بهترین فیلم‌های ۲۰۲۶؛ معرفی ۱۰ فیلم تماشایی و ۵ فیلم موردانتظار سال

  • ۲۰ سؤال اطلاعات عمومی جالب با جواب؛ چند مورد را می‌دانید؟

  • معنی چراغ‌های هشدار پشت آمپر خودرو چیست؟ راهنمای ۱۵ علامت مهم

  • ۹ خطای عجیب مغز انسان؛ چرا گاهی چیزهایی را باور می‌کنیم که واقعی نیستند؟

  • مطلب بعدی شایعه: بازی GTA 6 تاخیر خورد؛ عرضه نسخه PC در سال 2028!
  • مطلب قبلی ویدیو گیم پلی ریمیک بازی‌های Crazy Taxi و Shinobi لیک شدند
  • آخرین مطالب
  • محبوب‌ترین مطالب
  • دیجی‌کالا خودرو

    دیجی‌کالا خودرو راه‌اندازی شد؛ فروش آنلاین خودروی صفر با تحویل 3 تا 5 روز کاری

  • ایلان ماسک از دکل‌های میکروسلولی استارلینک برای تقویت آنتن‌دهی موبایل در ساختمان‌ها رونمایی کرد

    ایلان ماسک از دکل‌های میکروسلولی استارلینک برای تقویت آنتن‌دهی موبایل در ساختمان‌ها رونمایی کرد

  • نسخه ایکس‌باکس GTA VI توسط گروه Cyberleek فاش شد؛ نسخه کامپیوتر در راه است

    نسخه ایکس‌باکس GTA VI توسط گروه Cyberleek فاش شد؛ نسخه کامپیوتر در راه است

  • ایران دارای شدیدترین اینترنت سانسور شده

    ایران در میان 11 کشور دارای شدیدترین سانسور اینترنت در جهان قرار گرفت

  • آگهی‌های استخدام جعلی با درآمد بالا

    هشدار پلیس فتا درباره خالی شدن حساب‌ها با آگهی‌های جعلی استخدام

  • دیجی‌کالا خودرو 0

    دیجی‌کالا خودرو راه‌اندازی شد؛ فروش آنلاین خودروی صفر با تحویل 3 تا 5 روز کاری

  • ایلان ماسک برای بازگرداندن جنسن هوانگ به انویدیا دادخواست امضا می‌کند 0

    ایلان ماسک برای بازگرداندن جنسن هوانگ به انویدیا دادخواست امضا می‌کند

  • انتقاد معاون وزیر ارتباطات از تحریم‌های فناورانه در نشست ITU دوحه 0

    انتقاد معاون وزیر ارتباطات از تحریم‌های فناورانه در نشست ITU دوحه

  • قطعی اینترنت، زنجیره لجستیک دریایی را مختل می‌کند 0

    قطعی اینترنت، زنجیره لجستیک دریایی را مختل می‌کند

  • خرید جت پرینتر دستی و صنعتی؛ راهنمای انتخاب دستگاه مناسب از سن مارکینگ 0

    خرید جت پرینتر دستی و صنعتی؛ راهنمای انتخاب دستگاه مناسب از سن مارکینگ

آخرین دیدگاه‌ها

  • Avatar
    محسن0631 گفته است:
    این مورد هم یکی از هزاران مواردیست که کشورهای به حساب...
  • Avatar
    کامل اکبری گفته است:
    ایجیجطو
  • Avatar
    محمدمهدی حمزه گفته است:
    خطر همه ی این ها روی هم، یک دهم خطر ویروس...
  • Avatar
    محمد گفته است:
    بزی ☺️
  • Avatar
    محمد گفته است:
    مطلب بسیار عالی ممنون از شما قصد خرید کامپیوتر داشتم در...
  • Avatar
    kambiz گفته است:
    عجب پایان بدی میتونه باشه. در اوج قدرت سقوط کرد.
  • Avatar
    HA55AN گفته است:
    تا وقتی نهادهایی بسیار قویتر از دولت در ایران هست دولت...
  • Avatar
    ایرانا تک گفته است:
    مرسی که لیست رو با قیمت‌های جدید به‌روز می‌کنید. برای کسی...
  • Avatar
    bahman گفته است:
    علتشم اینه که آبدیده شدن :)
  • Avatar
    مهدی گفته است:
    آزمون آیلتس❌ آزمون آیتلس✅
راهنمای خرید لپ تاپ گیمینگ 471
راهنمای خرید و مشاوره هایلایت
راهنمای خرید لپ تاپ گیمینگ با بودجه های مختلف (دی 1404)
13 دی 1404
راهنمای خرید لپ تاپ با بودجه های مختلف 1,304
راهنمای خرید و مشاوره هایلایت
راهنمای خرید لپ تاپ با بودجه های مختلف (دی 1404)
10 دی 1404
راهنمای خرید مانیتور آذر 1404 70
راهنمای خرید و مشاوره
راهنمای خرید مانیتور با بهترین قیمت در بودجه‌های مختلف (دی 1404)
6 دی 1404
راهنمای خرید گوشی موبایل آذر 491
راهنمای خرید و مشاوره
راهنمای خرید گوشی موبایل بر اساس بودجه‌های مختلف (دی 1404)
5 دی 1404
7,767
راهنمای خرید و مشاوره سیستم پیشنهادی هایلایت
راهنمای خرید و مشاوره سیستم کامپیوتر با بودجه های مختلف (دی 1404)
3 دی 1404
راهنمای خرید و مشاوره هدفون و هدست با بودجه های مختلف (آبان 1404) 0
اخبار و مقالات راهنمای خرید و مشاوره هایلایت
راهنمای خرید و مشاوره هدفون و هدست با بودجه های مختلف (آبان 1404)
27 آبان 1404
  • سخت‌افزارمگ
  • درباره ما
  • تبلیغات
  • استخدام
سخت‌افزارمگ

© 2026 Sakhtafzarmag.Com. All Rights Reserved.

صفحه نخست » اخبار و مقالات » عملکرد الگوریتم جدید مدوسا انویدیا تا 1.9 برابر رشد برای Llama 3.1 دارد

ورود

عضویت

رمزتان را گم کرده‌اید؟

عضویت | رمزتان را گم کرده‌اید؟
| بازگشت به ورود