شتاب‌دهنده‌های Intel Gaudi 3 وارد بخش شتاب دهنده های هوش مصنوعی می‌شوند، و از اکتبر با ارزش بهتر نسبت به رقبا عرضه خواهند شد. خط تولید Gaudi اینتل به دلیل قیمت مقرون‌به‌صرفه بودن در صنعت هوش مصنوعی شناخته شده است و نسل بعدی محصولات Gaudi با Gaudi 3 از ماه آینده در دسترس خواهد بود. امروز اینتل اعلام کرد، عرضه عمومی شتاب دهنده های Gaudi 3 اینتل از سه ماهه چهارم سال 2024 در دستور کار این شرکت قرار خواهد گرفت.
کارت PCIe CEM اینتل Gaudi 3 که امروز در این اعلامیه معرفی شد، تا 1835 TFLOPS قدرت محاسباتی FP8 (در حالت اوج) به همراه 128 گیگابایت حافظه HBM2e و 600 وات توان مصرفی، 8 موتور ضرب ماتریسی، 64 هسته TPC و 22 رابط شبکه RDMA با سرعت 200 گیگابیت در ثانیه را در یک راه‌حل دو اسلاته با ارتفاع کامل 10.5 اینچی ارائه می‌دهد. نسخه OAM مجهز به 96 مگابایت SRAM در دو پشته 48 مگابایتی خواهد بود که دارای پهنای باند کلی HBM تا 3.67 ترابایت بر ثانیه و پهنای باند SRAM (سطح L2) تا 19.2 ترابایت بر ثانیه خواهد بود.
هر موتور ضرب ماتریسی کاملا قابل تنظیم است و دارای ساختار آرایه 256 در 256 MAC با جمع‌کننده‌های FP32 و 64 هزار MAC در هر چرخه برای BF16 و FP8 است. هسته پردازش تنسور (TPC) دارای یک پردازنده برداری SIMD با عرض 256 بایت است، همچنین دارای VLIW با 4 شکاف خط لوله جداگانه است و از انواع داده اصلی 1، 2 و 4 بایتی (Floating Point و Integer) پشتیبانی می‌کند.
ورود جدی اینتل به حوزه هوش مصنوعی
برد پایه جهانی با چهار شتاب‌دهنده هوش مصنوعی Gaudi 3 مجهز خواهد شد که دارای 4 لینک اتصال 200 گیگابیت در ثانیه و 400 گیگابیت از طریق کنترلر QSFP-DD است. هر راه‌حل OAM دارای یک لینک PCIe Gen5 x16 است که تا 800 گیگابایت بر ثانیه برای توسعه و 1800 گیگابایت بر ثانیه برای مقیاس‌پذیری پهنای باند ارائه می‌دهد. این سیستم دارای پهنای باند PCIe به مقدار 512 گیگابایت بر ثانیه است. این راه‌حل به طور ایده‌آل برای انجام وظایف مانند استنتاج، تنظیم دقیق و آموزش مدل‌های کوچک طراحی شده است.
از نظر عملکرد، شتاب‌دهنده هوش مصنوعی Intel Gaudi 3 تا 9 درصد افزایش استنتاجی بهتر در مدل‌های LLaMA 3 8B ارائه می‌دهد در حالی که 80 درصد عملکرد بهتر در ازای هزینه نسبت به H100 دارد. در مدل LLaMA 70B، شتاب‌دهنده Gaudi 3 تا 19 درصد استنتاج بیشتر و 2 برابر عملکرد به ازای هزینه نسبت به H100 ارائه می‌دهد.
سرور مرجع Intel Gaudi 3 (HLS-3) دارای 2 پردازنده میزبان Intel Xeon از جمله سری Xeon 6900P و 8 کارت OAM است که پهنای باند کلی تا 67.2 ترابیت بر ثانیه (مقیاس‌پذیری بالا) و 9.6 ترابیت بر ثانیه (مقیاس‌پذیری افقی) ارائه می‌دهد. این راه‌حل هوش مصنوعی توسط مجموعه نرم‌افزاری Gaudi پشتیبانی می‌شود که پرکاربردترین چارچوب Gen AI است و از Quantizationهای FP16 ،BF16 و FP8 پشتیبانی می‌کند. اینتل با شرکت‌های مختلفی در اکوسیستم Gaudi همکاری می‌کند که شامل Dell Technologies ،HPE و IBM هستند. عرضه عمومی شتاب دهنده های Gaudi 3 اینتل تاثیر زیادی در حوزه هوش مصنوعی مبتنی بر سخت‌افزار خواهد داشت و قطعا این صنعت جوان، در آینده اتفاقات خوبی را تجربه خواهد کرد.
مطالب مرتبط
توسط 
توسط 
دیدگاهتان را بنویسید