استانداردهای نسل بعدی حافظه HBM شامل HBM4، HBM5، HBM6، HBM7 و HBM8 با جزئیات معرفی شده‌اند و هر نسل، پیشرفت قابل‌توجهی برای پاسخ‌گویی به نیازهای رو به رشد کامپیوترهای مبتنی بر هوش مصنوعی و مراکز داده ارائه می‌دهد.
روند رشد HBM در دهه آینده همراه با افزایش تقاضای هوش مصنوعی و مراکز داده
در یک ارائه اخیر از مؤسسه KAIST (مؤسسه علوم و فناوری پیشرفته کره) و آزمایشگاه Tera (آزمایشگاه اتصال ترابایتی و بسته‌بندی)، نقشه راه حافظه HBM به همراه جزئیات هر نسل منتشر شده است. گزارش ارائه‌شده، اطلاعاتی درباره استانداردهای جدید از جمله HBM4 تا HBM8 ارائه می‌دهد که بررسی آن‌ها ضروری است.
نسل HBM4 به‌عنوان گزینه اصلی برای مراکز داده پیشرفته و کارت‌های گرافیک هوش مصنوعی از سال 2026 (1405) مطرح شده و تأیید شده که هر دو شرکت AMD و انویدیا این حافظه را در مدل‌های MI400 و Rubin به‌کار خواهند گرفت. همچنین این تحقیق، نگاهی به نقشه راه انویدیا نیز دارد، که با توجه به نقش TeraByte در توسعه فناوری‌های اتصال و بسته‌بندی حافظه HBM، ارزش بررسی دارد.
حافظه HBM4 برای گرافیک‌های Rubin از انویدیا و MI500 از AMD
مدل‌های Rubin و Rubin Ultra از شرکت انویدیا به‌ترتیب از حافظه‌های HBM4 و HBM4e استفاده خواهند کرد. طبق نقشه راه رسمی، مدل Rubin دارای 8 سایت HBM4 و Rubin Ultra دارای 16 سایت HBM4 خواهد بود. مقاطع عرضی برای هر نسخه از گرافیک طراحی شده‌اند که مدل Ultra با سطح مقطع بزرگ‌تر، چگالی محاسباتی دو برابری نسبت به Rubin دارد.
طبق اعلام پژوهشگران، اندازه سطح گرافیک در Rubin برابر با 728 میلی‌متر مربع بوده و توان مصرفی هر دای برابر با 800 وات است. این فقط مربوط به نسخه استاندارد Rubin است. اندازه اینترپوزر برابر با 2194 میلی‌متر مربع (46.2 در 48.5 میلی‌متر) خواهد بود و ظرفیت کلی حافظه گرافیکی بین 288 تا 384 گیگابایت با پهنای باندی در بازه 16 تا 32 ترابایت بر ثانیه پیش‌بینی شده است. مجموع توان چیپ نیز به 2200 وات می‌رسد که تقریبا دو برابر مدل Blackwell B200 از انویدیا است.
ویژگی‌های اصلی استاندارد HBM4
- نرخ انتقال داده: حدود 8 گیگابیت بر ثانیه
- تعداد خطوط I/O: برابر با 2048 (قابل ارتقاء به 4096)
- پهنای باند کل: 2.0 ترابایت بر ثانیه
- تعداد پشته‌ها: 12/16-Hi
- ظرفیت هر دای: 24 گیگابیت
- ظرفیت هر ماژول HBM: بین 36 تا 48 گیگابایت
- توان مصرفی هر HBM: برابر با 75 وات
- روش بسته‌بندی: Microbump (MR-MUF)
- روش خنک‌سازی: خنک‌کننده مایع مستقیم به چیپ (D2C)
- طراحی سفارشی Base Die حافظه HBM
- پردازنده NMC به همراه LPDDR در پایه چیپ
پلتفرم‌های Rubin و MI400
مدل MI400 از شرکت AMD که در سال آینده عرضه می‌شود، از مدل Rubin فراتر رفته و قصد دارد تا ظرفیت 432 گیگابایت HBM4 و پهنای باند تا 19.6 ترابایت بر ثانیه را ارائه دهد. در نسخه ارتقاءیافته HBM4e، نرخ انتقال داده به 10 گیگابیت بر ثانیه می‌رسد؛ پهنای باند به 2.5 ترابایت بر ثانیه افزایش می‌یابد و ظرفیت هر دای به 32 گیگابیت می‌رسد. بسته به تعداد پشته‌ها (12-Hi یا 16-Hi)، ظرفیت نهایی می‌تواند بین 48 تا 64 گیگابایت باشد و توان مصرفی به 80 وات افزایش خواهد یافت.
حافظه HBM5 برای پلتفرم Feynman از انویدیا با عرضه در سال 2029
استاندارد HBM5 همچنان از نرخ 8 گیگابیت بر ثانیه برای نسخه غیر e استفاده می‌کند اما تعداد خطوط I/O را به 4096 می‌رساند. پهنای باند نیز به 4 ترابایت بر ثانیه افزایش یافته و پشته‌های 16-Hi به‌عنوان مبنا در نظر گرفته شده‌اند. حافظه DRAM با ظرفیت 40 گیگابیت باعث می‌شود ظرفیت هر پشته به 80 گیگابایت برسد و توان مصرفی هر پشته تا 100 وات خواهد بود.
ویژگی‌های اصلی استاندارد HBM5
- نرخ انتقال داده: 8 گیگابیت بر ثانیه
- تعداد خطوط I/O: برابر با 4096
- پهنای باند کل: 4.0 ترابایت بر ثانیه
- تعداد پشته‌ها: 16-Hi
- ظرفیت هر دای: 40 گیگابیت
- ظرفیت هر HBM: برابر با 80 گیگابایت
- توان مصرفی هر HBM: برابر با 100 وات
- روش بسته‌بندی: Microbump (MR-MUF)
- روش خنک‌سازی: خنک‌سازی غوطه‌وری؛ اتصال حرارتی؛ پیوند حرارتی
- چیپ جداکننده خازن با طراحی خاص
- معماری Base Die سفارشی همراه با NMC سه‌بعدی و کش روی پشته
- LPDDR به همراه CXL در Base Die
پلتفرم Feynman از انویدیا اولین گرافیک خواهد بود که از حافظه HBM5 استفاده می‌کند. با وجود برنامه‌ریزی رسمی برای سال 2028 (1407)، پیش‌بینی می‌شود عرضه واقعی تا سال 2029 (1408) به تأخیر بیفتد. Feynman از چیپی با اندازه 750 میلی‌متر مربع استفاده می‌کند و توان هر دای به 900 وات می‌رسد. نسخه پرچم‌دار آن با نام F400 در نظر گرفته شده که به نظر می‌رسد از چهار چیپ گرافیک با 8 سایت HBM5 تشکیل شده باشد. اندازه کل بسته‌بندی برابر با 4788 میلی‌متر مربع (85.22 در 56.2 میلی‌متر) خواهد بود و ظرفیت حافظه بین 400 تا 500 گیگابایت و توان مصرفی نهایی 4400 وات پیش‌بینی شده است. پس از Feynman، نسل بعدی معماری گرافیک از حافظه HBM6 استفاده خواهد کرد. نرخ انتقال داده به 16 گیگابیت بر ثانیه و تعداد خطوط I/O به 4096 می‌رسد.
ویژگی‌های اصلی استاندارد HBM6
- نرخ انتقال داده: 16 گیگابیت بر ثانیه
- تعداد خطوط I/O: برابر با 4096
- پهنای باند کل: 8.0 ترابایت بر ثانیه
- تعداد پشته‌ها: 16/20-Hi
- ظرفیت هر دای: 48 گیگابیت
- ظرفیت هر HBM: برابر با 96/120 گیگابایت
- توان مصرفی هر HBM: برابر با 120 وات
- روش بسته‌بندی: اتصال مستقیم بدون Bump (Cu-Cu)
- روش خنک‌سازی: غوطه‌وری
- طراحی چند برجکی برای HBMها
- اینترپوزر فعال یا ترکیبی (سیلیکون+شیشه)
- سوئیچ شبکه و Bridge Die
گرافیک نسل جدید با اندازه دای 700 میلی‌متر مربع و توان 1000 وات از حافظه HBM6 بهره می‌برد. بسته نهایی دارای 16 سایت HBM6 با سطحی برابر 6014 میلی‌متر مربع (102.8 در 58.5 میلی‌متر) خواهد بود و تا 128 تا 256 ترابایت بر ثانیه پهنای باند و 1536 تا 1920 گیگابایت حافظه در هر چیپ ارائه می‌دهد. مجموع توان مصرفی این پلتفرم به 5920 وات خواهد رسید و زمان ورود آن برای سال 2032 (1411) پیش‌بینی شده است.
حافظه HBM7 و HBM8؛ جهش نهایی در ظرفیت و پهنای باند برای دهه آینده
HBM7 سرعت پایه 24 گیگابیت بر ثانیه و تعداد خطوط I/O معادل 8192 (دو برابر نسل قبل) را ارائه می‌دهد. این افزایش باعث رسیدن پهنای باند به 24 ترابایت بر ثانیه خواهد شد. ظرفیت هر دای برابر با 64 گیگابیت است و ظرفیت کلی هر پشته به 160 تا 192 گیگابایت می‌رسد. توان هر پشته به 160 وات خواهد رسید.
ویژگی‌های اصلی استاندارد HBM7
- نرخ انتقال داده: 24 گیگابیت بر ثانیه
- تعداد خطوط I/O: برابر با 8192
- پهنای باند کل: 24.0 ترابایت بر ثانیه
- تعداد پشته‌ها: 20/24-Hi
- ظرفیت هر دای: 64 گیگابیت
- ظرفیت هر HBM: برابر با 160/192 گیگابایت
- توان مصرفی هر HBM: برابر با 160 وات
- بسته‌بندی بدون Bump (Cu-Cu)
- خنک‌سازی تعبیه‌شده
- معماری ترکیبی HBM
- HBM-HBF و HBM-LPDDR
- استفاده از دای بافر در پشته HBM
در مدل‌های مبتنی بر HBM7، ساختار چند چیپ‌لتی با 8 سایت گرافیک در هر بسته در نظر گرفته شده است. هر گرافیک دارای اندازه‌ای معادل 600 میلی‌متر مربع و توان مصرفی 1200 وات خواهد بود. با 32 سایت HBM7، پهنای باند به 1024 ترابایت بر ثانیه می‌رسد که اولین راه‌کار در کلاس Exabyte محسوب می‌شود. ظرفیت حافظه نیز به 5120 تا 6144 گیگابایت و توان نهایی به 15360 وات خواهد رسید.
ویژگی‌های اصلی استاندارد HBM8
- نرخ انتقال داده: 32 گیگابیت بر ثانیه
- تعداد خطوط I/O: برابر با 16384
- پهنای باند کل: 64.0 ترابایت بر ثانیه
- تعداد پشته‌ها: 20/24-Hi
- ظرفیت هر دای: 80 گیگابیت
- ظرفیت هر HBM: برابر با 200/240 گیگابایت
- توان مصرفی هر HBM: برابر با 180 وات
- بسته‌بندی بدون Bump (Cu-Cu)
- خنک‌سازی تعبیه‌شده
- TSV هم‌محور؛ ساختار کامل سه‌بعدی GPU-HBM
- کامپیوترهای مبتنی بر HBM
- شبکه حافظه کامل
- اینترپوزر دوطرفه
HBM8 تا سال 2038 (1417) وارد بازار نمی‌شود، اما پیش‌بینی‌ها از پهنای باند 64 ترابایت بر ثانیه برای هر پشته و ظرفیت 200 تا 240 گیگابایت خبر می‌دهند.
معماری HBF برای استنتاج LLM و روش‌های نوآورانه خنک‌سازی
معماری HBF (حافظه فلش با پهنای باند بالا) به‌منظور پردازش مدل‌های زبان بزرگ طراحی شده است. به‌جای استفاده از DRAM، این ساختار از NAND با حداکثر 128 لایه استفاده می‌کند که در قالب پشته‌های 16-Hi و از طریق TSV به HBF متصل می‌شود. هر پشته HBF به صورت موازی به پشته HBM متصل شده و تا 1 ترابایت ظرفیت اضافی به سیستم اضافه می‌کند. این اتصال از طریق پیوند HBM به HBF با سرعت 2 ترابایت بر ثانیه انجام می‌شود و از طریق سوئیچ شبکه حافظه با سرعت 128 گیگابایت بر ثانیه به اجزای دیگر متصل می‌گردد.
در نسخه‌های مبتنی بر HBM7، پشته‌های NAND به اینترپوزر شیشه‌ای متصل شده و سرعت انتقال به 4096 گیگابایت بر ثانیه افزایش می‌یابد. همچنین حافظه LPDDR با ظرفیت تا 384 گیگابایت به صورت همزمان با HBM با ظرفیت 192 گیگابایت عمل می‌کند. در HBM7 و HBM8، طراحی twin-tower برای پشته‌های 24-Hi به‌کار گرفته می‌شود. با استفاده از اینترپوزرهای شیشه‌ای، خنک‌سازی تعبیه‌شده از طریق ساختار داخلی، سرمایش مستقیم برای HBM، HBF و اجزای گرافیک فراهم می‌کند. این حجم گسترده از اطلاعات درباره نسل‌های آینده حافظه HBM چشم‌انداز شگفت‌انگیزی از آینده کامپیوترهای پرقدرت ارائه می‌دهد.
دیدگاهتان را بنویسید