اینتل کتابخانه NPU Acceleration خود را به یک دارایی منبع باز تبدیل می‌کند

شرکت اینتل بالاخره کتابخانه NPU Acceleration خود را منبع باز کرده است و به توسعه دهندگان و علاقه‌مندان این امکان را می‌دهد که برنامه‌های خود را تنظیم کنند تا بهترین نتیجه را با موتورهای هوش مصنوعی اینتل به دست آورند.

کتابخانه‌های NPU منبع باز شرکت اینتل نشان می‌دهد که موتورهای اختصاصی هوش مصنوعی آینده خوبی در پیش دارند‌.

این خبر از سوی تونی مونگکلسمای (Tony Mongkolsmai)، منتشر شده است، که در وهله اول کتابخانه منبع باز جدید این شرکت را فاش کرد.

با این اقدام، کتابخانه NPU Acceleration به توسعه‌دهندگان کمک می‌کند تا از NPU‌های موجود در سری پردازنده‌هایی مانند Meteor Lake سری «Core Ultra» بهره ببرند. این برنامه مبتنی بر پایتون است و توسعه را با ارائه یک رابط سطح بالا ساده می‌کند و از چارچوب‌های محبوبی مانند TensorFlow و PyTorch پشتیبانی خواهد کرد و همچنین به توسعه دهندگان این امکان را می‌دهد تا از قابلیت‌های کتابخانه برای کارآمدتر کردن وظایف مرتبط با هوش مصنوعی استفاده کنند.

به برنامه‌نویس‌هایی که کنجکاو هستند توصیه می‌کنم کتابخانه NPU Acceleration شرکت اینتل با منبع باز جدید را بررسی کنید. من به تازگی آن را روی دستگاه Prestige 16 AI Evo شرکت MSI خود امتحان کردم (این بار ویندوز، اما کتابخانه از لینوکس نیز پشتیبانی می‌کند) و با پیروی از اسناد GitHub توانستم TinyLlama را اجرا کنم. 

— منتشر شده از سوی Tony Mongkolsmai (@tonymongkolsmai) در تاریخ 1 مارچ 2024

تونی کتابخانه NPU Acceleration را روی لپ‌تاپ MSI Prestige 16 AI Evo اجرا کرد که دارای پردازنده‌های Core Ultra کمپانی اینتل است. او توانسته است که مدل‌های TinyLlama و Gemma-2b-it LLM را بدون اختلال در عملکرد روی دستگاه اجرا کند، که نشان‌دهنده پتانسیل‌های جذب شده در NPUهای اینتل و نحوه ارتقای محیط هوش مصنوعی برای توسعه‌دهندگان است. در اینجا نحوه توصیف این کتابخانه از جانب تیم توسعه اینتل آمده است:

کتابخانه NPU Acceleration شرکت اینتل یک کتابخانه پایتون است که برای افزایش کارایی برنامه‌های شما با استفاده از قدرت واحد پردازش عصبی شرکت اینتل (NPU) برای انجام محاسبات با سرعت بالا بر روی سخت افزار سازگار طراحی شده است. در تلاش خود برای بهبود قابل توجه عملکرد کتابخانه، ما تمام توان خود را به سمت اجرای طیف وسیعی از ویژگی‌های کلیدی هدایت می‌کنیم، از جمله:

• کوانتیزاسیون 8 بیتی
• کوانتیزاسیون 4 بیتی و GPTQ
• استنتاج با دقت ترکیبی NPU-Native
• پشتیبانی از Float16
• BFloat16 (فرمت نقطه شناور مغز)
• پشتیبانی از torch.compile
• اجرای همجوشی افقی LLM MLP
• استنتاج شکل ایستا
• استنتاج MHA NPU
• محاسبات هترو NPU/GPU
• Paper

منتشر شده از طریق Github Intel

دیدن کتابخانه NPU Acceleration منبع باز بسیار عالی است، زیرا در نهایت منجر به اجرای پیشرفته برنامه‌های هوش مصنوعی در موتورهای هوش مصنوعی اختصاصی شرکت اینتل خواهد شد. دیدن توسعه‌هایی که در آینده بر روی این موتورها صورت می‌گیرد جالب خواهد بود، زیرا همانطور که توسط خود تونی اعلام شده، برای مصرف‌کنندگان و توسعه‌دهندگان امکانات بسیاری در این موتورها گنجانده شده است.

• پردازنده دسکتاپ Arrow Lake-S اینتل با 24 هسته و 24 رشته، بدون پشتیبانی از AVX512 مشاهده شد
• پردازنده‌های دسکتاپ Bartlett Lake-S اینتل ممکن است دارای 12 هسته P باشند
• تراشه های اینتل در آلمان به دلیل اختلافات مربوط به حق اختراع ممنوع شدند
• تکنولوژی فیلتر شارپ کننده تطبیقی در Lunar Lake اینتل با معماری iGPU Xe2 Battlemage به بازار می‌آید