GPU چیست و چه نقشی در هوش مصنوعی دارد؟

وقتی یک مدل هوش مصنوعی تصویر تولید می‌کند، یک مدل زبانی پاسخی پیچیده می‌سازد یا شبکه مخابراتی حجم عظیمی از داده را تحلیل می‌کند، پشت صحنه به توان محاسباتی بالایی نیاز دارد. GPU یکی از مهم‌ترین فناوری‌هایی است که این بار محاسباتی را بر دوش می‌کشد. در این مقاله به این سوال پاسخ می دهیم که GPU چیست و چه نقشی در هوش مصنوعی دارد؟

پاسخ را باید در معماری موازی GPU جست‌وجو کرد. این معماری امکان اجرای هم‌زمان تعداد زیادی عملیات محاسباتی را فراهم می‌کند. ویژگی‌ای که با ماهیت محاسبات شبکه‌های عصبی و مدل‌های یادگیری عمیق سازگاری بالایی دارد. در این مقاله بررسی می‌کنیم GPU چیست، چگونه کار می‌کند و چرا برای هوش مصنوعی اهمیت دارد. همچنین نقش Tensor Core، حافظه پرسرعت، Multi-GPU و AI Data Center را بررسی خواهیم کرد. در ادامه نیز کاربرد GPU در زیرساخت‌های مخابراتی و مسیر آینده این فناوری را تحلیل می‌کنیم.

GPU چیست؟ از پردازش گرافیکی تا محاسبات هوش مصنوعی

واحد پردازش گرافیکی یا Graphics Processing Unit (GPU) یک پردازنده تخصصی برای اجرای حجم بزرگی از محاسبات موازی است. GPU در ابتدا برای پردازش سریع تصاویر، گرافیک سه‌بعدی و تولید خروجی‌های بصری بلادرنگ توسعه یافت. معماری آن با CPU تفاوت اساسی دارد. CPU معمولاً تعداد محدودی هسته قدرتمند برای اجرای طیف گسترده‌ای از وظایف دارد. در مقابل، GPU تعداد زیادی واحد پردازشی را برای اجرای هم‌زمان عملیات مشابه به کار می‌گیرد. این ویژگی باعث می‌شود GPU در پردازش داده‌های حجیم و محاسبات تکرارشونده عملکرد بالایی داشته باشد. همین قابلیت، بعدها GPU را از یک پردازنده گرافیکی به یک شتاب‌دهنده محاسباتی تبدیل کرد.

تحول GPU با افزایش قابلیت برنامه‌ریزی واحدهای پردازشی سرعت گرفت. ظهور General-Purpose GPU Computing (GPGPU) امکان استفاده از GPU را برای محاسباتی فراتر از گرافیک فراهم کرد. توسعه پلتفرم‌هایی مانند CUDA نیز برنامه‌نویسی محاسبات موازی روی GPU را ساده‌تر کرد. با رشد یادگیری عمیق، پژوهشگران دریافتند بسیاری از عملیات شبکه‌های عصبی با معماری موازی GPU سازگاری دارند. ضرب ماتریس‌ها، عملیات برداری و پردازش هم‌زمان حجم زیادی از داده، نمونه‌هایی از این محاسبات هستند. در نتیجه، GPU به یکی از مهم‌ترین بسترهای شتاب‌دهی Artificial Intelligence (AI) تبدیل شد. این تحول، مسیر توسعه GPUهای مدرن را نیز تغییر داد و معماری آن‌ها را بیش از گذشته با نیازهای هوش مصنوعی هماهنگ کرد.

GPU چگونه کار می‌کند؟ معماری محاسبات موازی

معماری GPU بر پایه اجرای هم‌زمان تعداد زیادی عملیات مستقل شکل گرفته است. در معماری‌های مدرن، GPU از مجموعه‌ای از واحدهای پردازشی موازی تشکیل می‌شود. در اکوسیستم NVIDIA، این واحدها با عنوان Streaming Multiprocessor (SM) شناخته می‌شوند. هر SM منابعی مانند واحدهای محاسباتی، ثبات‌ها و حافظه سریع روی تراشه دارد. برنامه نیز به مجموعه‌ای از Threadها تقسیم می‌شود و GPU آن‌ها را در قالب بلوک‌های پردازشی اجرا می‌کند. این ساختار امکان می‌دهد بخش‌های مختلف یک مسئله به‌صورت هم‌زمان روی چندین SM اجرا شوند. در نتیجه، GPU می‌تواند برای بارهای کاری دارای Parallelism بالا، Throughput قابل‌توجهی ارائه دهد.

یکی از مفاهیم کلیدی در این معماری، SIMT یا Single Instruction, Multiple Threads است. در این مدل، Threadها در گروه‌هایی به نام Warp سازمان‌دهی می‌شوند. در معماری CUDA، هر Warp شامل ۳۲ Thread است که اجرای یک دستور مشترک را دنبال می‌کنند. البته هر Thread وضعیت و مسیر اجرایی خودش را حفظ می‌کند. بنابراین GPU می‌تواند تعداد بسیار زیادی Thread را مدیریت و زمان‌بندی کند. این ویژگی با نیاز بسیاری از الگوریتم‌های هوش مصنوعی سازگاری دارد. عملیات مشابه می‌توانند روی بخش‌های مختلف داده به‌صورت موازی اجرا شوند. البته اگر Threadهای یک Warp مسیرهای کاملاً متفاوتی انتخاب کنند، بازدهی پردازنده کاهش می‌یابد.

چرا GPU برای هوش مصنوعی مناسب است؟

دلیل اصلی تناسب GPU با هوش مصنوعی، شباهت میان ساختار محاسبات شبکه‌های عصبی و معماری پردازش موازی GPU است. شبکه‌های عصبی مدرن به عملیات ریاضی بسیار زیادی نیاز دارند. بخش مهمی از این عملیات شامل ضرب ماتریس‌ها، جمع بردارها و محاسبات تکرارشونده روی داده‌های بزرگ است. این عملیات را می‌توان به قطعات کوچک‌تر تقسیم کرد و میان تعداد زیادی واحد پردازشی توزیع کرد. بنابراین، GPU می‌تواند بخش‌های مختلف یک محاسبه را هم‌زمان اجرا کند. این ویژگی به‌ویژه در مدل‌های عمیق با تعداد زیادی پارامتر اهمیت پیدا می‌کند. کتابخانه‌های تخصصی نیز عملیات متداول یادگیری عمیق را برای معماری GPU بهینه می‌کنند.

این مزیت فقط به تعداد واحدهای پردازشی محدود نمی‌شود. GPU می‌تواند داده‌ها را با الگوهای موازی میان Threadها توزیع کند و محاسبات را با Throughput بالا انجام دهد. در شبکه‌های عصبی، بسیاری از نمونه‌های داده نیز می‌توانند به‌صورت Batch پردازش شوند. این ساختار فرصت مناسبی برای استفاده هم‌زمان از منابع محاسباتی GPU ایجاد می‌کند. به همین دلیل، GPU در توسعه یادگیری عمیق به یک زیرساخت مهم تبدیل شد. موفقیت AlexNet در رقابت ImageNet سال ۲۰۱۲ نقطه عطف مهمی در این روند بود. این شبکه با استفاده از GPU آموزش یافت و نشان داد که پردازش موازی می‌تواند آموزش شبکه‌های عمیق را در مقیاس عملی امکان‌پذیر کند.

نقش GPU در آموزش و استنتاج مدل‌های هوش مصنوعی

GPU در دو مرحله اصلی چرخه عمر مدل‌های هوش مصنوعی نقش دارد: Training و Inference. در مرحله آموزش، مدل ابتدا داده ورودی را دریافت می‌کند و خروجی اولیه را تولید می‌کند. این مرحله با عنوان Forward Pass شناخته می‌شود. سپس مدل میزان خطا را محاسبه می‌کند و الگوریتم Backpropagation گرادیان‌ها را به دست می‌آورد. در ادامه، وزن‌های شبکه با استفاده از این گرادیان‌ها به‌روزرسانی می‌شوند. این فرایند بارها روی حجم بزرگی از داده تکرار می‌شود. GPU می‌تواند بسیاری از محاسبات این چرخه را موازی اجرا کند. بنابراین، زمان آموزش مدل‌های عمیق به شکل قابل‌توجهی کاهش می‌یابد.

در مرحله Inference، مدل آموزش‌دیده برای تولید خروجی جدید استفاده می‌شود. این مرحله معمولاً محاسبات کمتری از Training نیاز دارد، اما الزامات متفاوتی ایجاد می‌کند. در سرویس‌های بلادرنگ، Latency اهمیت زیادی دارد. در سرویس‌های ابری با کاربران متعدد، Throughput نیز اهمیت پیدا می‌کند. GPU می‌تواند چندین درخواست را هم‌زمان پردازش کند و برای بارهای کاری سنگین مقیاس مناسبی ارائه دهد. این قابلیت در مدل‌های زبانی بزرگ، پردازش تصویر و هوش مصنوعی مولد اهمیت ویژه‌ای دارد. بنابراین، GPU فقط ابزار آموزش مدل نیست و در اجرای مدل‌های تولیدشده نیز نقش زیرساختی دارد.

Tensor Core چیست و چرا برای AI اهمیت دارد؟

افزایش اندازه مدل‌های هوش مصنوعی، نیاز به واحدهای محاسباتی تخصصی‌تری را ایجاد کرد. یکی از این فناوری‌ها Tensor Core است که برای شتاب‌دهی عملیات ماتریسی و Tensor آن را طراحی کردند. Tensor Core با واحدهای محاسباتی عمومی GPU یکسان نیست. لذا این واحد را برای انجام سریع‌تر عملیات Matrix Multiply-Accumulate بهینه کردند. چنین عملیاتی بخش مهمی از محاسبات شبکه‌های عصبی را تشکیل می‌دهد. در نتیجه، اضافه‌شدن Tensor Core توان محاسباتی GPU را برای بارهای کاری AI افزایش داده است. NVIDIA نخستین نسل Tensor Core را در معماری Volta معرفی کرد و از آن زمان این فناوری در نسل‌های بعدی توسعه یافت.

یکی دیگر از عوامل مهم، استفاده از Mixed Precision است. همه محاسبات شبکه عصبی به بالاترین سطح دقت عددی نیاز ندارند. بنابراین برخی عملیات می‌توانند با قالب‌هایی مانند FP16، BF16 یا FP8 انجام شوند. کاهش Precision معمولاً حجم دیتا و هزینه محاسباتی را کاهش می‌دهد و امکان افزایش Throughput را فراهم می‌کند. البته کاهش دقت باید با توجه به حساسیت عددی مدل انجام شود. برخی عملیات همچنان به Precision بالاتر نیاز دارند. معماری‌های جدید GPU و نرم‌افزارهای بهینه‌سازی AI، ترکیبی از Precisionهای مختلف را برای ایجاد تعادل میان سرعت، مصرف حافظه و دقت به کار می‌گیرند.

حافظه GPU؛ چرا Memory Bandwidth اهمیت دارد؟

توان محاسباتی GPU بدون دسترسی سریع به دیتا نمی‌تواند به‌طور کامل استفاده شود. به همین دلیل، سیستم حافظه یکی از مهم‌ترین اجزای معماری GPU محسوب می‌شود. GPUهای مخصوص AI معمولاً از حافظه‌های با پهنای باند بالا استفاده می‌کنند. در دیتاسنترها، فناوری‌هایی مانند High Bandwidth Memory (HBM) برای انتقال سریع دیتا میان حافظه و واحدهای محاسباتی اهمیت دارند. مدل‌های هوش مصنوعی نیز حجم زیادی از وزن‌ها، Activationها و دیتای میانی را جابه‌جا می‌کنند. بنابراین، ظرفیت حافظه و Memory Bandwidth هر دو بر عملکرد واقعی مدل اثر می‌گذارند.

این موضوع در مدل‌های بزرگ اهمیت بیشتری پیدا می‌کند. اگر مدل یا داده موردنیاز آن در حافظه GPU جا نشود، سیستم باید بخشی از داده را میان حافظه‌های مختلف جابه‌جا کند. این انتقال می‌تواند سرعت پردازش را کاهش دهد و GPU را برای دریافت داده منتظر بگذارد. بنابراین، ارزیابی یک GPU فقط با تعداد هسته‌ها یا مقدار FLOPS کافی نیست. ظرفیت حافظه، پهنای باند، تأخیر دسترسی و نحوه انتقال دیتا نیز باید بررسی شوند. در مدل‌های زبانی بزرگ، این عوامل می‌توانند حتی به اندازه توان محاسباتی خام GPU در عملکرد نهایی اهمیت داشته باشند.

چند GPU چگونه با یکدیگر کار می‌کنند؟

مدل‌های هوش مصنوعی بزرگ‌تر از آن هستند که همیشه روی یک GPU اجرا شوند. در چنین شرایطی، سیستم می‌تواند بار محاسباتی و داده را میان چند GPU تقسیم کند. این معماری با عنوان Multi-GPU Computing شناخته می‌شود. برنامه می‌تواند دیتا، مدل یا عملیات را میان چند شتاب‌دهنده توزیع کند. این روش ظرفیت محاسباتی، ظرفیت حافظه و پهنای باند کلی سیستم را افزایش می‌دهد. بااین‌حال، اضافه‌کردن GPU به‌تنهایی تضمین نمی‌کند که عملکرد سیستم به همان نسبت افزایش یابد. ارتباط میان GPUها نیز باید سریع و کم‌تأخیر باشد.

فناوری‌هایی مانند PCIe و NVLink برای ایجاد ارتباط میان پردازنده‌ها و شتاب‌دهنده‌ها استفاده می‌شوند. NVLink برای ارتباط پرسرعت GPU-to-GPU طراحی شده و در نسل‌های جدید به بخش مهمی از معماری سیستم‌های AI تبدیل شده است. کتابخانه‌هایی مانند NCCL نیز عملیات ارتباطی و جمع‌آوری اطلاعات میان GPUها را بهینه می‌کنند. این موضوع در روش‌هایی مانند Tensor Parallelism و Pipeline Parallelism اهمیت دارد. هرچه مدل بزرگ‌تر شود، حجم ارتباط میان GPUها نیز افزایش می‌یابد. بنابراین، مقیاس‌پذیری AI فقط مسئله افزایش تعداد GPU نیست. معماری ارتباطی باید بتواند این GPUها را مانند یک سیستم محاسباتی هماهنگ عمل دهد.

GPU در دیتاسنتر و زیرساخت هوش مصنوعی

GPU در زیرساخت‌های مدرن AI معمولاً به‌صورت یک تراشه منفرد استفاده نمی‌شود. دیتاسنترهای هوش مصنوعی مجموعه‌ای از GPUها، CPUها، حافظه، شبکه و نرم‌افزار را در یک معماری یکپارچه قرار می‌دهند. هدف این معماری، ایجاد یک مسیر سریع برای انتقال داده میان Storage، Network و منابع محاسباتی است. در Training مدل‌های بزرگ، GPUها باید حجم زیادی از داده و پارامترها را میان یکدیگر مبادله کنند. در Inference نیز سرعت دسترسی به مدل و ارتباط میان شتاب‌دهنده‌ها بر Latency اثر می‌گذارد. به همین دلیل، طراحی AI Data Center به یک مسئله چندلایه تبدیل شده است.

در این معماری، GPU تنها یک جزء محاسباتی نیست و ارتباط آن با شبکه اهمیت زیادی دارد. فناوری‌هایی مانند NVLink برای Scale-Up و فناوری‌های شبکه پرسرعت برای Scale-Out استفاده می‌شوند. این ترکیب امکان ایجاد کلاسترهایی با تعداد زیادی GPU را فراهم می‌کند. در معماری‌های جدید، مفهوم AI Factory نیز برای توصیف زیرساختی مطرح شده است که منابع محاسباتی، شبکه و نرم‌افزار را برای تولید و ارائه سرویس‌های AI یکپارچه می‌کند. بنابراین، عملکرد یک GPU باید در بستر کل سیستم ارزیابی شود. افزایش توان یک تراشه بدون بهبود حافظه و شبکه می‌تواند گلوگاه‌های جدیدی ایجاد کند.

GPU در صنعت مخابرات؛ فراتر از هوش مصنوعی مولد

کاربرد GPU به مدل‌های زبانی و هوش مصنوعی مولد محدود نمی‌شود. صنعت مخابرات نیز به‌دلیل افزایش حجم داده و پیچیدگی شبکه‌ها، به منابع محاسباتی بیشتری نیاز دارد. پردازش سیگنال، بهینه‌سازی شبکه، تحلیل ترافیک و اجرای الگوریتم‌های AI از جمله حوزه‌هایی هستند که می‌توانند از شتاب‌دهی GPU بهره ببرند. در شبکه‌های 5G و مسیر توسعه 6G، افزایش پهنای باند و پیچیدگی لایه‌های پردازشی فشار بیشتری بر زیرساخت محاسباتی وارد می‌کند. GPU می‌تواند بخشی از این بار را با استفاده از پردازش موازی مدیریت کند.

این موضوع در معماری‌های AI-RAN و Open RAN اهمیت بیشتری پیدا می‌کند. در چنین رویکردهایی، منابع محاسباتی می‌توانند برای اجرای هم‌زمان وظایف شبکه و بارهای کاری هوش مصنوعی استفاده شوند. هدف فقط افزایش قدرت پردازشی نیست. استفاده بهتر از منابع، انعطاف‌پذیری نرم‌افزاری و امکان تخصیص پویا نیز اهمیت دارند. GPU می‌تواند در کنار CPU، DPU و شتاب‌دهنده‌های شبکه قرار گیرد و یک زیرساخت محاسباتی مشترک ایجاد کند. چنین معماری‌هایی نشان می‌دهند که GPU در صنعت مخابرات می‌تواند از یک شتاب‌دهنده AI به بخشی از زیرساخت پردازش شبکه تبدیل شود.

محدودیت‌های GPU در هوش مصنوعی چیست؟

GPU با وجود توان پردازشی بالا، راه‌حل بدون محدودیت برای تمام بارهای کاری نیست. نخستین چالش، مصرف انرژی است. افزایش تعداد GPUها در دیتاسنتر، نیاز به توان الکتریکی و سیستم‌های خنک‌سازی قدرتمند را افزایش می‌دهد. این مسئله در کلاسترهای بزرگ اهمیت بیشتری پیدا می‌کند. چالش دوم، هزینه سخت‌افزار و زیرساخت است. یک سیستم AI فقط شامل GPU نیست و شبکه، حافظه، ذخیره‌سازی، برق و خنک‌سازی نیز هزینه قابل‌توجهی ایجاد می‌کنند. بنابراین، انتخاب GPU باید براساس نیاز واقعی بار کاری و معیارهایی مانند Performance per Watt انجام شود.

محدودیت دیگر به ارتباط و حافظه مربوط می‌شود. ممکن است یک GPU از نظر محاسباتی توان بالایی داشته باشد، اما داده با سرعت کافی به واحدهای پردازشی نرسد. در سیستم‌های Multi-GPU نیز ارتباط میان شتاب‌دهنده‌ها می‌تواند به گلوگاه تبدیل شود. این مسئله نشان می‌دهد که FLOPS به‌تنهایی معیار مناسبی برای ارزیابی عملکرد AI نیست. معماری حافظه، پهنای باند، ارتباط GPU-to-GPU و کارایی نرم‌افزار نیز اهمیت دارند. در نتیجه، طراحی زیرساخت GPU باید میان توان محاسباتی، مصرف انرژی، حافظه، شبکه و هزینه تعادل ایجاد کند.

آینده GPU در عصر هوش مصنوعی

مسیر توسعه GPU نشان می‌دهد که این پردازنده همچنان در حال فاصله‌گرفتن از تعریف سنتی خود به‌عنوان پردازنده گرافیکی است. نسل‌های جدید GPU بیشتر برای بارهای کاری AI، HPC و محاسبات شتاب‌یافته طراحی می‌شوند. افزایش ظرفیت و پهنای باند حافظه، توسعه واحدهای تخصصی مانند Tensor Core و پشتیبانی از Precisionهای پایین‌تر، بخشی از این تحول هستند. هم‌زمان، معماری‌های Multi-GPU نیز اهمیت بیشتری پیدا کرده‌اند. مدل‌های بزرگ دیگر فقط به یک تراشه قدرتمند نیاز ندارند و به شبکه‌ای از شتاب‌دهنده‌های هماهنگ نیاز دارند.

در آینده، مرز میان پردازنده، حافظه و شبکه نیز بیش از گذشته کمرنگ خواهد شد. AI Data Centerها به سمت معماری‌هایی حرکت می‌کنند که منابع محاسباتی را در مقیاس رک و کلاستر یکپارچه می‌کنند. GPU در چنین ساختاری یکی از عناصر اصلی زنجیره محاسبات خواهد بود. بااین‌حال، رشد هوش مصنوعی به یک معماری سخت‌افزاری واحد محدود نمی‌شود. GPU، NPU، TPU، ASIC و FPGA هرکدام برای مجموعه‌ای از نیازهای محاسباتی مناسب هستند. بنابراین، GPU را باید یکی از مهم‌ترین مسیرهای شتاب‌دهی AI دانست، نه تنها مسیر ممکن. بررسی این معماری‌های دیگر، گام بعدی برای درک کامل تحول تراشه‌های هوش مصنوعی خواهد بود.

جمع‌بندی؛ چرا GPU به ستون محاسبات هوش مصنوعی تبدیل شده است؟

GPU از یک پردازنده تخصصی برای تولید گرافیک به یک پلتفرم مهم برای محاسبات موازی تبدیل شده است. معماری آن امکان اجرای هم‌زمان تعداد زیادی عملیات را فراهم می‌کند. همین ویژگی با ساختار بسیاری از الگوریتم‌های یادگیری عمیق سازگاری دارد. عملیات ماتریسی، پردازش Batch و محاسبات تکرارشونده از مهم‌ترین نمونه‌های این سازگاری هستند. ظهور CUDA نیز امکان استفاده گسترده‌تر از توان محاسباتی GPU را در کاربردهای عمومی فراهم کرد. سپس موفقیت شبکه‌هایی مانند AlexNet نشان داد که GPU می‌تواند آموزش مدل‌های عمیق را به شکل عملی شتاب دهد.

امروز نقش GPU از سطح تراشه فراتر رفته است. حافظه پرسرعت، Tensor Core، ارتباطات Multi-GPU و شبکه‌های پرظرفیت، همگی بخشی از اکوسیستم محاسبات AI هستند. همین روند باعث شده GPU به یکی از پایه‌های اصلی AI Data Centerها تبدیل شود. در صنعت مخابرات نیز GPU می‌تواند برای پردازش سیگنال، AI-RAN و بهینه‌سازی شبکه کاربرد داشته باشد. بااین‌حال، افزایش هزینه، مصرف انرژی و پیچیدگی زیرساخت، نیاز به معماری‌های تخصصی‌تر را افزایش می‌دهد. به همین دلیل، شناخت GPU نقطه شروع مناسبی برای بررسی نسل جدید تراشه‌های هوش مصنوعی است. در مقاله بعدی، می‌توانیم سراغ NPU برویم و تفاوت معماری و کاربرد آن را با GPU بررسی کنیم.