بررسی جامع روش‌های شتاب‌دهی آموزش مدل‌های یادگیری عمیق در رایانش ابری با GPU/TPU و چارچوب ترکیبی Elastic–ONES

بررسی جامع روش‌های شتاب‌دهی آموزش مدل‌های یادگیری عمیق در رایانش ابری با GPU/TPU و چارچوب ترکیبی Elastic–ONES

محمدامین مهدیان1 محمدصالح منصور نژادیان2 مهران غرة الحمید3 مصطفی عبدالهیان دهکردی4

1) دانشجوی کارشناسی مهندسی کامپیوتر دانشگاه ملی مهارت شهرکرد، چهارمحال بختیاری، ایران
2) دانشجوی کارشناسی مهندسی کامپیوتر دانشگاه ملی مهارت شهرکرد، چهارمحال بختیاری،
3) گروه مهندسی کامپیوتر، دانشگاه آزاد اسلامی، نجف آباد ،
4) گروه مهندسی کامپیوتر، دانشگاه ملی مهارت، تهران، ایران

کد IOI مقاله : AAHD-ABACFB
محل انتشار : کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری (itnaf.ir)
چکیده :
    چکیده با رشد روزافزون مدل‌های یادگیری عمیق و ظهور معماری‌های عظیم‌مقیاس مانند مدل‌های زبانی بزرگ (LLMs)، ویژن‌ترنسفورمرها (ViT) و مدل‌های مولد، نیاز به توان محاسباتی گسترده، حافظه عظیم و ارتباطات پرسرعت بیش از پیش ضروری شده است. رایانش ابری با ارائه GPUها و TPUها به‌صورت مجازی و مقیاس‌پذیر، امکان آموزش مدل‌های بزرگ با هزینه و زمان کمتر را فراهم ساخته است. طی سال‌های ۲۰۲۰ تا ۲۰۲۵ مجموعه‌ای از الگوریتم‌های مؤثر در زمینه بهینه‌سازی حافظه، موازی‌سازی، زمان‌بندی پویا، مدیریت منابع چندمستأجری و تنظیم تطبیقی پارامترهای آموزش معرفی شده‌اند؛ از جمله ZeRO و ZeRO-Infinity برای کاهش بار حافظه، OneFlow SBP برای موازی‌سازی منعطف، ElasticDL، Aryl، Lyra، Kale، EasyScale برای زمان‌بندی الاستیک، و ONES برای تنظیم تکاملی اندازه دسته. این مقاله با رویکرد مروری، این الگوریتم‌ها را تحلیل و مقایسه می‌کند، شکاف‌های پژوهشی موجود را استخراج می‌نماید، و سپس یک چارچوب ترکیبی پیشنهادی با عنوان EOH-Plus معرفی می‌کند که با ادغام زمان‌بندی الاستیک، تنظیم تکاملی batch size، پارتیشن‌بندی حافظه مبتنی بر ZeRO و هماهنگی Edge–Cloud، کارایی، پایداری و هزینه آموزش را بهینه می‌سازد.

کلمات کلیدی : ‌ها یادگیری عمیق رایانش ابری gpu/tpu آموزش توزیع‌شده zero oneflow elasticdl زمان‌بندی الاستیک batch size edge cloud