یادگیری تقویتی برای تخصیص پویای منابع در مراکز داده ابری

یادگیری تقویتی برای تخصیص پویای منابع در مراکز داده ابری

یاشار عباسلو صومعه1

1) مدرس دانشگاه، مهندس ارشد مرکز داده، سازمان آتش‌نشانی و خدمات ایمنی کرج

کد IOI مقاله : ACCD-ACAZFE
محل انتشار : دهمین کنفرانس بین المللی پژوهش های کاربردی در علوم و مهندسی(carseconf.com)
چکیده :
    چکیده انرژی یکی از هزینه‌های اصلی بهره‌برداری از مراکز داده ابری است؛ بااین‌حال، بسیاری از سرورها در بخش عمده‌ای از روز با ظرفیتی بسیار کمتر از ظرفیت واقعی خود فعالیت می‌کنند. بنابراین، تصمیم‌گیری درباره تعداد سرورهایی که باید در هر لحظه فعال باقی بمانند، یک مسئله کنترلی اساسی است؛ زیرا فعال نگه‌داشتن تعداد بسیار کمی از سرورها موجب نقض توافق‌نامه‌های سطح خدمات (SLA) می‌شود، درحالی‌که فعال نگه‌داشتن تعداد بیش از حد سرورها، اتلاف انرژی را به دنبال دارد. روش‌های تخصیص ثابت منابع و قواعد آستانه‌ای تنظیم‌شده به‌صورت دستی، ساده هستند؛ اما نمی‌توانند خود را با تغییر بارهای کاری سازگار کنند. این مقاله، یادگیری تقویتی (RL) را به‌عنوان جایگزینی برای تعیین پویای اندازه مجموعه سرورهای فعال بررسی می‌کند. مسئله در قالب یک فرایند تصمیم‌گیری مارکوف (MDP) صورت‌بندی شده است که تابع هزینه آن، مصرف انرژی، تقاضای تأمین‌نشده و تغییر وضعیت سرورها را در بر می‌گیرد. همچنین، وجود یک تأخیر یک‌بازه‌ای در راه‌اندازی سرورها، کنترل‌گر را ملزم می‌کند که تصمیم‌های خود را با پیش‌بینی تقاضای آینده اتخاذ کند. یک عامل یادگیری تقویتی مبتنی بر الگوریتم یادگیری کیو (Q-learning) جدولی، در یک خوشه شبیه‌سازی‌شده شامل ۱۲ سرور و تحت بار کاری روزانه با اوج‌گیری‌های تصادفی آموزش داده شده است. عملکرد این عامل با چهار روش مبنا مقایسه می‌شود: دو سطح تخصیص ثابت منابع و دو سیاست واکنشی مبتنی بر آستانه مصرف منابع. نتایج میانگین‌گیری‌شده از سه اجرای مستقل آموزش و ۱۰۰ روز ارزیابی دیده‌نشده نشان می‌دهند که سیاست یادگیری تقویتی، هزینه کل روزانه را در مقایسه با تخصیص منابع بر اساس اوج تقاضا حدود ۳۷ درصد و در مقایسه با سیاست آستانه‌ای ۷۰ درصد، حدود ۵٫۵ درصد کاهش می‌دهد. عملکرد این سیاست همچنین به بهترین سیاست آستانه‌ای نزدیک است و اختلاف هزینه آن با روش مذکور کمتر از ۰٫۵ درصد است؛ با این تفاوت که آستانه روش برتر باید به‌صورت دستی تنظیم شود. آزمایش‌های مقدماتی همچنین نشان می‌دهند که نتایج به طراحی فضای حالت و برنامه زمان‌بندی نرخ یادگیری حساس هستند. در پایان، مقاله شرایط مؤثر بر امکان استقرار این عامل‌ها در محیط‌های عملیاتی واقعی، از جمله محیط‌های فناوری اطلاعات بخش عمومی، را بررسی می‌کند. این شرایط شامل اکتشاف ایمن، میزان انطباق شبیه‌ساز با محیط واقعی، کارایی نمونه‌ای در فرایند یادگیری و تبیین‌پذیری است.

کلمات کلیدی : یادگیری تقویتی تخصیص منابع مراکز داده ابری یادگیری کیو (q learning)