استراتژی‌های بهینه‌سازی در یادگیری فدرال: تحلیل و مقایسه روش‌ها

استراتژی‌های بهینه‌سازی در یادگیری فدرال: تحلیل و مقایسه روش‌ها

ایمان زمانی1 احمد شریف2 زهرا علیجانی احمدآبادی3

1) دانشجوی دکتری مهندسی کامپیوتر دانشگاه آزاد اسلامی قم،
2) استادیار دانشکده مهندسی کامپیوتر دانشگاه آزاد اسلامی قم،
3) دانشجوی دکتری مدیریت فناوری اطلاعات دانشگاه آزاد اسلامی واحد تهران جنوب،

کد IOI مقاله : AAHD-ABCFZC
محل انتشار : کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری (itnaf.ir)
چکیده :
    این مرور ادبیات بر سازوکارهای بهینه‌سازی در یادگیری فدرال در معماری هوش‌‎مصنوعی غیرمتمرکز تمرکز دارد و روش‌هایی مانند FedAvg، FedProx، FedDyn، FedNova، فشرده‌سازی گرادیان و تجمیع تطبیقی را تحلیل و مقایسه می‌کند. FedAvg به عنوان پایه اصلی باقی‌مانده اما با تنوع آماری داده‌ها و سیستم مشکل دارد، در حالی که FedProx و FedDyn با افزودن اصطلاحات پروکسیمال و پویا، ثبات الگوریتمی را بهبود می‌بخشند. FedNova با نرمال‌سازی بهینه‌سازی، شکاف در مدل محلی را کاهش می‌دهد و کاهش ابعاد گرادیان همراه با تجمیع پویا، کارایی ارتباطی را افزایش می‌دهد. این روش‌ها به طور جمعی یادگیری فدرال مقیاس‌پذیر و کارآمد را پیش می‌برند. هدف این بررسی، ارزیابی استراتژی‌های مقابله با ناهمگونی، بنچمارکینگ کارایی ارتباطی و سرعت همگرایی، تحلیل فشرده‌سازی گرادیان و تجمیع تطبیقی، تفکیک الگوریتم‌های کلیدی و مقایسه تأثیر ناهمگونی کلاینت و مشارکت جزئی است. تحلیل سیستماتیک مطالعات نظری و تجربی بر روی رفتار همگرایی، کاهش ارتباط، پایداری، مقیاس‌پذیری و تطبیقی تمرکز دارد. یافته‌ها نشان می‌دهند که FedProx، FedDyn و روش‌های پرایمال-دوال همگرایی را در داده‌های ناهمگن بهبود می‌بخشند، در حالی که فشرده‌سازی گرادیان و تجمیع تطبیقی هزینه ارتباطی را به طور قابل توجهی کاهش می‌دهند اما با تریدآف‌هایی در دقت و پیچیدگی همراه هستند. انتخاب کلاینت تطبیقی و تجمیع، پایداری را افزایش می‌دهد اما نیاز به فراداده اضافی دارد و محدودیت‌های مقیاس‌پذیری دارد. روش‌های غیرمتمرکز و مبتنی بر تکانه همگرایی را تسریع می‌کنند و قابلیت‌های متغیر کلاینت را در نظر می‌گیرند. این نتایج به طور جمعی نشان می‌دهند که اگرچه پیشرفت‌های قابل توجهی وجود دارد، ادغام بهینه‌سازی، ارتباط و ناهمگونی هنوز ناقص است. این بررسی بر نیاز به چارچوب‌های پایدار، مقیاس‌پذیر و تطبیقی تأکید دارد که تعادل بین محاسبات محلی و ارتباط را برقرار کنند تا عملکرد یادگیری فدرال را بهینه سازند. این بررسی جهت‌گیری تحقیقات آینده و استقرارهای عملی را روشن می‌کند.

کلمات کلیدی : یادگیری فدرال بهینه‌سازی ناهمگونی داده fedavg fedprox فشرده‌سازی گرادیان