استنتاج بیدرنگ و بهینهسازی آگاه از سختافزار مدلهای زبانی بزرگ برای هوش مصنوعی لبه: تحلیل تطبیقی، بازآرایی روشها و راهنمای جامع استقرار
استنتاج بیدرنگ و بهینهسازی آگاه از سختافزار مدلهای زبانی بزرگ برای هوش مصنوعی لبه: تحلیل تطبیقی، بازآرایی روشها و راهنمای جامع استقرار
هومن طحانی1 مرسده سنجابی2
1) دانشجوی دکتری هوش مصنوعی دانشگاه آزاد اسلامی واحد قزوین
2) استادیار دانشگاه آزاد اسلامی واحد قزوین
کد IOI مقاله
:
AAHD-ACZDAC
محل انتشار :
کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری (itnaf.ir)
چکیده :
استقرار مدلهای زبانی بزرگ (LLMs) در لبه شبکه و روی دستگاههایی با منابع محاسباتی و انرژی محدود، به دلیل حجم بالای حافظه مورد نیاز، شدت محاسباتی زیاد و پدیده دیواره پهنای باند حافظه (Memory Wall) با چالشهای بنیادین همراه است. این مقاله یک مرور دامنهای ساختاریافته (Structured Scoping Review) منطبق بر رهنمودهای استاندارد PRISMA-ScR پیرامون استنتاج بیدرنگ و بهینهسازی آگاه از سختافزار مدلهای زبانی در بستر هوش مصنوعی لبه ارائه میدهد. هدف اصلی این پژوهش، سنتز انتقادی ادبیات متأخر (سالهای ۲۰۲۴ تا ۲۰۲۶) و ارائه یک راهنمای عملیاتی منسجم برای پیوند میان سه لایه کلیدی است: الگوریتمهای فشردهسازی مدل، بهینهسازیهای سطح سیستم و کامپایلر، و شتابدهندههای سیلیکونی لبه.
در سطح مدل، روشهای کوانتایزاسیون فوق کم بیت، هرس ساختار یافته، تقطیر استدلال، فاکتور گیری کم رتبه و خطوط لوله هیبریدی بازآرایی و تحلیل شدهاند. در سطح سیستم، تکنیکهای همجوشی عملگرها، مدیریت مجازی بافر کلید-مقدار (PagedAttention)، موتورهای استنتاج محلی و استنتاج همیارانه لبه-ابری بررسی شدهاند. همچنین نتایج تجربی چند بُعدی در قالب چارچوب A-L-E-M (دقت، تاخیر، انرژی و حافظه) که توسط چن و همکاران (۲۰۲۶) معرفی شده، مورد ارزیابی نقادانه قرار گرفته و ناهماهنگی های اندازهگیری تبیین شدهاند. در نهایت شش خلأ پژوهشی اولویتدار به همراه ماتریس تصمیمگیری مهندسی تدوین گشته است.
کلمات کلیدی : مدلهای زبانی بزرگ (llm) هوش مصنوعی لبه (edge ai) استنتاج بیدرنگ مرور دامنهای ساختاریافته بهینهسازی آگاه از سختافزار بافر کلید مقدار (kv cache) چارچوب a l e m هوش لبه سیار (mei)