جستجو
استنتاج بیدرنگ و بهینهسازی آگاه از سختافزار مدلهای زبانی بزرگ برای هوش مصنوعی لبه: تحلیل تطبیقی، بازآرایی روشها و راهنمای جامع استقرار
هومن طحانی1 مرسده سنجابی2
چکیده :
استقرار مدلهای زبانی بزرگ (LLMs) در لبه شبکه و روی دستگاههایی با منابع محاسباتی و انرژی محدود، به دلیل حجم بالای حافظه مورد نیاز، شدت محاسباتی زیاد و پدیده دیواره پهنای باند حافظه (Memory Wall) با چالشهای بنیادین همراه است. این مقاله یک مرور دامنهای ساختاریافته (Structured Scoping Review) منطبق بر رهنمودهای استاندارد PRISMA-ScR پیرامون استنتاج بیدرنگ و بهینهسازی آگاه از سختافزار مدلهای زبانی در بستر هوش مصنوعی لبه ارائه میدهد. هدف اصلی این پژوهش، سنتز انتقادی ادبیات متأخر (سالهای ۲۰۲۴ تا ۲۰۲۶) و ارائه یک راهنمای عملیاتی منسجم برای پیوند میان سه لایه کلیدی است: الگوریتمهای فشردهسازی مدل، بهینهسازیهای سطح سیستم و کامپایلر، و شتابدهندههای سیلیکونی لبه.
در سطح مدل، روشهای کوانتایزاسیون فوق کم بیت، هرس ساختار یافته، تقطیر استدلال، فاکتور گیری کم رتبه و خطوط لوله هیبریدی بازآرایی و تحلیل شدهاند. در سطح سیستم، تکنیکهای همجوشی عملگرها، مدیریت مجازی بافر کلید-مقدار (PagedAttention)، موتورهای استنتاج محلی و استنتاج همیارانه لبه-ابری بررسی شدهاند. همچنین نتایج تجربی چند بُعدی در قالب چارچوب A-L-E-M (دقت، تاخیر، انرژی و حافظه) که توسط چن و همکاران (۲۰۲۶) معرفی شده، مورد ارزیابی نقادانه قرار گرفته و ناهماهنگی های اندازهگیری تبیین شدهاند. در نهایت شش خلأ پژوهشی اولویتدار به همراه ماتریس تصمیمگیری مهندسی تدوین گشته است.
کلمات کلیدی : مدلهای زبانی بزرگ (llm) هوش مصنوعی لبه (edge ai) استنتاج بیدرنگ مرور دامنهای ساختاریافته بهینهسازی آگاه از سختافزار بافر کلید مقدار (kv cache) چارچوب a l e m هوش لبه سیار (mei)
زبان مقاله : فارسی
محور مقاله : هوش مصنوعی و اینترنت اشیاء
محل انتشار : کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری
آدرس وب سایت کنفرانس : itnaf.ir
کد IOI مقاله : AAHD-ACZDAC
لینک مستقیم مقاله : https://isnac.ir/AAHD-ACZDAC
سایر مقالات محل انتشار
- A Study on Design Understandability and Interaction of the therapy-specific Robots
- طراحی و مهندسی یک حسگر زیستی نوری چند مدی پلاسمونیک مبتنی بر تشدیدگرهای حلقه شکاف برای سنجش جامع آنتیژن
- طراحی یک اسیلاتورکنترل شونده با ولتاژ با نویز فاز بسیار پایین و بازه وسیع فرکانسی با تکنولوژی نانولوله کربنی برای کاربردهای PLL
- یک چارچوب هوشمند آگاه به زمینه برای ارتباطات V2V و V2Iدر شبکههای خودرویی شهرهای هوشمند با استفاده از دادههای ترافیکی شبکه سلولی
- An Ensemble Non-Dominated Feature Selection Method: A Case Study on Prostate Cancer
- تشخیص زودهنگام پوسیدگی دندان با استفاده از شبکههای عصبی
- Simulation and Performance Comparison of Torque Tube and LVDT Sensors in Displacer-Based Level Measurement Systems
- ارتقا سامانه ناوبری پهپاد مهاجر ۶ با استفاده از فناوری
- کاربرد نانوذرات مگنتیت (Fe3O4) در پزشکی (از سنتز تا عملکرد)
- Simulation and Modeling of Floating-Gate Non-Volatile Memory Performance: Focus on Oxide Thickness, Programming Speed, and Charge Transport Mechanisms
- Fraud Analytics with Big Data: A Literature Review on Machine Learning Algorithms in Bankruptcy Prediction and Financial Fraud Detection
- تحلیل آیندهپژوهانه همگرایی هوش مصنوعی، فناوری نانو و فناوری اطلاعات در مسیر تحول صنعتی آینده
- نقش تحول دیجیتال در خدمات کتابخانههای عمومی برای توانیابان جسمی و ذهنی
- Prediction and Optimization of Oxygen Production under Microgravity Conditions Using Machine Learning
- Simulation and Performance Comparison of Ultrasonic, Non-Contact Radar, and Guided Wave Radar Sensors in Level Measurement Systems