نمایش چکیده انگلیسی

بهینه‌سازی مدل‌های ترانسفورمر برای کاربردهای متمرکز در پردازش زبان و فناوری‌های نوین

کاوه کاویانپور1 بهنام برزگر2

چکیده :
مدل‌های زبانی مبتنی بر فناوری ترانسفورمر، مانند BERT و GPT، در حوزه پردازش زبان طبیعی انقلاب ایجاد کرده‌اند و به طور گسترده در پروژه‌های مختلف به کار می‌روند. با این حال، بهره‌برداری مؤثر از این مدل‌ها در حوزه‌های تخصصی نیازمند تنظیم و بهینه‌سازی دقیق است. در مطالعه حاضر، روش‌های مختلف برای بهبود عملکرد این مدل‌ها در حوزه‌های خاص مورد بررسی قرار گرفته است. روش‌هایی نظیر آموزش مجدد (Fine-tuning)، انتقال دانش (Transfer Learning)، فشرده‌سازی مدل و اصلاح ساختاری بررسی و تحلیل شده‌اند، تا اثر هر یک بر کارایی مدل در کاربردهای خاص مشخص گردد. نتایج آزمایش‌ها نشان می‌دهند که بهره‌گیری از این تکنیک‌ها می‌تواند میزان دقت و سرعت پردازش را در پروژه‌های تخصصی به طور قابل توجهی ارتقاء دهد. در نهایت، با مقایسه نتایج، راهکارهای بهینه‌ای برای توسعه و کاربرد مدل‌های ترانسفورمر در حوزه‌های متمرکز ارائه می‌شود، که می‌تواند نقش مهمی در پیشبرد فناوری‌های زبانی و هوشمندسازی سیستم‌های مبتنی بر زبان ایفا کند.

کلمات کلیدی : مدل‌های زبانی بزرگ ترانسفورمر تنظیم دقیق یادگیری انتقالی فشرده‌سازی مدل بهینه‌سازی معماری


زبان مقاله : فارسی
محور مقاله : مهندسی کامپیوتر
محل انتشار : دومین کنفرانس بین المللی رویکردهای نوین در مهندسی و علوم پایه
آدرس وب سایت کنفرانس : icnabs.ir/2nd
کد IOI مقاله : AADG-AACAFE
لینک مستقیم مقاله : https://isnac.ir/AADG-AACAFE
نمایش چکیده انگلیسی : https://isnac.ir/SA/AADG-AACAFE

سایر مقالات محل انتشار
  1. مدیریت پایدار منابع آب در مناطق خشک و نیمه‌خشک
  2. کاربرد انواع هیدروژل ها در سیستم های دارورسانی
  3. طراحی معماری مرجع بازارهای داده دیجیتال برپایه‌ی تلفیق معماری‌های دیتامش و دیتافابریک در بستر ریانش ابری
  4. بهینه‌سازی مدل‌های ترانسفورمر برای کاربردهای متمرکز در پردازش زبان و فناوری‌های نوین
  5. بهینه‌سازی فرآیندهای انتقال حرارت در سیستم‌های خنک‌کننده نانوسیال برای کاربردهای صنعتی
  6. The Role of Big Data and Foresight in Enhancing Resilience and Smart Decision-Making in Urban Logistics and Supply Chains in Iran
  7. بررسی تاثیر مواد ضدیخ بر ترک‌خوردگی دماپایین مخلوط آسفالت گرم با استفاده از روش انرژی آزاد سطحی
  8. تأثیر فناوری‌های نوین و مواد جدید بر بهبود عملکرد بتن پیش‌تنیده
  9. Understanding Biophilic Design and Its Impact on Human Well-Being in Residential and Commercial Spaces
  10. Feasibility Assessment of Solar Roads for Charging Electric Vehicles in Highway Infrastructure
  11. کاربرد هوش مصنوعی در مدیریت پایدار آفات کشاورزی: مروری بر روش‌ها، فناوری‌ها و آینده‌پژوهی
  12. Developing a Strategic Intelligence Framework for Technology-Oriented Startups: Integrating AI-Driven Foresight, Agile Business Models, and Entrepreneurial Adaptation
  13. کاربرد فناوری نانو در پوشش‌های مقاوم به رطوبت و خراش برای مبلمان چوبی
  14. A review in Innovations in Microcapsules and MEMS Technology within Human Vessels
  15. تنوع باکتری‌های همزیست مگس میوه هلو (Bactrocera zonata) در جمعیت‌های مختلف ایران: گامی به سوی مدیریت نوین آفات کشاورزی