بهینه‌سازی مدل‌های ترانسفورمر برای کاربردهای متمرکز در پردازش زبان و فناوری‌های نوین

بهینه‌سازی مدل‌های ترانسفورمر برای کاربردهای متمرکز در پردازش زبان و فناوری‌های نوین

کاوه کاویانپور1 بهنام برزگر2

1) کارشناسی ارشد مهندسی کامپیوتر، دانشگاه امیرکبیر
2) استادیار دانشگاه آزاد واحد بابل

کد IOI مقاله : AADG-AACAFE
محل انتشار : دومین کنفرانس بین المللی رویکردهای نوین در مهندسی و علوم پایه(icnabs.ir/2nd)
چکیده :
    مدل‌های زبانی مبتنی بر فناوری ترانسفورمر، مانند BERT و GPT، در حوزه پردازش زبان طبیعی انقلاب ایجاد کرده‌اند و به طور گسترده در پروژه‌های مختلف به کار می‌روند. با این حال، بهره‌برداری مؤثر از این مدل‌ها در حوزه‌های تخصصی نیازمند تنظیم و بهینه‌سازی دقیق است. در مطالعه حاضر، روش‌های مختلف برای بهبود عملکرد این مدل‌ها در حوزه‌های خاص مورد بررسی قرار گرفته است. روش‌هایی نظیر آموزش مجدد (Fine-tuning)، انتقال دانش (Transfer Learning)، فشرده‌سازی مدل و اصلاح ساختاری بررسی و تحلیل شده‌اند، تا اثر هر یک بر کارایی مدل در کاربردهای خاص مشخص گردد. نتایج آزمایش‌ها نشان می‌دهند که بهره‌گیری از این تکنیک‌ها می‌تواند میزان دقت و سرعت پردازش را در پروژه‌های تخصصی به طور قابل توجهی ارتقاء دهد. در نهایت، با مقایسه نتایج، راهکارهای بهینه‌ای برای توسعه و کاربرد مدل‌های ترانسفورمر در حوزه‌های متمرکز ارائه می‌شود، که می‌تواند نقش مهمی در پیشبرد فناوری‌های زبانی و هوشمندسازی سیستم‌های مبتنی بر زبان ایفا کند.

کلمات کلیدی : مدل‌های زبانی بزرگ ترانسفورمر تنظیم دقیق یادگیری انتقالی فشرده‌سازی مدل بهینه‌سازی معماری