جستجو
بهینهسازی مدلهای ترانسفورمر برای کاربردهای متمرکز در پردازش زبان و فناوریهای نوین
کاوه کاویانپور1 بهنام برزگر2
چکیده :
مدلهای زبانی مبتنی بر فناوری ترانسفورمر، مانند BERT و GPT، در حوزه پردازش زبان طبیعی انقلاب ایجاد کردهاند و به طور گسترده در پروژههای مختلف به کار میروند. با این حال، بهرهبرداری مؤثر از این مدلها در حوزههای تخصصی نیازمند تنظیم و بهینهسازی دقیق است. در مطالعه حاضر، روشهای مختلف برای بهبود عملکرد این مدلها در حوزههای خاص مورد بررسی قرار گرفته است. روشهایی نظیر آموزش مجدد (Fine-tuning)، انتقال دانش (Transfer Learning)، فشردهسازی مدل و اصلاح ساختاری بررسی و تحلیل شدهاند، تا اثر هر یک بر کارایی مدل در کاربردهای خاص مشخص گردد. نتایج آزمایشها نشان میدهند که بهرهگیری از این تکنیکها میتواند میزان دقت و سرعت پردازش را در پروژههای تخصصی به طور قابل توجهی ارتقاء دهد. در نهایت، با مقایسه نتایج، راهکارهای بهینهای برای توسعه و کاربرد مدلهای ترانسفورمر در حوزههای متمرکز ارائه میشود، که میتواند نقش مهمی در پیشبرد فناوریهای زبانی و هوشمندسازی سیستمهای مبتنی بر زبان ایفا کند.
کلمات کلیدی : مدلهای زبانی بزرگ ترانسفورمر تنظیم دقیق یادگیری انتقالی فشردهسازی مدل بهینهسازی معماری
زبان مقاله : فارسی
محور مقاله : مهندسی کامپیوتر
محل انتشار : دومین کنفرانس بین المللی رویکردهای نوین در مهندسی و علوم پایه
آدرس وب سایت کنفرانس : icnabs.ir/2nd
کد IOI مقاله : AADG-AACAFE
لینک مستقیم مقاله : https://isnac.ir/AADG-AACAFE
نمایش چکیده انگلیسی
: https://isnac.ir/SA/AADG-AACAFE
سایر مقالات محل انتشار
- مدیریت پایدار منابع آب در مناطق خشک و نیمهخشک
- کاربرد انواع هیدروژل ها در سیستم های دارورسانی
- طراحی معماری مرجع بازارهای داده دیجیتال برپایهی تلفیق معماریهای دیتامش و دیتافابریک در بستر ریانش ابری
- بهینهسازی مدلهای ترانسفورمر برای کاربردهای متمرکز در پردازش زبان و فناوریهای نوین
- بهینهسازی فرآیندهای انتقال حرارت در سیستمهای خنککننده نانوسیال برای کاربردهای صنعتی
- The Role of Big Data and Foresight in Enhancing Resilience and Smart Decision-Making in Urban Logistics and Supply Chains in Iran
- بررسی تاثیر مواد ضدیخ بر ترکخوردگی دماپایین مخلوط آسفالت گرم با استفاده از روش انرژی آزاد سطحی
- تأثیر فناوریهای نوین و مواد جدید بر بهبود عملکرد بتن پیشتنیده
- Understanding Biophilic Design and Its Impact on Human Well-Being in Residential and Commercial Spaces
- Feasibility Assessment of Solar Roads for Charging Electric Vehicles in Highway Infrastructure
- کاربرد هوش مصنوعی در مدیریت پایدار آفات کشاورزی: مروری بر روشها، فناوریها و آیندهپژوهی
- Developing a Strategic Intelligence Framework for Technology-Oriented Startups: Integrating AI-Driven Foresight, Agile Business Models, and Entrepreneurial Adaptation
- کاربرد فناوری نانو در پوششهای مقاوم به رطوبت و خراش برای مبلمان چوبی
- A review in Innovations in Microcapsules and MEMS Technology within Human Vessels
- تنوع باکتریهای همزیست مگس میوه هلو (Bactrocera zonata) در جمعیتهای مختلف ایران: گامی به سوی مدیریت نوین آفات کشاورزی