ارزیابی استحکام بازرتبه‌بندی اسناد فارسی در برابر نویزهای نوشتاری و بررسی اثر نرمال‌سازی: مقایسه BM25، Tooka و multilingual-E5

فائزه صالحی1 ستاره سلطانی2

چکیده :
این پژوهش استحکام بازرتبه‌بندی اسناد فارسی را در برابر اغتشاش‌های نوشتاری و میزان کاهش افت عملکرد پس از نرمال‌سازی متن بررسی می‌کند. آزمایش‌ها بر بخش توسعه فارسی مجموعه MIRACL و در چارچوب مجموعه‌ای ثابت شامل ۱۰۰ سند کاندیدا برای هر پرس‌وجو انجام شدند. پس از کنارگذاشتن پرس‌وجوهای فاقد سند مرتبط، ۵۱۵ پرس‌وجو و ۵۱٬۵۰۰ زوج پرس‌وجو–سند باقی ماند. سه روش BM25، Tooka-SBERT-V2-Small و multilingual-E5-base در برابر ۱۶ شرط نویسه‌ای، فاصله‌ای، تایپی و ترکیبی، در دو مسیر خام و نرمال‌شده ارزیابی شدند. برای اغتشاش‌های تصادفی، نتایج پنج بذر ابتدا در سطح هر پرس‌وجو میانگین‌گیری شد. عملکرد با معیارهای nDCG@10، MRR@10 و Recall@10 سنجیده شد و تحلیل استنباطی با آزمون زوجی ویلکاکسون، بوت‌استرپ صدکی در سطح پرس‌وجو و تصحیح هولم انجام گرفت. multilingual-E5 در پرس‌وجوهای پاک بالاترین میانگین عملکرد را به دست آورد؛ بااین‌حال، عملکرد پاک بالاتر در همه شرایط با استحکام بیشتر همراه نبود. شدیدترین افت BM25 در تبدیل نیم‌فاصله به فاصله معمولی، شدیدترین افت Tooka در جابه‌جایی حروف مجاور و شدیدترین افت multilingual-E5 در اغتشاش ترکیبی مشاهده شد. نرمال‌سازی فقط برای BM25 در تغییر نیم‌فاصله به فاصله و برای multilingual-E5 در تغییر صورت فارسی–عربی نویسه‌ها و اغتشاش ترکیبی، کاهش معنادار افت ایجاد کرد؛ برای Tooka هیچ کاهش معناداری مشاهده نشد. در اعتبارسنجی انسانی ۱۶۰ نمونه، نیاز اطلاعاتی در ۹۸٫۷۵ درصد موارد حفظ شد و همه نمونه‌ها پس از داوری نهایی به‌عنوان خطاهای نوشتاری سطحی قابل‌قبول تشخیص داده شدند. نتایج نشان می‌دهند اثر نرمال‌سازی به مدل، توکن‌ساز و نوع اغتشاش وابسته است و ارزیابی سامانه‌های بازیابی فارسی نباید به پرس‌وجوهای پاک محدود شود.

کلمات کلیدی : واژه‌هاي كليدي بازیابی اطلاعات فارسی بازرتبه‌بندی اسناد استحکام در برابر نویز نرمال‌سازی متن بازیابی متراکم نیم‌فاصله


زبان مقاله : فارسی
محور مقاله : محورهای نظری هوش مصنوعی
محل انتشار : کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری
آدرس وب سایت کنفرانس : itnaf.ir
کد IOI مقاله : AAHD-ABKBAK
لینک مستقیم مقاله : https://isnac.ir/AAHD-ABKBAK

سایر مقالات محل انتشار
  1. A Study on Design Understandability and Interaction of the therapy-specific Robots
  2. طراحی و مهندسی یک حسگر زیستی نوری چند مدی پلاسمونیک مبتنی بر تشدیدگرهای حلقه شکاف برای سنجش جامع آنتی‌ژن
  3. طراحی یک اسیلاتورکنترل شونده با ولتاژ با نویز فاز بسیار پایین و بازه وسیع فرکانسی با تکنولوژی نانولوله کربنی برای کاربردهای PLL
  4. یک چارچوب هوشمند آگاه به زمینه برای ارتباطات V2V و V2Iدر شبکه‌های خودرویی شهرهای هوشمند با استفاده از داده‌های ترافیکی شبکه سلولی
  5. An Ensemble Non-Dominated Feature Selection Method: A Case Study on Prostate Cancer
  6. تشخیص زودهنگام پوسیدگی دندان با استفاده از شبکه‌های عصبی
  7. Simulation and Performance Comparison of Torque Tube and LVDT Sensors in Displacer-Based Level Measurement Systems
  8. ارتقا سامانه ناوبری پهپاد مهاجر ۶ با استفاده از فناوری
  9. کاربرد نانوذرات مگنتیت (Fe3O4) در پزشکی (از سنتز تا عملکرد)
  10. Simulation and Modeling of Floating-Gate Non-Volatile Memory Performance: Focus on Oxide Thickness, Programming Speed, and Charge Transport Mechanisms
  11. Fraud Analytics with Big Data: A Literature Review on Machine Learning Algorithms in Bankruptcy Prediction and Financial Fraud Detection
  12. تحلیل آینده‌پژوهانه هم‌گرایی هوش مصنوعی، فناوری نانو و فناوری اطلاعات در مسیر تحول صنعتی آینده
  13. نقش تحول دیجیتال در خدمات کتابخانه‌های عمومی برای توان‌یابان جسمی و ذهنی
  14. Prediction and Optimization of Oxygen Production under Microgravity Conditions Using Machine Learning
  15. Simulation and Performance Comparison of Ultrasonic, Non-Contact Radar, and Guided Wave Radar Sensors in Level Measurement Systems