ارزیابی استحکام بازرتبه‌بندی اسناد فارسی در برابر نویزهای نوشتاری و بررسی اثر نرمال‌سازی: مقایسه BM25، Tooka و multilingual-E5

ارزیابی استحکام بازرتبه‌بندی اسناد فارسی در برابر نویزهای نوشتاری و بررسی اثر نرمال‌سازی: مقایسه BM25، Tooka و multilingual-E5

فائزه صالحی1 ستاره سلطانی2

1) دانشجوی کارشناسی ارشد هوش مصنوعی، گروه مهندسی کامپیوتر ـ هوش مصنوعی و رباتیک، دانشکده مهندسی، دانشگاه جامع انقلاب اسلامی، تهران، ایران
2) دانشجوی کارشناسی ارشد هوش مصنوعی، گروه مهندسی کامپیوتر ـ هوش مصنوعی و رباتیک، دانشکده مهندسی، دانشگاه جامع انقلاب اسلامی، تهران، ایران

کد IOI مقاله : AAHD-ABKBAK
محل انتشار : کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری (itnaf.ir)
چکیده :
    این پژوهش استحکام بازرتبه‌بندی اسناد فارسی را در برابر اغتشاش‌های نوشتاری و میزان کاهش افت عملکرد پس از نرمال‌سازی متن بررسی می‌کند. آزمایش‌ها بر بخش توسعه فارسی مجموعه MIRACL و در چارچوب مجموعه‌ای ثابت شامل ۱۰۰ سند کاندیدا برای هر پرس‌وجو انجام شدند. پس از کنارگذاشتن پرس‌وجوهای فاقد سند مرتبط، ۵۱۵ پرس‌وجو و ۵۱٬۵۰۰ زوج پرس‌وجو–سند باقی ماند. سه روش BM25، Tooka-SBERT-V2-Small و multilingual-E5-base در برابر ۱۶ شرط نویسه‌ای، فاصله‌ای، تایپی و ترکیبی، در دو مسیر خام و نرمال‌شده ارزیابی شدند. برای اغتشاش‌های تصادفی، نتایج پنج بذر ابتدا در سطح هر پرس‌وجو میانگین‌گیری شد. عملکرد با معیارهای nDCG@10، MRR@10 و Recall@10 سنجیده شد و تحلیل استنباطی با آزمون زوجی ویلکاکسون، بوت‌استرپ صدکی در سطح پرس‌وجو و تصحیح هولم انجام گرفت. multilingual-E5 در پرس‌وجوهای پاک بالاترین میانگین عملکرد را به دست آورد؛ بااین‌حال، عملکرد پاک بالاتر در همه شرایط با استحکام بیشتر همراه نبود. شدیدترین افت BM25 در تبدیل نیم‌فاصله به فاصله معمولی، شدیدترین افت Tooka در جابه‌جایی حروف مجاور و شدیدترین افت multilingual-E5 در اغتشاش ترکیبی مشاهده شد. نرمال‌سازی فقط برای BM25 در تغییر نیم‌فاصله به فاصله و برای multilingual-E5 در تغییر صورت فارسی–عربی نویسه‌ها و اغتشاش ترکیبی، کاهش معنادار افت ایجاد کرد؛ برای Tooka هیچ کاهش معناداری مشاهده نشد. در اعتبارسنجی انسانی ۱۶۰ نمونه، نیاز اطلاعاتی در ۹۸٫۷۵ درصد موارد حفظ شد و همه نمونه‌ها پس از داوری نهایی به‌عنوان خطاهای نوشتاری سطحی قابل‌قبول تشخیص داده شدند. نتایج نشان می‌دهند اثر نرمال‌سازی به مدل، توکن‌ساز و نوع اغتشاش وابسته است و ارزیابی سامانه‌های بازیابی فارسی نباید به پرس‌وجوهای پاک محدود شود.

کلمات کلیدی : واژه‌هاي كليدي بازیابی اطلاعات فارسی بازرتبه‌بندی اسناد استحکام در برابر نویز نرمال‌سازی متن بازیابی متراکم نیم‌فاصله