مروری بر مجموعه‌داده‌های استنتاج زبان طبیعی در زبان‌های کم منبع غیرانگلیسی

مروری بر مجموعه‌داده‌های استنتاج زبان طبیعی در زبان‌های کم منبع غیرانگلیسی

محمد آذری جعفری1

1) کارشناسی ارشد مهندسی فناوری اطلاعات، دانشگاه قم، ایران:

کد IOI مقاله : XCCA-GABEG
محل انتشار : نهمین کنفرانس بین المللی تحقیقات پیشرفته در علوم، مهندسی و فناوری (setconf.ir)
چکیده :
    با گسترش استفاده از تکنولوژی در دنیا، روزانه صدها کتاب، سند، نامه، متن علمی و غیرعلمی در رشته‌های مختلف به صورت دیجیتال تولید می‌شود. حجم این متون آنقدر زیاد شده است که پژوهشگران علوم کامپیوتر، برای تجزیه و تحلیل این متون وظایف مهمی را در هوش مصنوعی معرفی کرده‌اند. استنتاج زبان طبیعی یکی از این وظایف است که در آن ماشین به دسته‌بندی ارتباط دو عبارت «مقدم» و «تالی» در سه کلاس «دلالت»، «خنثی» و «تضاد» می‌پردازد. با اینکه اخیرا پیشرفت‌های زیادی در زمینه‌ی استنتاج زبان طبیعی انجام شده است، اما اکثر این پیشرفت‌ها محدود به زبان پر‌منبع انگلیسی است و سایر زبان‌های دنیا به خصوص زبان‌های کم‌منبع از توسعه در این مسیر عقب مانده‌اند. دلیل اصلی آن وجود مجموعه‌داده‌های بزرگ و مناسب استنتاج در زبان انگلیسی و عدم وجود، حجم کم یا کیفیت پایین این مجموعه‌داده‌ها در اکثر زبان‌های غیرانگلیسی برای آموزش مدل‌های استنتاج می‌باشد. در این پژوهش، ما مجموعه‌داده‌های غیرانگلیسی که اکثرا از زبان‌های کم‌منبع می‌باشند و به روش‌های اتوماتیک، نیمه‌اتوماتیک و دستی تولید شده‌اند را مرور کرده‌ایم. ما همچنین این مجموعه‌داده‌ها را از ابعاد مختلف از جمله زبان، منبع اصلی، موضوعات، شیوه‌ی جمع‌آوری، نوع برچسب و تعداد نمونه‌ها بررسی کرده و برخی از مهم‌ترین مشکلات موجود در آن‌ها را تجزیه و تحلیل کرده‌ایم. یافته‌های این پژوهش، علاوه بر کمک به محققین حوزه‌ی استنتاج زبان طبیعی در جهت انتخاب مجموعه‌داده‌ی مناسب، راهنمایی برای طراحی پروتکل جمع‌آوری مجموعه‌داده‌های جدید در زبان‌های مختلف دنیا به خصوص زبان‌های کم‌منبع می‌باشد.

کلمات کلیدی : استنتاج زبان طبیعی پردازش متن دلالت‌های متنی زبان‌های کم‌منبع