مروری بر مجموعه‌داده‌های استنتاج زبان طبیعی در زبان‌های کم منبع غیرانگلیسی

محمد آذری جعفری1

چکیده :
با گسترش استفاده از تکنولوژی در دنیا، روزانه صدها کتاب، سند، نامه، متن علمی و غیرعلمی در رشته‌های مختلف به صورت دیجیتال تولید می‌شود. حجم این متون آنقدر زیاد شده است که پژوهشگران علوم کامپیوتر، برای تجزیه و تحلیل این متون وظایف مهمی را در هوش مصنوعی معرفی کرده‌اند. استنتاج زبان طبیعی یکی از این وظایف است که در آن ماشین به دسته‌بندی ارتباط دو عبارت «مقدم» و «تالی» در سه کلاس «دلالت»، «خنثی» و «تضاد» می‌پردازد. با اینکه اخیرا پیشرفت‌های زیادی در زمینه‌ی استنتاج زبان طبیعی انجام شده است، اما اکثر این پیشرفت‌ها محدود به زبان پر‌منبع انگلیسی است و سایر زبان‌های دنیا به خصوص زبان‌های کم‌منبع از توسعه در این مسیر عقب مانده‌اند. دلیل اصلی آن وجود مجموعه‌داده‌های بزرگ و مناسب استنتاج در زبان انگلیسی و عدم وجود، حجم کم یا کیفیت پایین این مجموعه‌داده‌ها در اکثر زبان‌های غیرانگلیسی برای آموزش مدل‌های استنتاج می‌باشد. در این پژوهش، ما مجموعه‌داده‌های غیرانگلیسی که اکثرا از زبان‌های کم‌منبع می‌باشند و به روش‌های اتوماتیک، نیمه‌اتوماتیک و دستی تولید شده‌اند را مرور کرده‌ایم. ما همچنین این مجموعه‌داده‌ها را از ابعاد مختلف از جمله زبان، منبع اصلی، موضوعات، شیوه‌ی جمع‌آوری، نوع برچسب و تعداد نمونه‌ها بررسی کرده و برخی از مهم‌ترین مشکلات موجود در آن‌ها را تجزیه و تحلیل کرده‌ایم. یافته‌های این پژوهش، علاوه بر کمک به محققین حوزه‌ی استنتاج زبان طبیعی در جهت انتخاب مجموعه‌داده‌ی مناسب، راهنمایی برای طراحی پروتکل جمع‌آوری مجموعه‌داده‌های جدید در زبان‌های مختلف دنیا به خصوص زبان‌های کم‌منبع می‌باشد.

کلمات کلیدی : استنتاج زبان طبیعی پردازش متن دلالت‌های متنی زبان‌های کم‌منبع


زبان مقاله : فارسی
محور مقاله : مهندسی
محل انتشار : نهمین کنفرانس بین المللی تحقیقات پیشرفته در علوم، مهندسی و فناوری
آدرس وب سایت کنفرانس : setconf.ir
کد IOI مقاله : XCCA-GABEG
لینک مستقیم مقاله : https://isnac.ir/XCCA-GABEG

سایر مقالات محل انتشار
  1. نقش توسعه فناوری اطلاعات بر درآمدهای پایدار و اقتصاد شهری
  2. بررسی تاثیر گیمیفیکیشن بر مشارکت مشتری و نگرش برند
  3. STATIC POWER AWARE APROACH FOR TASK MAPPING ON MULTICORE ARCHITECTURES USING THE IMPERIALIST COMPETITIVE ALGORITHM
  4. کاربرد روش¬های هوشمند در پیشبینی شوری آب¬های زیرزمینی با رویکرد آنتروپی شانون
  5. راهکارهایی مبتنی بر داده کاوی با مقایسه عملکرد درخت تصمیم CART و شبکه ی عصبیMLP برای پیش بینی سکته قلبی
  6. The Status of Social media networking among University students
  7. کاربرد تکنیک های داده کاوی در تجزیه و تحلیل اطلاعات میزان مصرف و روند بدهی مشترکین برق (مطالعه موردی: شرکت توزیع نیروی برق استان ایلام)
  8. مطالعه عددی افزایش انتقال گرما از گرم‌کن پمپ رسانش الکتریکی به نرمال-هگزان با افزودن نانوذرات مس
  9. مطالعه عددی افزایش انتقال گرما از گرم‌کن پمپ رسانش الکتریکی به نرمال-دکان با افزودن نانوذرات مس
  10. A Graph Based Ranking Algorithm for Recommender Systems
  11. هوشمند سازی سلامت افراد در اینترنت اشیا
  12. پيش بيني بارکاري جهت بالابردن دسترس پذيري در محيط هاي محاسبات ابري سيار
  13. تشخیص چهره پنهان از تصاویر با به کارگیری شبکه‌های عصبی عمیق
  14. ارائه سیستمی برای کنترل ربات کابلی
  15. بهبود تشخیص نفوذ در شبکه با الگوریتمهای هوش مصنوعی