تلفیق برچسب میان‌زبانی و چندمنبعی مبتنی بر همگرایی برای بازشناسی موجودیت‌های نامدار در زبان فارسی

تلفیق برچسب میان‌زبانی و چندمنبعی مبتنی بر همگرایی برای بازشناسی موجودیت‌های نامدار در زبان فارسی

ریحانه برومند1 مرضیه رحیمی2

1) دانشکده مهندسی کامپیوتر، دانشگاه صنعتی شاهرود، شاهرود، ایران
2) دانشکده مهندسی کامپیوتر، دانشگاه صنعتی شاهرود، شاهرود، ایران

کد IOI مقاله : AAHD-ABKDHZ
محل انتشار : کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری (itnaf.ir)
چکیده :
    کمبود پیکره‌های بزرگ‌مقیاس با حاشیه‌نویسیِ دقیق، همچنان یکی از چالش‌های اساسی در حوزه بازشناسی موجودیت‌های نامدار برای زبان‌های کم‌منبع محسوب می‌شود. تلفیق برچسب میان‌زبانی، جایگزینی کم‌هزینه برای حاشیه‌نویسی دستی است؛ با این حال، پایپ لاین های انتقال سنتیِ تک‌منبعی، نسبت به خطاهای ترجمه، نقص در هم‌ترازی واژگان و ناهماهنگی در مرزهای موجودیت، بسیار حساس هستند. در این مقاله، چارچوبی چندمنبعی برای تلفیق برچسب میان‌زبانی به‌منظور ساخت یک مجموعه‌داده باکیفیت برای بازشناسی موجودیت‌های نامدار فارسی پیشنهاد می‌شود. برخلاف رویکردهای متداول که برچسب‌ها را تنها از یک زبان پُرمنبع منتقل می‌کنند، چارچوب پیشنهادی از چندین زبان مبدأ (انگلیسی، آلمانی و فرانسوی) برای تولید تلفیق های مکملِ برچسب به فارسی بهره می‌گیرد. در هر مسیر مبدأ، فرایندهای برچسب‌گذاری موجودیت‌های نامدار در زبان مبدأ، ترجمه ماشینی مبتنی برهوش مصنوعی، هم‌ترازی واژه‌به‌واژه، هم‌ترازی در سطح بازه و تلفیق اولیه برچسب‌های BIO انجام می‌شود. سپس، یک ماژولِ یکپارچه‌سازِ «آگاه از اطمینان»، برچسب‌های تلفیق شده را با در نظر گرفتنِ هم‌زمانِ اعتبارِ منبع، اطمینانِ هم‌ترازی واژگانی، میزان هم‌پوشانی بازه‌ها و توافق در نوع موجودیت، با یکدیگر ترکیب می‌کند. این چارچوب همچنین با اعمال سازوکارِ تعدیل مرزها و اعتبارسنجیِ سازگاری برچسب‌های BIO، مواردِ متعارض را رفع و برچسب‌های کم‌اطمینان را حذف می‌کند. برای ارزیابی کیفیت مجموعه‌داده، مدل‌های شاخص برچسب‌گذاری دنباله‌ای و ترنسفورمرهای چندزبانه، شامل BiLSTM-CRF، ‏mBERT و ‏XLM-RoBERTa بر روی آن آموزش داده شده‌اند. آزمایش‌ها به‌گونه‌ای طراحی شده‌اند که سهم هر زبان مبدأ و نقش هر مؤلفه اصلاحی را از طریق تحلیل‌های مقایسه‌ای و ابلیشن بسنجند. رویکرد ارائه‌شده، مسیری مقیاس‌پذیر و مستقل از زبان را برای کاهش نویز و بهبود قابلیت اعتمادِ منابعِ خودکارِ بازشناسی موجودیت‌های نامدار برای زبان فارسی و سایر زبان‌های کم‌منبع ارائه می‌دهد.

کلمات کلیدی : بازشناسی موجودیت‌های نامدار انتقال میان‌زبانی یادگیری چندمنبعی تلفیق برچسب ها پردازش زبان طبیعی فارسی زبان‌های کم‌منبع ساخت داده ها