ارزیابی روش های وزن دهی به شاخص ها مبتنی بر یک الگوریتم ترکیبی در حوزه طبقه بندی نامه های الکترونیکی

ارزیابی روش های وزن دهی به شاخص ها مبتنی بر یک الگوریتم ترکیبی در حوزه طبقه بندی نامه های الکترونیکی

ریحانه شفایی1 رضا احسن2

1) کارشناسی ارشد فناوری اطلاعات
2) عضو هیات علمی دانشگاه آزاد اسلامی- واحد قم

کد IOI مقاله : XYDC-AFHFH
محل انتشار : کنفرانس بین المللی پژوهش در علوم و مهندسی(icrsie.com)
چکیده :
    طبقه بندی متون یک مسئله پردازش زبان طبیعی می باشد و می تواند به عنوان انتساب سندهای طبقه بندی نشده به یک یا بیشتر طبقه های از پیش تعریف شده، براساس محتوایشان دیده شود. امروزه با توجه به گسترش روز افزون شبکه جهانی، یکی از مسائلی که در زمینه طبقه بندی متون غیر ساخت یافته اهمیت بسیار چشمگیری یافته است، مسئله نامه های الکترونیکی ناخواسته (هرزنامه) می باشد. با توجه به افزایش استفاده از نامه های الکترونیکی، هرزنامه ها نیز روز به روز بیشتر می شوند. هرزنامه ها هر روز با ترفندی جدید ظاهر شده و مشکلات زیادی را ایجاد می کنند. لذا طراحی سیستم های کارا جهت فیلترینگ موثر هرزنامه ها از اهمیت فوق العاده ای برخوردار است. یکی از مراحل مهم در فیلتر کردن هرزنامه ها که تاثیر بسیار زیادی در افزایش دقت و سرعت تشخیص دارد، انتخاب روش مناسب وزن دهی به شاخص ها در مرحله آماده سازی متون جهت طبقه بندی می باشد. در این مقاله به منظور ارزیابی روش های وزن دهی به شاخص ها از مدل ترکیبی مبتنی بر الگوریتم های یادگیری ماشین و برای شاخص گذاری از روش های 2-گرم و 3-گرم و 4-گرم استفاده شده است. جهت ارزیابی و مقایسه نتایج، از روش های متداول وزن دهی به شاخص ها در مرحله آماده سازی متون استفاده شده است. نتایج ارزیابی نشان دهنده کارایی بهتر روش TF-IDF نسبت به روش های دیگر وزن دهی بر روی مجموعه داده های Spam Collection است.

کلمات کلیدی : متن کاوی طبقه بندی متون وزن دهی به شاخص ها یادگیری ماشین tf idf