رویکردی نوین در قطعه‌بندی تصاویر پزشکی با استفاده از یکپارچه‌سازی شبکه‌های عصبی گراف و ترکیبی از CNN-ترانسفورمر

رویکردی نوین در قطعه‌بندی تصاویر پزشکی با استفاده از یکپارچه‌سازی شبکه‌های عصبی گراف و ترکیبی از CNN-ترانسفورمر

سحرصاحبی1 علی مرتضایی2

1) دانشجوی کارشناسی ارشد، دانشگاه تبریز
2) دانشجوی کارشناسی ارشد، دانشگاه آزاد اسلامی واحد قزوین

کد IOI مقاله : AAHD-ACZEAA
محل انتشار : کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری (itnaf.ir)
چکیده :
    در این مقاله، روشی نوین برای قطعه‌بندی دقیق تصاویر پزشکی با استفاده از برچسب‌های ساده (Scribble) ارائه شده است. مدل‌های کاملاً نظارت‌شده نیازمند داده‌های پیکسلی هستند که تهیه آن‌ها پرهزینه است. در مقابل، یادگیری از برچسب‌های ساده راهکاری عملی است، اما غالباً با مشکل فعال‌سازی جزئی و از دست دادن ساختار بافت روبه‌رو می‌شود. برای رفع این چالش، چارچوب پیشنهادی ما با نام گراف‌اسکریب (ScribGNN)، یک شبکه عصبی گراف (GNN) را مستقیماً در معماری شبکه‌های عصبی پیچشی-ترانسفورمر (CNN-Transformer) ادغام می‌کند. با ساخت یک گراف نزدیک‌ترین همسایه (KNN) در فضای ویژگی‌های عمیق، این مدل اتصالات توپولوژیک طبیعی که در ترانسفورمرهای استاندارد از بین می‌روند را بازیابی می‌کند. همچنین، از یک نقشه فعال‌سازی کلاس مبتنی بر توجه گوسی (Gaussian ACAM) به‌عنوان یک فیلتر ساختاری استفاده شده است. ارزیابی‌ها بر روی مجموعه‌داده‌های ACDC و MSCMRseg نشان می‌دهد این روش با دستیابی به میانگین ضریب دایس (DSC) به ترتیب ۸۹.۹۳٪ و ۸۴.۹۷٪، نتایجی بسیار رقابتی با روش‌های کاملاً نظارت‌شده ارائه می‌دهد، در حالی که پیچیدگی محاسباتی بسیار پایینی دارد.

کلمات کلیدی : شبکه‌های عصبی گراف ترانسفورمرها قطعه‌بندی تصاویر پزشکی یادگیری مبتنی بر برچسب ساده مکانیزم توجه