بررسی تطبیقی روشهای تبدیل متن به تصویر و تصویر به متن

بررسی تطبیقی روشهای تبدیل متن به تصویر و تصویر به متن

آزاده بهرامی1 مژگان صالحی نسب2 عبداله چاله چاله3

1) دانشجوی کارشناسی ارشد تجارت الکترونیک، دانشگاه رازی، کرمانشاه، ایران،
2) دانشجوی دکتری مهندسی معماری سیستم های کامپیوتری، دانشگاه رازی، کرمانشاه، ایران،
3) دانشیار گروه مهندسی کامپیوتر، دانشگاه رازی، کرمانشاه، ایران،

کد IOI مقاله : AAHD-ABKDZE
محل انتشار : کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری (itnaf.ir)
چکیده :
    هوش مصنوعی مولد در سالهای اخیر مرز میان پردازش زبان طبیعی و بینایی ماشین را بیش از پیش به هم نزدیک کرده است. دو مسئله مهم در این پیوند، تبدیل متن به تصویر و تبدیل تصویر به متن هستند. در مسئله نخست، سامانه باید یک توصیف زبانی را به بازنمایی بصری معنادار تبدیل کند و در مسئله دوم، باید محتوای بصری، اشیاء، روابط و زمینه تصویر را درک کرده و آن را به زبان طبیعی بیان کند. این مقاله با تکیه بر گزارش سمینار مورد مطالعه، روند تحول این دو حوزه را از شبکههای مولد تخاصمی تا معماریهای ترنسفورمری، مدلهای انتشار و مدلهای چندوجهی بررسی میکند. در بخش متن به تصویر، خانوادههایی مانند GAN-INT-CLS، StackGAN، AttnGAN، DM-GAN، DF-GAN، CogView، CogView2، Stable Diffusion، Imagen، RAPHAEL و Swinv2-Imagen تحلیل میشوند. در بخش تصویر به متن نیز مسیر تحول از رمزگذار–رمزگشا و LSTM به مکانیزم توجه، ترنسفورمر و مدلهای چندوجهی مانند BLIP، BLIP-2، HCCM، InternVL و EMLIC بررسی میشود. همچنین نتایج اجرای عملی Stable Diffusion و BLIP در محیط Colab بازخوانی شده است .یافته اصلی آن است که کیفیت مدل به تنهایی تضمینکننده کیفیت کاربردی نیست و مهندسی پرامپت، همترازی متن و تصویر، کیفیت داده، ارزیابی انسانی، کنترل خروجی و نظارت انسانی اهمیت تعیینکننده دارند. در پایان، کاربردهای این فناوریها در تبلیغات، شخصیسازی، تحلیل محتوای بصری، نمونهسازی محصول و تجارت الکترونیک و نیز چالشهای اخلاقی و حقوقی ارائه میشود.

کلمات کلیدی : هوش مصنوعی مولد تبدیل متن به تصویر تبدیل تصویر به متن کپشن‌گذاری تصویر ترنسفورمر