بررسی تطبیقی روشهای تبدیل متن به تصویر و تصویر به متن

آزاده بهرامی1 مژگان صالحی نسب2 عبداله چاله چاله3

چکیده :
هوش مصنوعی مولد در سالهای اخیر مرز میان پردازش زبان طبیعی و بینایی ماشین را بیش از پیش به هم نزدیک کرده است. دو مسئله مهم در این پیوند، تبدیل متن به تصویر و تبدیل تصویر به متن هستند. در مسئله نخست، سامانه باید یک توصیف زبانی را به بازنمایی بصری معنادار تبدیل کند و در مسئله دوم، باید محتوای بصری، اشیاء، روابط و زمینه تصویر را درک کرده و آن را به زبان طبیعی بیان کند. این مقاله با تکیه بر گزارش سمینار مورد مطالعه، روند تحول این دو حوزه را از شبکههای مولد تخاصمی تا معماریهای ترنسفورمری، مدلهای انتشار و مدلهای چندوجهی بررسی میکند. در بخش متن به تصویر، خانوادههایی مانند GAN-INT-CLS، StackGAN، AttnGAN، DM-GAN، DF-GAN، CogView، CogView2، Stable Diffusion، Imagen، RAPHAEL و Swinv2-Imagen تحلیل میشوند. در بخش تصویر به متن نیز مسیر تحول از رمزگذار–رمزگشا و LSTM به مکانیزم توجه، ترنسفورمر و مدلهای چندوجهی مانند BLIP، BLIP-2، HCCM، InternVL و EMLIC بررسی میشود. همچنین نتایج اجرای عملی Stable Diffusion و BLIP در محیط Colab بازخوانی شده است .یافته اصلی آن است که کیفیت مدل به تنهایی تضمینکننده کیفیت کاربردی نیست و مهندسی پرامپت، همترازی متن و تصویر، کیفیت داده، ارزیابی انسانی، کنترل خروجی و نظارت انسانی اهمیت تعیینکننده دارند. در پایان، کاربردهای این فناوریها در تبلیغات، شخصیسازی، تحلیل محتوای بصری، نمونهسازی محصول و تجارت الکترونیک و نیز چالشهای اخلاقی و حقوقی ارائه میشود.

کلمات کلیدی : هوش مصنوعی مولد تبدیل متن به تصویر تبدیل تصویر به متن کپشن‌گذاری تصویر ترنسفورمر


زبان مقاله : فارسی
محور مقاله : آینده پژوهی در مهندسی، فناوری اطلاعات، وب، سیستم های هوشمند و امنیت سایبری
محل انتشار : کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری
آدرس وب سایت کنفرانس : itnaf.ir
کد IOI مقاله : AAHD-ABKDZE
لینک مستقیم مقاله : https://isnac.ir/AAHD-ABKDZE

سایر مقالات محل انتشار
  1. A Study on Design Understandability and Interaction of the therapy-specific Robots
  2. طراحی و مهندسی یک حسگر زیستی نوری چند مدی پلاسمونیک مبتنی بر تشدیدگرهای حلقه شکاف برای سنجش جامع آنتی‌ژن
  3. طراحی یک اسیلاتورکنترل شونده با ولتاژ با نویز فاز بسیار پایین و بازه وسیع فرکانسی با تکنولوژی نانولوله کربنی برای کاربردهای PLL
  4. یک چارچوب هوشمند آگاه به زمینه برای ارتباطات V2V و V2Iدر شبکه‌های خودرویی شهرهای هوشمند با استفاده از داده‌های ترافیکی شبکه سلولی
  5. An Ensemble Non-Dominated Feature Selection Method: A Case Study on Prostate Cancer
  6. تشخیص زودهنگام پوسیدگی دندان با استفاده از شبکه‌های عصبی
  7. Simulation and Performance Comparison of Torque Tube and LVDT Sensors in Displacer-Based Level Measurement Systems
  8. ارتقا سامانه ناوبری پهپاد مهاجر ۶ با استفاده از فناوری
  9. کاربرد نانوذرات مگنتیت (Fe3O4) در پزشکی (از سنتز تا عملکرد)
  10. Simulation and Modeling of Floating-Gate Non-Volatile Memory Performance: Focus on Oxide Thickness, Programming Speed, and Charge Transport Mechanisms
  11. Fraud Analytics with Big Data: A Literature Review on Machine Learning Algorithms in Bankruptcy Prediction and Financial Fraud Detection
  12. تحلیل آینده‌پژوهانه هم‌گرایی هوش مصنوعی، فناوری نانو و فناوری اطلاعات در مسیر تحول صنعتی آینده
  13. نقش تحول دیجیتال در خدمات کتابخانه‌های عمومی برای توان‌یابان جسمی و ذهنی
  14. Prediction and Optimization of Oxygen Production under Microgravity Conditions Using Machine Learning
  15. Simulation and Performance Comparison of Ultrasonic, Non-Contact Radar, and Guided Wave Radar Sensors in Level Measurement Systems