جستجو
Weather-Robust Multi-Modal Fusion for Autonomous Driving: Reliability-Aware Attention in Adverse Environments
Reza Homayouni Amlashi1
Abstract :
Autonomous driving perception systems depend upon types of sensors. These include LiDAR, RGB cameras, mmWave Radar and Gated Near-Infrared (NIR). The goal is to detect objects in three dimensions. Bad weather for example fog makes sensors fail in different ways. LiDAR suffers from backscatter and loss of points. Cameras lose a lot of contrast. Radar and Gated NIR stay fairly reliable. Current methods that combine sensors usually assume that every sensor works the same. They also rely heavily on LiDAR as a reference for geometry. This causes the system to perform poorly when the weather is bad. In this paper we introduce Weather‑Robust Fusion (WRF). WRF is a system that uses a Multi‑Modal Latent Attention (MMLA) module at its core. MMLA treats fusion of modalities as a process that changes reliability. It lets sensors—Radar, Camera and NIR—compete for attention against queries that come from LiDAR. All of this happens in a shared space. If the main sensor degrades the attention weights automatically move toward sensors that re more reliable. This happens without needing to classify the weather. We also add a training trick called an exact inverse augmentation strategy. This keeps the geometry consistent among all sensors while the system learns. We ran tests on bad‑weather benchmarks. WRF reaches 89.8% mAP at 0.5 under weather. When fog is severe and LiDAR points drop out gradually the model stays robust. Even when LiDAR is completely off WRF keeps 61.3% mAP at 0.5. This is much better, than multi‑modal baselines.
Keywords : autonomous driving multi modal fusion adverse weather perception bird’s eye view (bev) cross attention robust 3d detection
زبان مقاله : انگلیسی
محور مقاله : مهندسی کامپیوتر
محل انتشار : ششمین کنگره بین المللی مهندسی، تکتولوژی و علوم کاربردی
آدرس وب سایت کنفرانس : etas2027.com
کد IOI مقاله : ACEF-ACAZDZ
لینک مستقیم مقاله : https://isnac.ir/ACEF-ACAZDZ
نمایش چکیده فارسی
: https://isnac.ir/SA/ACEF-ACAZDZ
سایر مقالات ارائه دهنده
- بررسی تصمیم در مورد پذیرش خودروی الکتریکی: نقش مشخصههای فعلی سفر در میان کاربران روزانۀ خودرو
- Weather-Robust Multi-Modal Fusion for Autonomous Driving: Reliability-Aware Attention in Adverse Environments
- Federated Multi-Agent Reinforcement Learning for Dynamic Bandwidth and Computation Allocation in Vehicular Ad-Hoc Networks under Asymmetric Sensor Fusion Constraints
سایر مقالات محل انتشار
- CFD Investigation of Slot-Driven Flow Structures over a Fowler-Flapped HQ42e Airfoil
- تجربه انسانی در فضاهای شهری ترکیبی: مرور نظاممند واقعیت توسعهیافته و دوقلوهای دیجیتال
- کاربرد فناوری پلاسما در تصفیه گاز برگشتی واحدهای احیای مستقیم (فرایند میدرکس)
- مروری بر تأثیر فناوریهای نوین بتن بر عملکرد، دوام، هزینه و بهرهوری تولید قطعات بتنی پیشساخته
- مدیریت هوشمند آب و شوری در نخلستانهای خرما با تأکید بر بهرهوری آب و پایداری تولید
- شهر 15 دقیقهای و تابآوری اقلیمی: بررسی نقش دسترسپذیری و حملونقل پایدار در کاهش نابرابری فضایی
- حملونقل پاک و عدالت اقلیمی: بررسی نابرابری فضایی در دسترسی به زیرساختهای حملونقل کمکربن با تأکید بر ایران
- Weather-Robust Multi-Modal Fusion for Autonomous Driving: Reliability-Aware Attention in Adverse Environments
- ژئوپلیتیک ترانزیت و اقتصاد سیاسی توسعه کریدورهای ریلی ایران
- Version Scoped Episodic Guards for Tool Using Language Agents
- هوش مصنوعی برای سیستمهای نهفته: شتابدهندهها، فشردهسازی و استقرار
- ارزیابی آزمایشگاهی اثر جایگزینی جزئی سیمان با کربن فعال بر مقاومت فشاری و کارایی بتن
- راهبردهای نوین تابآوری اکولوژیک فضای سبز شهری با رویکرد تغییر اقلیم
- ارزیابی دادهمحور عملکرد ماشینآلات با تعدیل اثر ترکیب محصول بر ضایعات: مطالعه موردی صنعت سیم و کابل
- Habitat Suitability Assessment, Identification of Key Conservation Areas, and Analysis of Factors Influencing Persian Leopard Distribution in Ghamishloo National Park, Isfahan Province, Iran