امنیت هوش مصنوعی عامل‌محور: تحلیل تهدیدها، راهبردهای دفاعی، ارزیابی امنیت و چالش‌های پیش‌رو

امنیت هوش مصنوعی عامل‌محور: تحلیل تهدیدها، راهبردهای دفاعی، ارزیابی امنیت و چالش‌های پیش‌رو

زهرا بعاجی کاظمی1 سماء گویا2

1) دانشجوی دکتری (PhD) گروه مهندسی کامپیوتر ، واحد اراک، دانشگاه آزاد اسلامی، اراک ، ایران -
2) دانشجوی کاردانی رشته نرم افزار، گروه مهندسی کامپیوتر، واحد یادگار امام، دانشگاه آزاد اسلامی، تهران، ایران -

کد IOI مقاله : AAHD-ABKGCZ
محل انتشار : کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری (itnaf.ir)
چکیده :
    هوش مصنوعی عامل‌محور با تکیه بر مدل‌های زبانی بزرگ و برخورداری از قابلیت‌هایی مانند برنامه‌ریزی، استفاده از ابزار، حافظه و خودمختاری، در حال تبدیل‌شدن به زیرساختی توانمند برای خودکارسازی فرایندهای پیچیده است. با این حال، انتقال سامانه‌های هوشمند از نقش پاسخ‌دهنده به عامل تصمیم‌گیر و اجراکننده، دامنه تهدیدهای امنیتی را به‌طور محسوسی گسترش می‌دهد. این مقاله مروری، تهدیدها و آسیب‌پذیری‌های شاخص در سامانه‌های عامل‌محور را در قالب یک طبقه‌بندی منسجم بررسی می‌کند و بر تزریق فرمان و Jailbreak، بهره‌برداری سایبری خودکار و سوءاستفاده از ابزار، تهدیدهای چندعاملی و سطح پروتکل، خطرهای رابط و محیط و مسائل حکمرانی و خودمختاری تمرکز دارد. در ادامه، راهبردهای دفاعی از جمله طراحی مقاوم در برابر تزریق فرمان، تشخیص و جداسازی، اعمال سیاست، محدودسازی قابلیت‌ها، sandboxing، پایش زمان اجرا و استانداردهای سازمانی بررسی می‌شوند. مقاله همچنین تحول معیارها و بنچمارک‌های ارزیابی را از سنجش صرف توانایی انجام وظیفه به سوی سنجش قابلیت اطمینان، ایمنی و کنترل تحلیل می‌کند. در نهایت، چالش‌های باز مانند امنیت افق بلندمدت، همکاری چندعاملی، مقاومت در برابر حملات تطبیقی، امنیت عامل‌های فیزیکی و رابط انسان–عامل برجسته می‌شوند و بر ضرورت حرکت به سوی سامانه‌های امن از ابتدا تأکید می‌شود.

کلمات کلیدی : هوش مصنوعی عامل‌محور امنیت هوش مصنوعی تزریق فرمان امنیت سایبری سامانه‌های چندعاملی ارزیابی امنیتی