تشخیص وضعیت بدن انسان با استفاده از نقاط کلیدی MediaPipe

تشخیص وضعیت بدن انسان با استفاده از نقاط کلیدی MediaPipe

زهرا کیخائی1 مهدی یعقوبی2 زبیر رییسی3

1) دانشجوی کارشناسی ارشد کامپیوتر گرایش مهندسی نرم افزار، دانشکده فنی و مهندسی، دانشگاه گلستان
2) گروه کامپیوتر، دانشکده فنی و مهندسی، دانشگاه گلستان، ایران
3) گروه الکترونیک و مخابرات دریایی، دانشکده مهندسی دریا، دانشگاه دریانوردی و علوم دریایی چابهار، ایران

کد IOI مقاله : AAHD-ABKHCZ
محل انتشار : کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری (itnaf.ir)
چکیده :
    در این گزارش، بازطراحی سامانه ی تشخیص وضعیت بدن انسان (ایستادن، نشستن، خوابیدن) شرح داده می شود. نسخه ی اولیه ی این سامانه با استفاده از کتابخانه ی MediaPipe برای استخراج نقاط کلیدی بدن و سپس یک مجموعه قاعده دستی مبتنی بر زاویه ی مفاصل (زانو، تنه، سر) برای طبقه بندی وضعیت پیاده سازی شده بود. با توجه به بازخورد دریافت شده، این منطق مبتنی بر قانون با یک مدل یادگیری عمیق جایگزین شد. برای این منظور، از ۲۵ کلیپ ویدئویی برچسب گذاری شده ی موجود (پوشه های s1 تا s34 ) استفاده گردید. دو معماری شبکه ی عصبی طراحی و آموزش داده شد: یک پرسپترون چندلایه (MLP) که روی نقاط کلیدی هر فریم به صورت مستقل عمل می کند، و یک شبکه ی بازگشتی دروازه دار (GRU) که دنباله ای از ۸ فریم متوالی را برای درنظرگرفتن اطلاعات حرکتی پردازش می نماید. ارزیابی روی نشست های کاملاً کنارگذاشته شده (Split Session-level) نشان داد مدل MLP با دقت ۸۶٫۶٪ و معیار F1 وزن دار ۸۶٫۳٪ عملکرد بهتری نسبت به مدل GRU (دقت ۶۸٫۴٪) دارد؛ که علت اصلی آن، تعداد محدود نشست های آموزشی (۱۷ نشست) و گرایش مدل توالی به بیش برازش است. در نهایت، محدودیت های داده (نبود کلاس مجزا برای «افتادن/سریدن» و کیفیت پایین تشخیص ژست در برخی نشست ها) و مسیرهای پیشنهادی برای کار آینده بررسی شده اند.

کلمات کلیدی : تشخیص وضعیت بدن یادگیری عمیق mediapipe pose پرسپترون چندلایه شبکه بازگشتی دروازه دار (gru) تشخیص افتادن