تشخیص وضعیت بدن انسان با استفاده از نقاط کلیدی MediaPipe

زهرا کیخائی1 مهدی یعقوبی2 زبیر رییسی3

چکیده :
در این گزارش، بازطراحی سامانه ی تشخیص وضعیت بدن انسان (ایستادن، نشستن، خوابیدن) شرح داده می شود. نسخه ی اولیه ی این سامانه با استفاده از کتابخانه ی MediaPipe برای استخراج نقاط کلیدی بدن و سپس یک مجموعه قاعده دستی مبتنی بر زاویه ی مفاصل (زانو، تنه، سر) برای طبقه بندی وضعیت پیاده سازی شده بود. با توجه به بازخورد دریافت شده، این منطق مبتنی بر قانون با یک مدل یادگیری عمیق جایگزین شد. برای این منظور، از ۲۵ کلیپ ویدئویی برچسب گذاری شده ی موجود (پوشه های s1 تا s34 ) استفاده گردید. دو معماری شبکه ی عصبی طراحی و آموزش داده شد: یک پرسپترون چندلایه (MLP) که روی نقاط کلیدی هر فریم به صورت مستقل عمل می کند، و یک شبکه ی بازگشتی دروازه دار (GRU) که دنباله ای از ۸ فریم متوالی را برای درنظرگرفتن اطلاعات حرکتی پردازش می نماید. ارزیابی روی نشست های کاملاً کنارگذاشته شده (Split Session-level) نشان داد مدل MLP با دقت ۸۶٫۶٪ و معیار F1 وزن دار ۸۶٫۳٪ عملکرد بهتری نسبت به مدل GRU (دقت ۶۸٫۴٪) دارد؛ که علت اصلی آن، تعداد محدود نشست های آموزشی (۱۷ نشست) و گرایش مدل توالی به بیش برازش است. در نهایت، محدودیت های داده (نبود کلاس مجزا برای «افتادن/سریدن» و کیفیت پایین تشخیص ژست در برخی نشست ها) و مسیرهای پیشنهادی برای کار آینده بررسی شده اند.

کلمات کلیدی : تشخیص وضعیت بدن یادگیری عمیق mediapipe pose پرسپترون چندلایه شبکه بازگشتی دروازه دار (gru) تشخیص افتادن


زبان مقاله : فارسی
محور مقاله : مهندسی و علوم کامپیوتر ( کلیه گرایش ها)
محل انتشار : کنفرانس ملی فناوری اطلاعات، نانوتکنولوژی، هوش مصنوعی و آینده پژوهی فناوری
آدرس وب سایت کنفرانس : itnaf.ir
کد IOI مقاله : AAHD-ABKHCZ
لینک مستقیم مقاله : https://isnac.ir/AAHD-ABKHCZ

سایر مقالات محل انتشار
  1. A Study on Design Understandability and Interaction of the therapy-specific Robots
  2. طراحی و مهندسی یک حسگر زیستی نوری چند مدی پلاسمونیک مبتنی بر تشدیدگرهای حلقه شکاف برای سنجش جامع آنتی‌ژن
  3. طراحی یک اسیلاتورکنترل شونده با ولتاژ با نویز فاز بسیار پایین و بازه وسیع فرکانسی با تکنولوژی نانولوله کربنی برای کاربردهای PLL
  4. یک چارچوب هوشمند آگاه به زمینه برای ارتباطات V2V و V2Iدر شبکه‌های خودرویی شهرهای هوشمند با استفاده از داده‌های ترافیکی شبکه سلولی
  5. An Ensemble Non-Dominated Feature Selection Method: A Case Study on Prostate Cancer
  6. تشخیص زودهنگام پوسیدگی دندان با استفاده از شبکه‌های عصبی
  7. Simulation and Performance Comparison of Torque Tube and LVDT Sensors in Displacer-Based Level Measurement Systems
  8. ارتقا سامانه ناوبری پهپاد مهاجر ۶ با استفاده از فناوری
  9. کاربرد نانوذرات مگنتیت (Fe3O4) در پزشکی (از سنتز تا عملکرد)
  10. Simulation and Modeling of Floating-Gate Non-Volatile Memory Performance: Focus on Oxide Thickness, Programming Speed, and Charge Transport Mechanisms
  11. Fraud Analytics with Big Data: A Literature Review on Machine Learning Algorithms in Bankruptcy Prediction and Financial Fraud Detection
  12. تحلیل آینده‌پژوهانه هم‌گرایی هوش مصنوعی، فناوری نانو و فناوری اطلاعات در مسیر تحول صنعتی آینده
  13. نقش تحول دیجیتال در خدمات کتابخانه‌های عمومی برای توان‌یابان جسمی و ذهنی
  14. Prediction and Optimization of Oxygen Production under Microgravity Conditions Using Machine Learning
  15. Simulation and Performance Comparison of Ultrasonic, Non-Contact Radar, and Guided Wave Radar Sensors in Level Measurement Systems