Loading...

Complex Activity Recognition by Means of an IMU-Based Wearable System for the Purpose of PD Patients’ Rehabilitation

Tahvilian, Ehsan | 2023

116 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 56172 (08)
  4. University: Sharif University of Technology
  5. Department: Mechanical Engineering
  6. Advisor(s): Behzadipour, Saeed; Ali Beiglou, Leila
  7. Abstract:
  8. Parkinson's is a disease caused by a disorder in the central nervous system of the body. There is no definite cure for this disease, but one of the ways to prevent the progress of this disease is to use movement therapy. One of the goals of designing wearable systems consisting of inertial sensors is to make it possible to perform this movement therapy from a distance. The purpose of the present study and research is to use the approach of simple and complex activities in order to increase the accuracy in the detection of activities and also to solve the problems of the previous system, with the help of creating the ability to detect complex meaningful activities for Parkinson's patients. In order to achieve the goals of the present research and using two sets of therapeutic movements defined for Parkinson's patients, a regular instruction based on simple and complex activities has been designed. This manual contains 51 simple activities derived from the Lee Silverman Voice Treatment-BIG (LSVT-BIG) and Functional movement collection. From the combination of simple activities, 14 sets of complex activities have been extracted based on the vector of repetition of several simple activities which is named an Eigenvector. Using this convention, data were also collected from 43 subjects with an average age of 22.1, and a rich collection of simple and complex activities, called MPCA, was formed. According to a review of previous research, there are two general methods to construct a classifier to extract complex relationships between signals. Among these two methods, the use of deep memory and recurrent networks in the form of a dual-purpose network consisting of a CNN-LSTM structure is designed as the most optimal method to discover the connections between signals and correctly detect simple and complex activities. The first part consists of convolutional networks and is used to discover the features in the activity signal. Additionally, the second part consists of recurrent memory networks and is used to extract the relationship of time sequence between simple activities to achieve complex activities. After training this network using the data of MPCA activities, the accuracy of detecting simple and complex activities has been evaluated as 71.83\% and 66.46\%, respectively. Due to the weak performance of the previous network in recognizing pairs of similar activities, by placing the one-directional LSTM structure with a two-directional one, the final network structure has been optimized and has predicted simple activities with 84.17\% accuracy and complex activities with 78.78\% accuracy. Due to the fact that deep neural networks have a relatively large computational load in the training process, the method based on the dictionary of the shape of signals is also implemented as the second method in this research on the MPCA dataset. Based on a set of signal shapes, called shapelet, this method determines the activity label according to the signal shape label with the smallest Euclidean distance by calculating the Euclidean distance of each of the signal shapes with the input unknown signal. After implementing this method on the MPCA dataset, the accuracies of 79.78\% and 62.18\% were obtained for detecting simple and complex activities, respectively. Finally, in order to increase the accuracy of the final system, the combination of the two mentioned classifiers has been used. Likewise, the final accuracy of the activity recognition system for complex activities has increased to 82.33\%
  9. Keywords:
  10. Parkinson Disease ; Deep Neural Networks ; Complex Human Activity Recognition ; Bagging Ensemble Classification ; Wearable Sensor ; Shapelet-Based Dictionary ; CNN-BiLSTM Deep Neural Networks ; Rehabilitation

 Digital Object List

 Bookmark

  • مقدمه
    • اهمیت و ضرورت موضوع پژوهش
    • اهداف پژوهش
    • ساختار پایان‌نامه
  • مفاهیم پایه
    • بیماری پارکینسون
    • حسگرهای اندازه‌گیری اینرسی (IMU)
      • حسگرهای جدید به کار رفته در سامانه‌ی پوشیدنی مورد استفاده
      • سامانه‌ی ‌پوشیدنی مورد استفاده در پژوهش قبلی AminNasrabadiMScThesis
    • معرفی شبکه‌های عصبی عمیق
      • شبکه‌های عمیق پیچشی (CNNs)
      • لایه‌ی Convolutional
      • لایه‌ی Pooling
      • لایه‌ی Fully connected (FC)
      • شبکه‌های عمیق پس‌مانده
      • شبکه‌های عصبی بازگشتی LSTM
      • طبقه‌بند softmax
    • معرفی روش مبتنی بر لغت‌نامه‌ی شکل فعالیت‌های ساده
      • مفاهیم ریاضیاتی موجود در روش مبتنی بر لغت‌نامه‌ی شکل فعالیت
  • مرور ادبیات و پیشینه‌ی پژوهش
    • انواع و سطوح فعالیت‌های انسانی
      • فعالیت‌های ساده یا اتمیک
      • فعالیت‌های پیچیده
    • ساختار کلی فرایند تشخیص فعالیت
      • اقدامات نظارتی به منظور ضبط فعالیت
      • پیش‌پردازش داده‌های جمع‌آوری شده
      • پنجره‌زنی داده‌های جمع‌آوری شده
      • مدل‌سازی و اقدامات تشخیصی یک فعالیت
      • استخراج و انتخاب ویژگی از روی داده‌های خام
      • الگوریتم‌های تشخیص فعالیت
    • روش‌های موجود برای تشخیص فعالیت‌های پیچیده
      • سه دسته‌بندی عمده برای تشخیص فعالیت‌های پیچیده
      • استفاده از یادگیری عمیق در تشخیص فعالیت‌های انسانی
      • یادگیری چندهدفه در تشخیص فعالیت‌های پیچیده
    • جمع‌بندی و نتیجه‌گیری
  • معرفی و روند طراحی دستورالعمل داده‌برداری، سامانه پوشیدنی، و مجموعه داده‌ی MPCA
    • مروری بر لزوم جمع‌آوری داده
    • حرکت‌درمانی برای بیماران پارکینسونی
      • اهداف حرکت‌درمانی برای بیماران پارکینسونی
      • انواع تمرینات حرکتی برای بیماری پارکینسون
      • معرفی مجموعه حرکات LSVT-BIG
      • معرفی مجموعه حرکات عملکردی
    • معیارهای طراحی حرکات و جمع‌آوری داده
    • طراحی سامانه جمع‌آوری داده
      • معرفی حسگرهای مورد استفاده
      • نحوه‌ی اتصال به حسگرها و دریافت داده
      • نحوه‌ی برچسب‌گذاری خودکار به کمک مهرهای زمانی و ساختار داده‌های دریافتی
      • سامانه پوشیدنی نهایی مورد استفاده
    • طراحی دستورالعمل داده‌برداری و معرفی مجموعه داده‌ی MPCA
      • معرفی حرکات ساده
      • معرفی حرکات پیچیده
    • فرایند و جزئیات داده‌برداری
      • معرفی مراحل و نحوه‌ی داده‌برداری
      • معرفی ویژگی‌های آماری جامعه‌ی آزمودنی‌ها
    • بحث و نتیجه‌گیری
  • توسعه‌ی طبقه‌بند برای تشخیص برخط فعالیت‌های پیچیده
    • انواع طبقه‌بند‌های مورد استفاده برای تشخیص فعالیت
    • معیارهای سنجش میزان عملکرد یک طبقه‌بند
    • پیش‌پردازش مجموعه داده‌ی MPCA
      • مفهوم استخراج ویژگی از سیگنال
      • نرمال‌سازی داده‌های ورودی به طبقه‌بند
      • پنجره‌زنی داده‌ها
    • تقسیم‌بندی داده‌های آموزشی و صحت‌سنجی
    • روش مبتنی بر شبکه‌های عصبی عمیق
      • طراحی اوّلین نسخه‌ی ساختار شبکه عصبی عمیق
      • آموزش اوّلین نسخه‌ی شبکه عصبی عمیق با مجموعه داده‌های Ubicomp08
      • نتایج استخراج شده از اوّلین نسخه‌ی ساختار شبکه عصبی عمیق
      • طراحی دومین نسخه‌ی ساختار شبکه عصبی عمیق
      • آموزش دومین نسخه‌ی شبکه عصبی عمیق با مجموعه داده‌های MPCA
      • نتایج استخراج شده از دومین نسخه‌ی ساختار شبکه عصبی عمیق
      • بهینه‌سازی دومین نسخه‌ی ساختار شبکه عصبی عمیق
    • روش مبتنی بر مجموعه لغت‌نامه‌ی شکل فعالیت‌ها
      • محاسبه‌ی لغت‌نامه‌ی فعالیت‌های ساده به عنوان آموزش طبقه‌بند با مجموعه داده‌های MPCA
      • تشخیص فعالیت‌های ساده و پیچیده به همراه نتایج استخراج شده از روش مبتنی بر مجموعه لغت‌نامه‌ی فعالیت‌ها
    • معرفی طبقه‌بند ترکیبی و نتایج حاصل از آن
    • بحث و نتیجه‌گیری
  • بحث و نتیجه‌گیری
    • مروری بر پژوهش حاضر و نتایج آن در یک نگاه
    • محدودیت‌های موجود برای این پژوهش
    • پیشنهاد برای پژوهش‌های آینده
  • کتاب‌نامه
  • فرم ثبت اطلاعات آزمودنی‌ها
  • شکل سیگنال یا shapelet
    • شکل سیگنال مربوط به ریزفعالیت‌های عملکردی
    • شکل سیگنال مربوط به ریزفعالیت‌های LSVT-BIG
...see more