Loading...

Online Flight Crew Alertness and Fatigue Level Monitoring System Using Machine Learning

Ghaderi, Alireza | 2025

0 Viewed
  1. Type of Document: Ph.D. Dissertation
  2. Language: Farsi
  3. Document No: 58312 (45)
  4. University: Sharif University of Technology
  5. Department: Aerospace Engineering
  6. Advisor(s): Saghafi, Fariborz
  7. Abstract:
  8. Pilot fatigue and increased cognitive load are primary contributors to fatal aviation accidents, especially in general aviation. However, pilots lack real-time, objective systems for monitoring their cognitive states. This dissertation introduces a cost-effective multimodal framework combining gaze tracking, control stick inputs, and Continuous Performance Test (CPT) scores to compute a cognitive performance stability index based on exceedance autocorrelation. Experiments were conducted in a single-engine Cessna simulator under IFR conditions with pilots of varying experience. Simulator data, gaze coordinates, control inputs, and CPT outputs were captured through automated software infrastructure. Following data processing, Continuous Wavelet Transform (CWT) scalograms, eye-hand cross-wavelet correlations, and test indices were extracted. Three deep learning approaches were evaluated, progressing from single-modality convolutional networks with scalogram inputs to multimodal networks integrating scalograms and CPT data, culminating in hybrid models incorporating LSTM layers for temporal pattern analysis. Data scarcity was addressed through transfer learning methods. The multimodal Inception-ResNet network achieved optimal performance while the lighter GoogLeNet variant demonstrated excellent efficiency for real-time embedded implementation. Results show that low-cost sensors combined with advanced signal processing enable accurate real-time monitoring of pilot cognitive stability. The modular software suite provides complete workflow from capture to reporting, ready for integration into Fatigue Risk Management Systems and Safety Management Systems. This framework is adaptable from single-engine simulators to commercial aircraft cockpits
  9. Keywords:
  10. Aviation ; Human Performance ; Human Factors ; Transfer Learning ; Wavelet Transform ; Pilot Fatigue Monitoring ; Multi-Modal Deep Neural Networks ; Cognitive Workload ; Alertness

 Digital Object List

 Bookmark

  • 1 ‌مقدمه
    • 1-1 پیش زمینه
      • 1-1-1 ایمنی هوانوردی عمومی و چالش‌های عوامل انسانی
      • 1-1-2 چالش‌های خستگی و بار شناختی
      • 1-1-3 استراتژی‌های کاهش خستگی و بار شناختی
    • 1-2 بیان مسئله و انگیزه پژوهش
    • 1-3 مرور ادبیات
      • 1-3-1 مسیر تکامل استانداردهای ایمنی هوانوردی
      • 1-3-2 پژوهش‌های کنونی در حوزه خستگی خلبان
      • 1-3-3 فناوری‌های نوظهور
      • 1-3-4 جنبه‌های روان‌شناختی خستگی
    • 1-4 خلاصه فصل
  • 2 چارچوب نظری و مدل مفهومی
    • 2-1 مبانی نظری خستگی و توجه خلبان
      • 2-1-1 بار شناختی، خستگی و کاهش توجه
      • 2-1-2 بستر عملیاتی پرواز و تقرب غیردیداری
      • 2-1-3 استفاده از تخطی به عنوان شاخص کاهش‌های شناختی
    • 2-2 مدل مفهومی پیشنهادی برای پایش هوشیاری خلبان
      • 2-2-1 جریان‌های داده چندوجهی
      • 2-2-2 پایداری عملکرد شناختی
    • 2-3 یکپارچه‌سازی با سیستم‌های مدیریت خطر خستگی
    • 2-4 خلاصه فصل
  • 3 روش اجرا و طراحی آزمایش
    • 3-1 چارچوب پژوهش
    • 3-2 طراحی آزمایش
      • 3-2-1 محیط شبیه‌سازی پرواز
      • 3-2-2 انتخاب و آماده‌سازی شرکت‌کننده‌ها
    • 3-3 جمع‌آوری و یکپارچه‌سازی داده‌ها
      • 3-3-1 فاز پیش‌پرواز
      • 3-3-2 فاز حین پرواز
      • 3-3-3 فاز پس‌پرواز
    • 3-4 زیرساخت نرم‌افزاری ایجاد شده
      • 3-4-1 نمای کلی معماری جریان‌کار
      • 3-4-2 ایستگاه کنترل آزمون
      • 3-4-3 ردیاب نگاه–چهره
      • 3-4-4 پردازش گروهی داده‌ها
      • 3-4-5 گزارشگر آزمون
      • 3-4-6 تحلیل‌گر آزمون
      • 3-4-7 ابزار آموزش گروهی
      • 3-4-8 گزارش‌ساز
    • 3-5 خلاصه فصل
  • 4 پردازش سیگنال، استخراج ویژگی‌ها و یادگیری ماشین
    • 4-1 تکنیک‌های پردازش سیگنال
      • 4-1-1 تحلیل زمان-فرکانس
      • 4-1-2 تبدیلات موجک و مزایای آن‌ها
      • 4-1-3 تبدیل موجک پیوسته و اسکالوگرام‌ها
      • 4-1-4 همبستگی موجک متقابل
    • 4-2 استخراج ویژگی‌های شاخص‌های تخطی
      • 4-2-1 چارچوب محاسبه تخطی
      • 4-2-2 خودهمبستگی و پایداری عملکرد شناختی
    • 4-3 پیاده‌سازی مدل‌های یادگیری ماشین
      • 4-3-1 رویکرد تک‌وجهی
      • 4-3-2 رویکرد چندوجهی
      • 4-3-3 رویکرد چندوجهی ترتیبی
    • 4-4 یادگیری انتقالی
      • 4-4-1 مفاهیم و تعاریف یادگیری انتقالی
      • 4-4-2 مزایای یادگیری انتقالی
      • 4-4-3 انواع سناریوهای یادگیری انتقالی
      • 4-4-4 شبکه عصبی پیش‌آموزش دیده
    • 4-5 آموزش و اعتبارسنجی
      • 4-5-1 چالش‌های یادگیری انتقالی در فرآیند آموزش
      • 4-5-2 تنظیمات ابرپارامترها
      • 4-5-3 معیارهای عملکرد و مقایسه‌ در روند آموزش
    • 4-6 خلاصه فصل
  • 5 نتایج و بحث
    • 5-1 نمای کلی داده‌ها و ویژگی‌ها
    • 5-2 نمایش بصری داده‌ها
      • 5-2-1 نتایج آزمون عملکرد شناختی
      • 5-2-2 ورودی‌های خلبانی در طول یک تقرب نمونه
      • 5-2-3 نتایج شاخصه‌های تخطی
      • 5-2-4 تشخیص تثبیت نگاه و تحلیل الگوی اسکن
      • 5-2-5 الگوهای مکانی اسکن نگاه
      • 5-2-6 تجسم‌های زمانی–فرکانسی (اسکالوگرام)
    • 5-3 تحلیل‌های همبستگی
      • 5-3-1 همبستگی شاخصه‌های آزمون عملکرد پیوسته با پایداری عملکرد شناختی
      • 5-3-2 ویژگی‌های نگاه در مقابل تخطی‌ها
      • 5-3-3 ویژگی‌های ورودی خلبانی در مقایسه با پایداری شناختی
    • 5-4 عملکرد مدل‌های آموزش‌دیده
      • 5-4-1 مقایسه ساختارهای پیش‌فرض شبکه‌های عصبی کانولوشن
      • 5-4-2 مقایسه ورودی منبع اسکالوگرام شبکه
    • 5-5 کاربردهای عملی
      • 5-5-1 پیاده‌سازی بلادرنگ در کابین
      • 5-5-2 ادغام در فرایندهای آموزشی و مدیریت منابع خستگی
      • 5-5-3 گسترش‌پذیری میان‌دامنه‌ای
    • 5-6 خلاصه فصل
  • 6 نتیجه‌گیری
    • 6-1 بازنگری اجمالی
    • 6-2 دستاوردهای علمی و نوآوری‌ها
    • 6-3 دستاوردهای عملی
    • 6-4 محدودیت‌ها
    • 6-5 جمع‌بندی نهایی
  • منابع و مراجع
  • واژه‌نامه
...see more