Loading...

EEG-based Personalized Interpretable Visual Attention Prediction

Behnamnia, Armin | 2022

132 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 55767 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Rabiee, Hamid Reza
  7. Abstract:
  8. Human visual attention is a mapping that determines to what regions of an image human’s eyes focus more while perceiving it. Personalized visual attention is visual attention computed for a specific individual. The importance of visual attention lies in its wide range of applications in computer vision and cognitive science, such as neural encoding, image captioning, self-driving cars, video anomaly detection, image classification, and visual design. One of important aspects of visual attention is personalization, the ability to assign every individual their own, specialized attention map. In this project we aim to utilize EEG signals measured from people’s brain to predict their personalized attention map. EEG brain signals are used to predict the emotion of the person. We improve attention model by detecting objects in the image and predicting their corresponding emotion. Comparing the emotion of the objects inside the image and the emotion of the person, estimated by their measured EEG signals, we emphasize areas most compatible with person’s emotions.We could achieve KL of 0.31 and CC of 0.81 for the attention prediction task on SALICON dataset, an accuracy of 79% on Instagram dataset for image sentiment prediction task, and an accuracy of 94% on DEAP dataset for EEG emotion prediction task.
  9. Keywords:
  10. Interpretability ; Deep Learning ; Neural Networks ; Visual Attention ; Electroencephalogram (EEG)Emotion Recognition ; Electroencephalogram (EEG)Representation Learning ; Personalized Attention

 Digital Object List

 Bookmark

  • فصل مقدمه
    • پیش‌بینی بصری انسان
    • مسیر پیمایش چشم
    • نگاشت توجه
    • انواع توجه
    • سیگنال‌های مغری
    • سیگنال EEG و تعیین احساسات
    • هدف پژوهش
    • ‌چالش‌های مسئله
    • نوآوری‌های پایان‌نامه
    • معیارهای ارزیابی
    • ساختار پایان‌نامه
  • فصل پژوهش‌های پیشین
    • استخراج ویژگی
    • پیش بینی توجه
      • توجه و رانندگی خودکار
      • نقش احساسات در تعیین توجه
      • توجه شخصی‌سازی‌شده
    • تشخیص احساسات از روی سیگنال‌های EEG
    • مجموعه دادگان
      • توجه بصری
      • پیش‌بینی احساسات از روی تصویر
      • تشخیص احساسات بر اساس EEG
    • جمع‌بندی
  • فصل پیش‌بینی توجه بر اساس احساسات
    • ماژول پایه پیش‌بینی توجه
    • ماژول تشخیص احساسات
    • پیش بینی توجه برپایه احساسات
    • جمع‌بندی
  • فصل پردازش داده‌های مغزی
    • حذف مصنوع
    • استخراج ویژگی
      • تعیین یال‌ها در شبکه‌های گرافی عصبی
    • پیش‌بینی احساسات
    • جمع‌بندی
  • فصل پیش‌بینی توجه بر اساس داده‌های مغزی
    • شخصی‌سازی توجه به کمک احساسات
    • شخصی‌سازی توجه به روش یادگیری مقابله‌ای
      • یادگیری مقابله‌ای
      • توجه شخصی‌سازی‌شده
    • جمع‌بندی
  • فصل آزمایش‌ها
    • توجه بر پایه احساسات
      • ماژول پایه توجه
      • ماژول تشخیص احساسات از روی تصویر
    • ماژول تشخیص توجه بر اساس احساسات
    • ماژول تشخیص احساسات بر اساس EEG
      • مدل تشخیص احساسات
    • مدل استخراج ویژگی‌های شخصی‌سازی‌شده
    • مدل شخصی‌سازی شده پیش‌بینی احساسات
    • شخصی‌سازی توجه با استفاده از EEG
    • جمع‌بندی
  • فصل جمع بندی
    • کار‌های آتی
  • مراجع
  • واژه‌نامه فارسی به انگلیسی
  • واژه‌نامه انگلیسی به فارسی
  • attachment4.pdf
    • فصل مقدمه
      • پیش‌بینی بصری انسان
      • مسیر پیمایش چشم
      • نگاشت توجه
      • انواع توجه
      • سیگنال‌های مغری
      • سیگنال EEG و تعیین احساسات
      • هدف پژوهش
      • ‌چالش‌های مسئله
      • نوآوری‌های پایان‌نامه
      • معیارهای ارزیابی
      • ساختار پایان‌نامه
    • فصل پژوهش‌های پیشین
      • استخراج ویژگی
      • پیش بینی توجه
        • توجه و رانندگی خودکار
        • نقش احساسات در تعیین توجه
        • توجه شخصی‌سازی‌شده
      • تشخیص احساسات از روی سیگنال‌های EEG
      • مجموعه دادگان
        • توجه بصری
        • پیش‌بینی احساسات از روی تصویر
        • تشخیص احساسات بر اساس EEG
      • جمع‌بندی
    • فصل پیش‌بینی توجه بر اساس احساسات
      • ماژول پایه پیش‌بینی توجه
      • ماژول تشخیص احساسات
      • پیش بینی توجه برپایه احساسات
      • جمع‌بندی
    • فصل پردازش داده‌های مغزی
      • حذف مصنوع
      • استخراج ویژگی
        • تعیین یال‌ها در شبکه‌های گرافی عصبی
      • پیش‌بینی احساسات
      • جمع‌بندی
    • فصل پیش‌بینی توجه بر اساس داده‌های مغزی
      • شخصی‌سازی توجه به کمک احساسات
      • شخصی‌سازی توجه به روش یادگیری مقابله‌ای
        • یادگیری مقابله‌ای
        • توجه شخصی‌سازی‌شده
      • جمع‌بندی
    • فصل آزمایش‌ها
      • توجه بر پایه احساسات
        • ماژول پایه توجه
        • ماژول تشخیص احساسات از روی تصویر
      • ماژول تشخیص توجه بر اساس احساسات
      • ماژول تشخیص احساسات بر اساس EEG
        • مدل تشخیص احساسات
      • مدل استخراج ویژگی‌های شخصی‌سازی‌شده
      • مدل شخصی‌سازی شده پیش‌بینی احساسات
      • شخصی‌سازی توجه با استفاده از EEG
      • جمع‌بندی
    • فصل جمع بندی
      • کار‌های آتی
    • مراجع
    • واژه‌نامه فارسی به انگلیسی
    • واژه‌نامه انگلیسی به فارسی
...see more