Loading...

Deep Probabilistic Models for Continual Learning

Yazdanifar, Mohammad Reza | 2023

40 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 56688 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Soleymani Baghshah, Mahdieh
  7. Abstract:
  8. Recent advances in deep neural networks have shown significant potential; however, they still face challenges when it comes to non-stationary environments. Continual learning is related to deep neural networks with limited capacity that should perform well on a sequence of tasks. On the other hand, studies have shown that neural networks are sensitive to covariate shifts. But in many cases, the distribution of data varies with time. Domain Adaptation tries to improve the performance of a model on an unlabeled target domain by using the knowledge of other related labeled data coming from a different distribution. Many studies on domain adaptation have optimistic assumptions that are not satisfied in real-world problems. Many of these works assume that source and target data are available simultaneously. Several domain adaptation methods expect a single target domain or the presence of target domains altogether. This work tries to solve a recently proposed problem called continual domain adaptation. In contrast to most continual learning problems that assume the availability of labels for all tasks, only the labels of the first task are available in continual domain adaptation. In addition, in this problem, we relax optimistic assumptions used in many domain adaptation studies. Despite previous works that tried to solve this problem by learning domain invariant models, our approach learns domain-specific representations and combines their information. We have evaluated our model on Digits, Office-Home, and Office-Caltech datasets and observed significant improvements (more than ten percent in some cases) regarding previous works done in this area.
  9. Keywords:
  10. Probability Model ; Domain Adaptation ; Continual Learning ; Self-Supervised Learning ; Probabilistic Deep Learning

 Digital Object List

 Bookmark

  • مقدمه
    • پیش‌درآمد
    • تعاریف پایه و نمادگذاری‌ها
    • تعریف مسئله
    • هدف پژوهش
    • ساختار پایان نامه
  • کارهای پیشین
    • روش‌های متداول یادگیری مستمر
      • روش‌های مبتنی بر بازپخش
      • روش‌های مبتنی بر جداسازی وزن‌ها
      • روش‌های مبتنی بر منظم‌سازی
    • روش‌های آزمون یادگیری مستمر
      • روش‌های متداول آزمون
      • مقایسه‌ی آزمون‌های تطبیق دامنه‌ی مستمر با آزمون‌های متداول
    • روش‌های تطبیق دامنه‌ی مستمر
      • مدل GRCL
      • مدل LDAuCID
    • روش‌های تطبیق مدل
      • استفاده از اطلاعات مجاورت
      • بازپخش ویژگی‌های دامنه‌ منبع
      • تولید داده‌های مرتبط با منبع
      • استفاده از روش‌های خودکدگذار
      • تطبیق چند مدلی
    • جمع‌بندی
  • راهکار پیشنهادی
    • معماری کلی
    • استفاده از نمای مدل منبع
      • آموزش دامنه‌ی مبدا
      • فاز تطبیق مدل
      • فاز تنظیم عدم قطعیت
      • شبه‌کد
    • تلفیق نماهای مختلف
      • شمایی کلی از تلفیق نماها
      • تطبیق مدل‌ها
      • شبه‌کد
    • جمع‌بندی
  • تنظیمات آزمایش‌ها و ارزیابی
    • تنظیمات آزمایش‌ها
      • کارهای رقیب
      • دادگان
      • نحوه‌ی ارزیابی و نکات آموزش
      • سیاست‌های افزاینده تصاویر
      • ابرپارامترهای مسئله
    • نتایج
      • دادگان اعداد
      • دادگان Office-Home
      • دادگان Office-Caltech
      • نتیجه‌گیری
  • جمع‌بندی و کار‌های آتی
    • جمع‌بندی
    • محدودیت‌های مدل پیشنهادی و کارهای آتی
  • مراجع
  • واژه‌نامه
...see more