Loading...

Understanding and Improving Problems of Density Estimation Using Deep Generative Models for Better Unsupervised Out-of-Distribution Detection

Ghobadi, Sepehr | 2023

0 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 57292 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Rohban, Mohammad Hossein
  7. Abstract:
  8. One of the essential features of any artificial intelligence system that is safe for use in the real world is the ability to detect and generalize capabilities when encountering data outside the training data distribution. Intuitively, deep generative models that have the capability to explicitly estimate the likelihood function seem to be a suitable solution for detecting out-of-distribution data. However, recent research has shown that these models, when trained unsupervised, may assign higher likelihoods to out-of-distribution data. There is no consensus among various studies on the fundamental cause of this problem, leading to diverse approaches attempting to solve this issue through supervised or hybrid (generative-discriminative) training methods, or by proposing post-training methods to appropriately interpret the learned likelihood function. The aim of this research is to investigate the main reasons for the superiority of supervised anomaly detection methods, particularly classification-based methods, compared to density-based methods, and to improve unsupervised detection methods. Additionally, it aims to present promising unsupervised patterns for a better understanding and resolution of this challenge with the help of successful insights from the opposite domain. To achieve this goal, preliminary patterns are defined and analyzed in several stages to train more robust generative models against anomalies using insights from the anomaly detection field. Based on the initial findings, a proposed model for training deep generative models based on energy by integrating useful features of various deep generative models for anomaly detection and supervised anomaly detection methods is presented. In addition to promising experimental results on the feasibility of training deep generative models based on this model and their performance in anomaly detection, the analyses of the proposed model at the end of the research indicate that using this model paves the way for a deeper understanding of the unsupervised out-of-distribution detection challenge and provides more fundamental solutions
  9. Keywords:
  10. Out of Distribuiton Detection ; Density Estimation ; Deep Generative Modeling ; Anomaly Detection

 Digital Object List

 Bookmark

  • مقدمه
    • تعریف مسئله
    • اهمیت و کاربرد
    • اهداف پژوهش
    • روی کرد حل مساله و نوآوری ها
    • ساختار پایان‌نامه
  • مفاهیم اولیه و کارهای پیشین
    • تخمین چگالی
    • مدل های مولد عمیق
      • مدل های خودهمبسته
      • مدل های مبتنی بر جریان
      • مدل های مبتنی بر انرژی
      • شبکه های مولد خصمانه
    • تشخیص ناهنجاری
      • تشخیص مبتنی بر دسته بندی
      • تشخیص مبتنی بر تخمین چگالی
      • تشخیص مبتنی بر بازسازی
      • تشخیص به کمک مدل های مولد عمیق
    • مشکلات تشخیص ناهنجاری به وسیله مدل های مولد
  • تحلیل ها و راهکار پیشنهادی
    • یکپارچه سازی تشخیص های مبتنی بر چگالی و خطای بازسازی
    • لزوم اعمال فرضیات در مورد توزیع ناهنجاری احتمالی
      • اهمیت افشاء ناهنجاری
    • آموزش مدل های مولد به روش افشاء ناهنجاری
      • خواص تابع چگالی در روش آموزش بیشینه درست نمایی برملاشده
    • اهمیت خواص توزیع دادگان ناهنجاری افشاء شده
      • افشاء داده های ساختگی مناسب به کمک مدل های مولد پیش آموزش دیده
    • آموزش بدون نظارت با الهام از روش های داده محور
      • اهمیت مدل های مبتنی بر انرژی
    • تخیل ناهنجاری در فرآیند آموزش مدل های مولد
      • نمونه گیر منفی ناهنجاری
      • طراحی نمونه گیر منفی از پیش تعیین شده
      • لزوم طراحی نمونه گیر منفی انطباقی
      • آموزش خصمانه نمونه گیر منفی
    • جمع بندی
  • ارزیابی و نتایج
    • آموزش بیشینه درست نمایی برملاشده
      • پایداری تابع چگالی
      • تنظیم اطمینان تابع چگالی
      • نتایج تشخیص ناهنجاری
      • اهمیت توزیع دادگان افشاء
    • آموزش مبتنی بر تخیل افشاء
    • جمع بندی
  • جمع بندی و کارهای آتی
  • مراجع
  • واژه‌نامه
...see more