Loading...

Improving Sampling Efficiency of Probabilistic Graphical Models

Mahdieh, Mohsen | 2018

1654 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 52078 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Beigy, Hamid
  7. Abstract:
  8. Deep learning methods have become more popular in the past years. These methods use complex network architectures to model rich, hierarchical datasets. Although most of the research has been centered around Discriminative models, however, recently a lot of research is focused on Deep Generative Models. Two of the pioneering models in this field are Generative Adversarial Networks and Variational Auto-Encoders. In addition, knowing the structure of data helps models to search in a narrower hypothesis space. Most of the structure in datasets are models using Probabilistic Graphical Models. Using this structural information, one can achieve better parameter estimations. In the case of Generative Models, this means sampling from a more accurate model. In this thesis, we first try to use this structural information in Variational Auto Encoder. Results show that using this information improves sampling both in qualitative and quantitative evaluations.Using the proposed techniques in this thesis results were improved on MNIST dataset.The baseline model’s Jensen-Shannon divergence was 0.6909. This value was improved to 0.6229 on the proposed model with best results. Maximum mean discrepancy was also improved from 0.2302 to 0.0677 using the same proposed model.Experiments were also done on more complex data. On CIFAR dataset both Jensen-Shannon divergence and maximum mean discrepancy were improved by 0.0176 and 0.1082 respectively. These improvements were also visible in the qualitative measurements seen in the generated samples
  9. Keywords:
  10. Probabilistic Graphical Models ; Sampling ; Generating Model ; Autoencoder ; Variational Inference

 Digital Object List

 Bookmark

  • مقدمه
    • ساختار پایان‌نامه
  • مبانی نظری
    • برآورد پارامتر
      • برآورد بیشینه درست‌نمایی
      • برآورد بیشینه شبه درست‌نمایی
      • برآورد بیشینه‌گر احتمال پسین
    • استنتاج
    • استنتاج وردشی
    • نمونه‌برداری احتمالاتی
    • برآورد امید ریاضی با نمونه‌برداری
      • Importance Sampling
      • نمونه‌برداری گیبس
    • معیارهای اندازه‌گیری فاصله دو توزیع
      • معیار واگرایی کالبک-لیبلر
      • معیار واگرایی ینسن-شانون
      • بیشینه فاصله گشتاورها
    • جمع‌بندی
  • پیشینه‌ی پژوهش
    • مقدمه
    • خودکدگذار وردشی
    • خودکدگذار وردشی شرطی
    • سایر مطالعات روی خودکدگذار وردشی
    • شبکه مولد خصمانه
    • شبکه مولد تطابق گشتاور و شبکه خودکدگذار مولد تطابق گشتاور
      • شبکه مولد تطابق گشتاور
      • شبکه خودکدگذار مولد تطابق گشتاور
    • خودکدگذار خصمانه
    • جمع‌بندی
  • روش پیشنهادی
    • مقدمه
    • نمونه‌برداری گیبس با مدل خودکدگذار وردشی شرطی
    • خودکدگذار وردشی ساختارمند
      • ساختارمند در نظر گرفتن توزیع‌های پیشین
      • جداسازی متغیر‌های نهان بر اساس ساختار
    • نمونه‌برداری گیبس با مدل خودکدگذار وردشی شرطی و کدگشای مشترک
    • جمع‌بندی
  • بررسی نتایج تجربی
    • مقدمه
    • مجموعه‌ داده‌
    • محیط پیاده‌سازی
    • معیارهای ارزیابی
      • معیارهای بر اساس درست‌نمایی
      • معیار‌های آزمون فرضیه
      • هیستوگرام‌های فاصله با دادهگان یادگیری
    • نتایج آزمایش‌ها
      • دادگان MNIST
      • دادگان Olivetti
      • دادگان CIFAR
  • نتیجه‌گیری
    • راهکار‌های آتی
  • منابع و مراجع
  • واژه نامه انگلیسی به فارسی
  • واژه نامه فارسی به انگلیسی
...see more