Loading...

Adversarial Networks for Sequence Generation

Montahaei, Ehsan | 2018

481 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 51844 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Soleymani, Mahdieh
  7. Abstract:
  8. Lots of essential structures can be modeled as sequences and sequences can be utilized to model the structures like molecules, graphs and music notes. On the other hand, generating meaningful and new sequences is an important and practical problem in different applications. Natural language translation and drug discovery are examples of sequence generation problem. However, there are substantial challenges in sequence generation problem. Discrete spaces of the sequence and challenge of the proper objective function can be pointed out.On the other, the baseline methods suffer from issues like exposure bias between training and test time, and the ill-defined objective function. So, the necessity of new methods is available. In recent years, there has been development in image generation by usage of generative adversarial networks (GANs). These networks have attracted attention for sequence generation lately, but since sequences are discrete, this cannot be done easily, and new approaches like reinforcement learning and approximation should be utilized. Furthermore, the problem of instability in generative adversarial networks causes new challenges. In this research, based on the idea of generative adversarial models, a new iterative method is proposed for sequence generation problem, such that in every step of the algorithm, the model is trained against itself by using the generated samples. The idea of the proposed method is based on the ratio estimation which enables the model to overcome the problem of discreteness in data. Also, the proposed method is more stable than the other GAN-based methods. It also should be noted that the exposure bias problem does not exist in the proposed method. Since the evaluation of the generated sequences is also an essential challenge in the field of sequence generation, we reviewed the evaluation criterion for sequence generation and also proposed three new methods for evaluating the new sequences which in contrast to previous criterions, examines both the quality and diversity of the new samples. Experiments show the superiority of the proposed method to previous methods
  9. Keywords:
  10. Generative Adversarial Networks ; Neural Networks ; Deep Learning ; Sequence Generation

 Digital Object List

 Bookmark

  • 1 مقدمه
    • 1-1 تعریف مساله
    • 2-1 اهمیت و کاربرد
    • 3-1 يادگیری مقابله‌ای
      • 3-1‏.‏1 دلیل توجه به یادگیری مولدمقابله‌ای
    • 4-1 چالش‌ها
      • 4-1‏.‏1 مشخص نبودن معیار ارزیابی مناسب
      • 4-1‏.‏2 مشخص نبودن تابع هزینه مناسب
      • 4-1‏.‏3 ناهماهنگی آموزش و آزمون
      • 4-1‏.‏4 مشکل انتقال گرادیان
      • 4-1‏.‏5 ناپایداری آموزش مقابله‌ای
    • 5-1 هدف پژوهش
    • 6-1 ساختار پایان‌نامه
  • 2 پژوهش‌های پیشین
    • 1-2 مقدمه
      • 1-2‏.‏1 نمادها
    • 2-2 مدل‌های مولد‌‌
      • 2-2‏.‏1 مدل‌ مولد بازگردنده مبتنی بر نمونه‌گیری
      • 2-2‏.‏2 مدل‌های مولد مبتنی بر فضای نهان
    • 3-2 مدل‌های دسته‌بند
      • 3-2‏.‏1 مدل‌ دسته‌بند بازگردنده
      • 3-2‏.‏2 مدل‌ دسته‌بند پیچشی
    • 4-2 یادگیری مبتنی بر بیشینه درست‌نمایی
      • 4-2‏.‏1 روش جبر معلم
      • 4-2‏.‏2 روش نمونه برداری زمان‌بندی شده
      • 4-2‏.‏3 روش‌های مبتنی بر خودرمزگذار وردشی
    • 5-2 شبکه‌های مولد مقابله‌ای
      • 5-2‏.‏1 بررسی تئوری
    • 6-2 یادگیری مقابله‌ای با استفاده از Gumbel Softmax
      • 6-2‏.‏1 تکنیک تنظیم مجدد برای توزیع دسته‌ای
      • 6-2‏.‏2 تقریبی مشتق‌پذیر برای نمونه‌گیری از توزیع دسته‌ای
      • 6-2‏.‏3 جزئیات روش
    • 7-2 یادگیری مقابله‌ای با استفاده از فضای ویژگی
      • 7-2‏.‏1 روش جبر استاد
      • 7-2‏.‏2 روش TextGAN
    • 8-2 یادگیری مقابله‌ای با استفاده از یادگیری تقویتی
      • 8-2‏.‏1 روش SeqGAN
      • 8-2‏.‏2 روش ORGAN
      • 8-2‏.‏3 روش RankGAN
      • 8-2‏.‏4 روش LeakGAN
      • 8-2‏.‏5 روش MaliGAN
    • 9-2 یادگیری مقابله‌ای با رویکرد تولید دنباله‌ی «توزیع کلمه»
    • 10-2 جمع‌بندی
  • 3 راهکار پیشنهادی
    • 1-3 مقدمه
    • 2-3 پیشنیاز
      • 2-3‏.‏1 مدل کردن دنباله
      • 2-3‏.‏2 تخمین نسبت چگالی
    • 3-3 راهکار پیشنهادی
      • 3-3‏.‏1 گام یادگیری تمیزدهنده
      • 3-3‏.‏2 گام به‌روزرسانی مولد
    • 4-3 جزئیات مدل
      • 4-3‏.‏1 رویکرد اول
      • 4-3‏.‏2 رویکرد دوم
    • 5-3 بررسی نظری
      • 5-3‏.‏1 تخمین نسبت چگالی به‌وسیله‌ی تمیزدهنده
      • 5-3‏.‏2 دلیل هم‌گرایی
    • 6-3 جمع‌بندی
  • 4 معیارهای ارزیابی پیشین و پیشنهادی
    • 1-4 مقدمه
    • 2-4 معیا‌رهای مبتنی بر احتمال مدل
      • 2-4‏.‏1 منفی لگاریتم درست‌نمایی
      • 2-4‏.‏2 Perplexity
    • 3-4 معیارهای مبتنی بر داده‌ی مصنوعی
      • 3-4‏.‏1 منفی لگاریتم درست‌نمایی پیشگو
      • 3-4‏.‏2 معیار پیشنهادی - فاصله با پیشگو
      • 3-4‏.‏3 گرامر مستقل از متن
    • 4-4 معیارهای مبتنی بر n-گرام‌
      • 4-4‏.‏1 BLEU
      • 4-4‏.‏2 Self-BLEU
      • 4-4‏.‏3 معیار پیشنهادی - MS-Jaccard
    • 5-4 معیار پیشنهادی - Fréchet BERT Distanc‌e
    • 6-4 جمع‌بندی
  • 5 ارزیابی
    • 1-5 چالش‌های برطرف شده
      • 1-5‏.‏1 ضعف معیار ارزیابی
      • 1-5‏.‏2 ناهماهنگی آموزش و آزمون
      • 1-5‏.‏3 مشکل انتقال گرادیان
      • 1-5‏.‏4 مشکل ناپایداری آموزش
    • 2-5 مجموعه دادگان
      • 2-5‏.‏1 Image CoCo
      • 2-5‏.‏2 EMNLP2017 WMT News
    • 3-5 مدل‌های مورد مقایسه
      • 3-5‏.‏1 پیکربندی
    • 4-5 معیارهای ارزیابی
    • 5-5 آزمایش‌ها
      • 5-5‏.‏1 آموزش برروی اشعار فردوسی
    • 6-5 ‌تحلیل نتایج
    • 7-5 جمع‌بندی
  • 6 جمع‌بندی و کار‌های آتی
  • آ‍ جزئیات بررسی نظری روش پیشنهادی
  • ب آزمایش‌های بیشتر
  • مراجع
  • واژه‌نامه فارسی به انگلیسی
  • واژه‌نامه انگلیسی به فارسی
...see more