Loading...

A Persian Dialog System with Sequence to Sequence Learning

Ghafourian, Mohammad | 2018

1000 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 50940 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Sameti, Hossein
  7. Abstract:
  8. Conversation modeling is one of the most important goals in the field of understanding natural language and machine intelligence. Recently, with the enormous growth of the Internet and social networks, the amount of available data on the Web has increased significantly.This makes it possible to use data-driven approaches to solve the modeling problem of conversation.One of the most recent data-driven methods is the sequence to sequence modeling. In this document, after providing the necessary prerequisites, we examined the various models that have used the sequence to sequence approach for conversation modeling. We further examined the ways of improving the efficiency of this modeling technique by introducing more advanced models such as attention. By performing several tests on several English and Persian databases, we measured the quality of implemented models and compared them.Using the sequence to sequence method and the attention mechanism, despite the desirable outcome in machine translation, there are problems in generating responses in a conversational system such as generating generic responses and the impossibility of using external data. For this reason, we introduced a new structure that combines the memory network approach and attention and with the help of word embeddings, the responses generated by the model are getting more accurate. Also, using the maximum mutual information as an objective function in optimization, we improved the ability of the model to generate more diverse responses. The results of the experiments showed that the model presented by us could have a higher likelihood in the production of test data. Also, responses are less generic
  9. Keywords:
  10. Recurrent Neural Networks ; Machine Learning ; Dialog System ; Sequence to Sequence Learning ; Attention Mechanism ; Memory Networks

 Digital Object List

 Bookmark

  • مقدمه
    • بررسی اجمالی سیستم‌های مکالمه
    • اهمیت
    • دسته‌بندی کلی روش‌ها
      • یادگیری تمایزی اجزای سامانه‌ی مکالمه
      • مدل‌های قطعی در برابر مدل‌های زایا
    • روش‌ پیشنهادی
    • ساختار پایان‌نامه
  • مروری بر روش‌های پیشین
    • مقدمه
    • مدل‌های رتبه‌بندی و انتخاب پاسخ
    • مدل‌های زایای پاسخ
    • شبکه‌های عصبی عمیق
    • شبکه‌های عصبی بازگشتی
    • مسئله گرادیان میرا
    • حافظه بلند کوتاه‌مدت
    • واحد بازگشتی محافظت‌شده
    • بردار‌های نهفته‌ی کلمه
    • چارچوب دنباله‌به‌دنباله یا انکودر-دیکودر
    • مکانیزم توجه
    • مدل‌سازی محتوای مکالمه
    • شبکه‌های حافظه
    • ارزیابی مدل‌ها
    • جمع‌بندی و نتیجه‌گیری
  • روش پیشنهادی
    • مقدمه
    • مدل پایه
      • انکودر
      • دیکودر دارای فرایند توجه
      • نمونه‌برداری
      • جستجوی‌ پرتو
    • چالش‌ها
      • بیشینه اطلاعات مشترک
      • جزئیات پیاده‌سازی بیشینه‌ی اطلاعات مشترک
      • استفاده از دانش بیرونی در آموزش مدل
    • مدل‌ نهایی
    • جمع‌بندی و نتیجه‌گیری
  • آزمایش‌ها
    • مقدمه
    • معرفی دادگان
      • دادگان مکالمه‌ای
      • تاثیر مکالمات چند مرتبه‌ای
      • دادگان دانش بیرونی
    • پیش‌پردازش
      • تکه‌تکه کردن جملات
      • تمیز‌کردن دادگان
      • آموزش مدل زیرکلمات
      • ساخت واژه‌نامه
    • ابزار‌ها
      • چارچوب تیانو
    • پیاده‌سازی مدل
    • مشخصات محیط آزمایش
    • جزییات مدل و مقادیر ابر‌پارامتر‌ها
    • روش ارزیابی
    • نتایج تجربی
    • تولید پاسخ توسط مدل
    • استفاده از مدل در پرسش و پاسخ
    • بررسی عملکرد مدل با جا‌به‌جایی کلمات در جمله
    • تحلیل نتایج
    • جمع‌بندی و نتیجه‌گیری
  • خلاصه، نتیجه‌گیری و کار‌های آینده
    • خلاصه
    • نتیجه‌گیری
    • کار‌های آینده
...see more