Loading...

Pre-trained Model utilization Using Cross-lingual Methods

Hosseini, Mohammad | 2020

894 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 53956 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Sameti, Hossein; Motahari, Abolfazl
  7. Abstract:
  8. Following dramatic changes after using deep learning method as a solution for Natural Language Processing tasks, Transformer architecture get popular. Based on that, then BERT Language model presented and get state-of-the-art as a solution for a lot of language processing tasks. It was a turning point in Natural Language Processing field. Also, in cross-lingual methods research line motivated by developing a common space for representation of language units, e.g. words, sentences, in more that one language, get some remarkable improvements. However, for languages distant from English such as Persian or Arabic the methods' performance was not clear. In this work, we performed some innovative methods to transfer learning of English BERT model to Persian and some languages close to Persian in which changes in the base model was as least as possible. The proposed model used as a solution for some language processing tasks such as Sentiment analysis, News Classification and Named entity recognition. The results show that the proposed method is effective for transferring BERT language model to other languages with no pre-training
  9. Keywords:
  10. Natural Language Processing ; Bidirectional Encoder Representations from Transformers (BERT)Model ; Cross Lingual Speaker Adaptation ; Pretrained Models ; Transfer Learning ; Sentiment Analysis

 Digital Object List

 Bookmark

  • 1 مقدمه
    • 1-1 پیش‌زمینه
      • 1-1-1 چند تعریف اولیه
    • 1-2 مدل‌های پیش‌آموزش‌دیده
    • 1-3 اهمیت و کاربرد
    • 1-4 تعریف مسأله
    • 1-5 چالش‌ها
    • 1-6 هدف پژوهش
    • 1-7 ساختار پایان‌نامه
  • 2 پژوهش‌های پیشین
    • 2-1 مقدمه
    • 2-2 مدل‌های پیش‌آموزش‌دیده
      • 2-2-1 طبقه‌بندی مدل‌های پیش‌آموزش‌دیده
      • 2-2-2 مدل‌های غیر بافتاری
      • 2-2-3 معماری مدل‌های پیش‌آموزش‌دیده
      • 2-2-4 مسائل پیش‌آموزش
      • 2-2-5 مدل‌های ‌بافتاری
      • 2-2-6 پیش‌آموزش با افزونه
    • 2-3 روش‌های میان‌زبانی
      • 2-3-1 روش‌های تک‌زبانه
      • 2-3-2 روش‌های شبه‌چندزبانه
      • 2-3-3 بهینه‌سازی توأم
    • 2-4 جمع‌بندی
  • 3 راهکار پیشنهادی
    • 3-1 مقدمه
    • 3-2 ایجاد مجموعه واژگان زبان مقصد
      • 3-2-1 مجموعه واژگان فارسی
      • 3-2-2 مجموعه واژگان عربی
    • 3-3 تعبیه‌کردن مجموعه واژگان در مدل
    • 3-4 تن‌دقیق بر روی مسأله‌ی زبان مقصد
    • 3-5 جمع‌بندی
  • 4 ارزیابی
    • 4-1 مقدمه
    • 4-2 مسأله‌های ارزیابی
      • 4-2-1 دسته‌بندی متن
      • 4-2-2 تحلیل احساسات
      • 4-2-3 تشخیص موجودیت نام‌دار
    • 4-3 آزمایش‌ها
      • 4-3-1 تحلیل احساسات فارسی
      • 4-3-2 دسته‌بندی اخبار
      • 4-3-3 تشخیص موجودیت نام‌دار
      • 4-3-4 تحلیل احساسات عربی
    • 4-4 جمع‌بندی
  • 5 نتیجه‌گیری و کار‌های آتی
    • 5-1 نتایج
    • 5-2 کارهای آتی
  • مراجع
  • واژه‌نامه فارسی به انگلیسی
  • واژه‌نامه انگلیسی به فارسی
...see more