Loading...

Named Entity Recognition in Persian Language Using Deep Learning

Aghajani, Mohammad Mahdi | 2021

861 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 54174 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Beigy, Hamid
  7. Abstract:
  8. The use of named entity recognition systems as preprocessing is used in many natural language analysis issues. With the advent of deep learning, the methods of this area were also affected. Today, there is considerable progress in this area due to the development of data resources for English, Chinese, German, and Spanish. They are also good trained models in formal Persian. However, for informal Persian, which contains a large portion of the web content under the Web, the current models do not produce a suitable solution. In this study, we use the same approach to train our models due to achieving state-of-the-art results in pre-trained models. On the other hand, there is a lack of standard datasets for informal Persian in this area. In this study, first, datasets were prepared and produced from Persian Twitter data according to standard and official procedures. Then, Persian models have been tested on the dataset, and it has been determined that they have no acceptable quality. Then, using transfer learning and parallel learning, improve the f-score from 65 to 82. In this study, using a tool that was developed for representation visualization of different layers of the network, it was found that current models for the problem of named entity recognition are more than paying attention to content themselves rather than context, which can be a clue to improve current models in the future
  9. Keywords:
  10. Pretrained Models ; Transfer Learning ; Natural Language Processing ; Deep Learning ; Multi-Task Learning ; Named Entity Recognition

 Digital Object List

 Bookmark

  • چکیده
  • فهرست شکل‌ها
  • فهرست جدول‌ها
  • فصل1 مقدمه
    • 1–1 تعریف مساله
      • 1–1–1 مساله بازشناسی نهاده‌های نامدار در فارسی محاوره‌ای
      • 1–1–2 مساله بازشناسی نهاده‌های نامدار در دیگر زبان‌های غیررسمی
    • 1–2 اهمیت انجام مساله
    • 1–3 رویکرد حل مساله
    • 1–4 ساختار پایان‌نامه
  • فصل2 پیش‌زمینه
    • 2–1 مقدمه
    • 2–2 معماری ترنسفورمر‌ها
      • 2–2–1 پشته‌های کدگذار و کدگشا
      • 2–2–2 شبکه پیشرونده تمام متصل
      • 2–2–3 مکانیزم جاسازی مکانی
    • 2–3 یادگیری انتقالی
      • 2–3–1 یادگیری موازی
        • 2–3–1–1 چرا یادگیری موازی کار می‌کند
      • 2–3–2 یادگیری انتقالی ترتیبی
      • 2–3–3 یادگیری انتقالی در پردازش زبان طبیعی
      • 2–3–4 مدل برت
        • 2–3–4–1 معماری برت
        • 2–3–4–2 پیش‌آموزش برت
        • 2–3–4–3 ریزتنظیم برت برای مساله‌های دیگر
      • 2–3–5 مدل پارس‌برت
    • 2–4 جمع‌بندی
  • فصل3 مرور پژوهش‌های پیشین
    • 3–1 روش‌های قاعده‌محور
    • 3–2 روش‌های آماری
    • 3–3 روش‌های مبتنی بر یادگیری ژرف
      • 3–3–1 روش‌های بازنمایی ورودی
        • 3–3–1–1 بازنمایی سطح کلمه
        • 3–3–1–2 بازنمایی سطح حروف
        • 3–3–1–3 بازنمایی ترکیبی
      • 3–3–2 بازنمایی داده‌ها با استفاده از وابستگی بافت جمله
        • 3–3–2–1 شبکه های بازگشتی عمیق
        • 3–3–2–2 شبکه های پیچشی عمیق
        • 3–3–2–3 مدل زبانی عصبی
        • 3–3–2–4 ترنسفورمر‌ها
      • 3–3–3 دسته‌بندی
        • 3–3–3–1 میدان های تصادفی شرطی
        • 3–3–3–2 استفاده از شبکه‌های تمام متصل پیشرونده
    • 3–4 رویکردهای بازشناسی نهاده‌های نامدار در زبان فارسی
    • 3–5 بازشناسی نهاده‌های نامدار در محیط غیررسمی زبان‌های غیر فارسی
    • 3–6 جمع‌بندی
  • فصل4 روش پیشنهادی
    • 4–1 ساختار کلی مدل پیشنهادی
    • 4–2 روش پیشنهادی برای آموزش مدل
      • 4–2–1 تابع هزینه
    • 4–3 ابزار تحلیل بازنمایی کلمات شبکه
    • 4–4 جمع‌بندی
  • فصل5 آزمایش‌ها و نتایج
    • 5–1 محیط آزمایش و ابزار‌ها
    • 5–2 مجموعه دادگان‌های مورد استفاده
      • 5–2–1 پیکره پیما
      • 5–2–2 پیکره آرمان
    • 5–3 جمع‌آوری دادگان از شبکه توییتر
      • 5–3–1 شیوه‌نامه برچسب‌زدن
      • 5–3–2 آماره‌های دادگان
      • 5–3–3 کیفیت برچسب زدن
    • 5–4 معیار‌های سنجش کیفیت سامانه‌های بازشناسی نهاده‌های نامدار
      • 5–4–1 تطابق دقیق
      • 5–4–2 تطابق رقیق
    • 5–5 بررسی کیفیت مدل‌های فعلی
    • 5–6 ارزیابی مدل آموزش داده شده با استفاده از یادگیری انتقالی ترتیبی
    • 5–7 ارزیابی مدل آموزش داده شده با استفاده از یادگیری انتقالی موازی
      • 5–7–1 بررسی تاثیر پارامتر نسبت داده‌های فارسی رسمی و فارسی محاوره‌ای در طول آزمایش
    • 5–8 ارزیابی مدل آموزش دیده با استفاده از تابع هزینه معرفی شده
    • 5–9 تحلیل و بررسی نتایج
    • 5–10 نتایج ارزیابی مدل با استفاده از دادگان پوشیده
    • 5–11 جمع‌بندی
  • فصل6 جمع‌بندی و پیشنهاد‌ها
  • مراجع
  • واژه‌نامه فارسی به انگلیسی
  • واژه‌نامه انگلیسی به فارسی
...see more