Loading...

Using Information Beyond Text to Generate Language Embedding Vectors

Zeinab Sadat Taghavi | 2023

38 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 56629 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Sameti, Hossein
  7. Abstract:
  8. In this thesis, we introduce a novel Artificial Intelligence (AI) system inspired by the philosophical and psychoanalytical concept of imagination as a ``Re-construction of Experiences". Our AI system is equipped with an imagination-inspired module that bridges the gap between textual inputs and other modalities, enriching the derived information based on previously learned experiences. A unique feature of our system is its ability to formulate independent perceptions of inputs. This leads to unique interpretations of a concept that may differ from human interpretations but are equally valid, a phenomenon we term as ``Interpretable Misunderstanding". We employ large-scale models, specifically a Multimodal Large Language Model (MLLM), enabling our proposed system to extract meaningful information across modalities while primarily remaining unimodal. We evaluated our system against other large language models across multiple tasks, including emotion recognition and question-answering, using a zero-shot methodology to ensure an unbiased scenario that may happen by fine-tuning. Significantly, our system outperformed the best Large Language Models (LLM) on the MELD, IEMOCAP, and CoQA datasets, achieving Weighted F1 (WF1) scores of 46.74%, 25.23%, and Overall F1 (OF1) score of 17%, respectively, compared to 22.89%, 12.28%, and 7% from the well-performing LLM. The goal is to go beyond the statistical view of language processing and tie it to human concepts such as philosophy and psychoanalysis. This work represents a significant advancement in the development of imagination-inspired AI systems, opening new possibilities for AI to generate deep and interpretable information across modalities, thereby enhancing human-AI interaction
  9. Keywords:
  10. Language Model ; Question-Answer Sites ; Fine Tuning ; Factor Beyond the Text ; Natural Language Understanding (NLU)

 Digital Object List

 Bookmark

  • مقدمه
    • تعریف مسئله
    • اهمیت موضوع
    • ادبیات موضوع
    • اهداف پژوهش
    • ساختار پایان‌نامه
  • مفاهیم اولیه
    • مقدمه
    • درک زبان طبیعی
      • درباره‌ی معنا، شکل و درک در عصر داده‌ها
      • نقش تجربه در شکل دادن به درک و استفاده از زبان
    • مفاهیمی در مورد تخیل در فلسفه
    • هوش مصنوعی از دید روانکاوی
    • نتیجه‌گیری
  • کارهای پیشین
    • مقدمه
    • مدل‌های زبانی
      • فرآیند توسعه مدل‌های زبانی
      • مدل‌های زبانی بزرگ
      • مدل‌های زبانی بزرگ چند ماهیتی
      • سنجه‌های موجود
    • وظیفه‌ی تشخیص احساسات
      • مجموعه دادگان مورد استفاده برای وظیفه‌ی تشخیص احساسات
      • مرز دانش در وظیفه‌ی تشخیص احساسات بروی دادگان MELD و IEMOCAP
    • وظیفه‌ی پرسش و پاسخ
      • مجموعه دادگان مورد استفاده برای وظیفه‌ی پرسش و پاسخ
      • مرز دانش در وظیفه‌ی پرسش و پاسخ بروی دادگان CoQA
    • نتیجه‌گیری
  • سیستم پیشنهادی: سیستم‌های هوش مصنوعی با پیمانه‌ی برگرفته از تخیل
    • مقدمه
    • سیستم‌های هوش مصنوعی با پیمانه‌ی برگرفته از تخیل
    • معماری سیستم
      • ساختار مشترک
      • معماری منطبق شده جهت انجام وظیفه‌ی تشخیص احساسات
      • معماری منطبق شده جهت انجام وظیفه‌ی پرسش و پاسخ
    • آزمایش‌ها و نتایج
    • نکات پیاده سازی
    • نتیجه‌گیری
  • جمع‌بندی، نتیجه‌گیری و آینده‌ی کار
    • آنچه ما معرفی کردیم
    • نتیجه‌گیری ما از آزمایش‌ها
    • آنچه پیش‌روی ماست
  • مراجع
  • ضمیمه
    • جریان چند داده‌ی نمونه در آزمایش‌ها
      • جریان چند داده‌ی نمونه در سیستم ما
      • جریان چند داده‌ی نمونه در مدل‌ زبانی بزرگ با بهترین نتیجه
...see more