Loading...

Deep Compositional Captioner

Jahangiri, Saman | 2018

1674 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 51126 (02)
  4. University: Sharif University of Technology
  5. Department: Mathematical Sciences
  6. Advisor(s): Esfahani Zadeh, Mostafa; Kamali Tabrizi, Mostafa; Moghadasi, Jamshid
  7. Abstract:
  8. One of the most important applications of artificial intelligence, and especially deep learning is image captioning. Given an image, the task is to automatically produce a sentence, describing the image. Image captioning has several real world applications like helping the blind understanding the images, generating automatic captions for the social media, etc. In the past, several different methods for image captioning have been used, but after the emergence of deep learning, like many other areas, image captioning algorithms have been improved significantly. In this thesis, I talk about a specific method for image captioning, called ”Deep Compositional Captioning. In this method, at first image features are being extracted from the given image, by a deep classification convolutional neural network. Then, another deep neural networkthe language model- which has been trained on text corpus, uses these features to produce a sentence about the image. At last, I will talk about a method for describing the ”novel” objects for which there is no captioning in the training data
  9. Keywords:
  10. Deep Learning ; Images Classification ; Natural Language Processing ; Object Detection ; Image Captioning ; Word Embedding

 Digital Object List

 Bookmark

  • مقدمه
  • کارهای پیشین
  • شبکه های عصبی Convolutional
    • لایه ها
    • لایه کانولوشن
      • کلیت
      • اتصال موضعی
      • آرایش سه بعدی
      • به اشتراک گذاری پارامترها
      • خلاصه
      • لایه ادغام
      • ادغام به طور کلی
      • معماری شبکه های CNN
      • آرایش لایه ها
      • اندازه های متداول لایه ها
  • شبکه های عصبی بازگشتی
  • شبکه های LSTM
  • نشاندن کلمات
  • توصیفگر ترکیبی ژرف
    • دسته بندی گر لغتنامه ای ژرف
      • مدل زبانی
      • مدل توصیفگر
  • توصیف اشیائی که از آنها توصیفی نداشتیم
    • انتقال اطلاعات بین اشیاء
  • داده ها
    • آموزش دسته بندی گر لغتنامه ای
      • آموزش مدل زبانی
      • آموزش مدل توصیفگر
  • محک هایی برای سنجش کیفیت جملات تولید شده
    • دقت اصلاح شده
      • طول جمله
      • ترکیب دقت n تایی های مختلف
      • مشکل recall
      • جریمه کوتاهی جملات
      • جزئیات BLEU
      • نقطه ضعف BLEU
      • محک METEOR
      • METEOR
  • نتایج
  • جمع بندی
  • مراجع
  • چکیده انگلیسی
  • چکیده
...see more