Loading...

Multi-label Classification by Considering Label Dependencies

Farahnak Ghazani, Fatemeh | 2015

2030 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 47796 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Soleymani, Mahdieh
  7. Abstract:
  8. In multi-label classification problems each instance can simultaneously have multiple labels. In these problems, in addition to the complexities of the input feature space we encounter the complexities of output label space. In the multi-label classification problems, there are dependencies between different labels that need to be considered. Since the dimensionality of the label space in real-world applications can be (very) high, most methods which explicitly model these dependencies are ineffective in practice and recently those methods that transform the label space into a latent space have received attention. A class of these methods which uses output space dimension reduction, first uses an encoding method to transform the ouput space to lower dimensional latent space. Afterwards, they predict the latent space from the feature space and convert them to the original output space using a suitable decoding method. These methods consider label dependencies implicitly in the latent space, which is common between all the labels. The encoding method can be explicit which learns a function to code any label vector or implicit which learns a code matrix for label space directly by optimizing a cost function. In this research, the proposed methods use implicit encoding to reduce output space dimensionality and learn latent space common between all the labels. In these methods, we try to propose appropriate optimization problems for the multi-label classification problem. The proposed methods consider label dependencies implicitly in finding the latent space. In these methods kernel tricks can also be used to predict the latent space from the input space. Moreover, the threshold can be learnt for each instance, instead of using a predefined threshold for all instances. Extensive experiments on several datasets demonstrate the effectiveness of the proposed method compared with previous methods
  9. Keywords:
  10. Multi-Label Classification ; Label Space Dimension Reduction ; Implicit Encoding ; Label Dependencies

 Digital Object List

 Bookmark

  • 1. مقدمه
    • 1-1. تعریف مساله
    • 1-2. نمادگذاری مساله
    • 1-3. ارتباط با مسائل دسته‌بندی دودویی و چنددسته‌ای
    • 1-4. چالش‌ها
      • 1-4-1. وابستگی بین برچسب‌ها
      • 1-4-2. هزینه‌ی محاسباتی
    • 1-5. هدف پژوهش
    • 1-6. ساختار پایان‌نامه
  • 2. روش‌های پیشین
    • 2-1. تقسیم‌بندی اولیه‌ی روش‌ها برای حل مساله‌ی دسته‌بندی چندبرچسبی
    • 2-2. روش‌های تبدیل
      • 2-2-1. روش‌های دودویی
      • 2-2-2. روش‌های دوبه‌دو
      • 2-2-3. روش‌های ترکیب برچسب‌ها
      • 2-2-4. ساختار درخت یا DAG برای وابستگی برچسب‌ها
      • 2-2-5. روش‌های ارائه شده برای داده‌های شبکه‌ای
      • 2-2-6. تبدیل فضای برچسب‌ها یا فضای ویژگی‌ها به فضای میانی
        • 2-2-6-1. تبدیل فضای ورودی به فضای میانی
        • 2-2-6-2. تبدیل فضای خروجی به فضای میانی
        • 2-2-6-3. تبدیل هر دو فضای ورودی و خروجی به فضای میانی
    • 2-3. روش‌های تطبیق
      • 2-3-1. درخت‌های تصمیم
      • 2-3-2. ماشین‌های بردار پشتیبان
      • 2-3-3. -نزدیک‌ترین همسایه
      • 2-3-4. شبکه‌های عصبی
      • 2-3-5. روش‌های احتمالاتی
    • 2-4. جمع‌بندی روش‌های پیشین
  • 3. روش‌های مرتبط
    • 3-1. روش‌های تبدیل فضای خروجی به فضای میانی
      • 3-1-1. حسگری فشرده
      • 3-1-2. تبدیل فضای برچسب‌ها با مولفه‌های اصلی
      • 3-1-3. تبدیل فضای برچسب‌ها با مولفه‌های اصلی شرطی
      • 3-1-4. کدگذاری ضمنی و آگاه از ویژگی
      • 3-1-5. کدگذاری با تحلیل همبستگی بنیادی
      • 3-1-6. کدگذاری بیشینه حاشیه
    • 3-2. جمع‌بندی روش‌های مرتبط
  • 4. روش پیشنهادی
    • 4-1. کدگذاری ضمنی و آگاه از ویژگی با تابع هزینه‌ی آنتروپی متقاطع
      • 4-1-1. تابع هزینه‌ی روش پیشنهادی
      • 4-1-2. کمینه کردن تابع هزینه و یادگیری ماتریس‌ها
      • 4-1-3. یادگیری توابع رگرسیون برای پیش‌بینی فضای کد
      • 4-1-4. مرحله‌ی آزمون
      • 4-1-5. یادگیری حد آستانه
      • 4-1-6. استفاده از هسته برای فضای ورودی
      • 4-1-7. روش پیشنهادی از دیدگاه احتمالاتی
      • 4-1-8. چگونگی در نظر گرفتن وابستگی بین برچسب‌ها در مدل پیشنهادی
    • 4-2. کدگذاری ضمنی با تجزیه‌ی ماتریسی نامنفی
      • 4-2-1. روش تجزیه‌ی ماتریسی نامنفی
      • 4-2-2. روش پیشنهادی مبتنی بر NMF
      • 4-2-3. استفاده از هسته برای فضای ورودی
    • 4-3. جمع‌بندی روش‌های پیشنهادی
  • 5. نتایج عملی
    • 5-1. مجموعه داده‌های چندبرچسبی
    • 5-2. معیارهای ارزیابی
      • 5-2-1. معیارهای مبتنی بر نمونه
      • 5-2-2. معیارهای مبتنی بر برچسب
    • 5-3. ارزیابی روش پیشنهادی و مقایسه با روش‌های مرتبط
      • 5-3-1. تنظمیات آزمایش‌ها
      • 5-3-2. نتایج آزمایش‌ها
      • 5-3-3. زمان اجرای روش‌های مختلف
      • 5-3-4. تحلیل پارامترهای روش پیشنهادی اول
    • 5-4. نتیجه‌گیری
  • 6. نتیجه‌گیری و کارهای آتی
    • 6-1. جمع‌بندی مطالب
    • 6-2. کارهای آتی
  • مراجع
...see more