Loading...

Proposal of a Numerical Metric for Comparing and Evaluating Interpreting Methods for Machine Learning Models

Khani, Pouya | 2023

185 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 56253 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Jafari Siavoshani, Mahdi
  7. Abstract:
  8. The complexity and non-linearity of today’s machine learning-based systems make it difficult for both end users and experts in the field to understand the logic and reasoning behind their decisions and outputs. Explainable AI (XAI) methods have gained significant attention in real-world problems as they enhance our understanding of these models, increasing trust and improving their efficiency. By applying different explanation methods on a machine learning model, the same output is not necessarily observed, hence evaluation metrics are needed to assess and compare the quality of explanation methods based on one or more definitions of the goodness of the explanation produced by them. Several qualitative metrics exist for evaluating these attribution maps and the explanation methods that generate them. However, qualitative metrics alone cannot provide a comprehensive and accurate evaluation and comparison among different methods. In this research, an improved quantitative evaluation metric is proposed, inspired by the Infidelity metric from previous works. This metric closely aligns with human intuition in terms of its idea and algorithm implementation. It can measure the fidelity of attribution-based ex-planation methods as a black box, addressing various issues and weaknesses of previous metrics. Our proposed metric demonstrates better performance in tests and statistical analysis. This proposed metric is more consistent than the previous metrics and it can better differentiate between explanation methods and provide a more accurate sorting. Also, by analyzing its correlation with other metrics, we realize that the proposed metric has little output similarity with other metrics, and therefore it creates a little information redundancy.
  9. Keywords:
  10. Machine Learning ; Interpretable Machine Learning ; Interpretability ; Quantitative Method ; Attribution Map Evaluation ; Explainable Artificial Intelligence

 Digital Object List

 Bookmark

  • مقدمه
    • تعریف مسئله
    • اهمیت موضوع
    • اهداف پژوهش
    • ساختار پایان‌نامه
  • مفاهیم اولیه و نمادگذاری
    • یادگیری ماشین
    • واژه‌شناسی حوزه تفسیر
    • یادگیری ماشین قابل تفسیر
    • هوش مصنوعی قابل توضیح
      • دسته‌بندی
      • روش‌های توضیح
    • نمادگذاری‌ها
    • جمع‌بندی
  • کارهای پیشین
    • روش‌ها و معیارهای ارزیابی روش‌های توضیح
      • طبقه‌بندی نوع اول روش‌های ارزیابی
      • طبقه‌بندی نوع دوم روش‌های ارزیابی
      • شاخص‌های ارزیابی روش‌های توضیح
    • ویژگی‌های معیار‌های کمّی ارزیابی وفاداری
    • معیار Deletion
    • معیار Insertion
    • معیار Minimal Subset
    • معیار IROF
    • معیار Sensitivity-n
    • معیار SegmentSensitivity-n
    • معیار Infidelity
    • معیار MaxSensitivity
    • معیار Impact Coverage
    • جمع‌بندی
  • معیار پیشنهادی
    • تحلیل مشکلات احتمالی هر معیار کمّی ارزیابی روش‌های توضیح
      • احتساب تأثیر انحراف ویژگی‌ها به صورت نسبی
      • احتساب مقادیر منفی اهمیت هر ویژگی در نقشه انتساب
      • احتساب مقیاس‌های متفاوت مقدار اهمیت‌ها
      • مشخص بودن الگوریتم و جزئیات انحراف ویژگی‌ها
      • احتساب همبستگی بین ویژگی‌ها (اطلاعات مکانی)
      • ارزیابی تمام نقشه انتساب
    • تحلیل مشکلات معیار Infidelity
      • بررسی معیار Infidelity در مورد نسبیت تأثیر انحراف ویژگی‌ها
      • بررسی معیار Infidelity در مورد مقدار اهمیت‌های منفی
      • بررسی معیار Infidelity در مورد مقیاس متفاوت مقدار اهمیت‌ها
      • بررسی معیار Infidelity در مورد الگوریتم انحراف ویژگی‌ها
      • بررسی معیار Infidelity در مورد احتساب همبستگی بین ویژگی‌ها
      • بررسی معیار Infidelity در مورد ارزیابی تمام نقشه انتساب
      • جمع‌بندی
    • معیارهای پیشنهادی
      • معیار مبتنی بر انحراف پیکسل
      • معیار مبتنی بر انحراف کلی
    • جمع‌بندی
  • آزمایش‌ها و نتایج
    • نتیجه اعمال معیارهای پیشنهادی بر روی روش‌های توضیح
    • طراحی آزمایش‌هایی مبتنی بر تحلیل آماری
      • آزمون اهمیت آماری
      • محاسبه همبستگی بین معیارها
      • ثبات رتبه‌بندی معیارهای ارزیابی
    • نتایج آزمایش‌های مبتنی بر تحلیل آماری
      • تنظیمات آزمایش‌ها
      • نتایج آزمون رتبه‌بندی علامت‌دار Wilcoxon
      • نتایج محاسبه همبستگی بین معیارها
      • نتایج آزمایش محاسبه ثبات رتبه‌بندی
    • جمع‌بندی
  • نتیجه‌گیری و کارهای آتی
  • مراجع
  • واژه‌نامه
...see more