Loading...

A Machine Learning Approach for Memory Resource Management in GPUs

Mohammadi Lak, Masoud | 2024

0 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 57321 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Sarbazi Azad, Hamid
  7. Abstract:
  8. Nowadays, GPUs are used in applications such as graph computations and deep learning that require large data processing. These applications necessitate transferring a considerable amount of data between memory and computational units, which increases the average memory access latency. On the other hand, the poor performance of the L1 cache causes many reservation fails, resulting in increased energy consumption and reduced performance. In this thesis, we propose Smart Cache, a new smart cache management in GPUs. This approach models the cache replacement problem as a sequence labeling problem. Then, a machine learning model that combines support vector machine with one-hot encoding and k-sparse features is trained based on past accesses to the L1 cache of a streaming multi-processor to predict a priority score for evicting data from the L1 caches of streaming multi-processors. A replacement policy based on re-reference interval prediction is also employed to improve data eviction management. Evaluation results show that the Smart Cache improves the cache hit rate by 12%, performance by 24%, power by 3%, and energy consumption by 15% over LRU. The storage overhead of this approach is also negligible and less than 1% of the cache capacity of streaming multi-processors
  9. Keywords:
  10. Cache Memory ; Graphics Procssing Unit (GPU) ; Machine Learning ; Reservation Fails ; Energy Consumption Reduction

 Digital Object List

 Bookmark

  • مقدمه
    • زمینه تحقیق
    • مشکل و اهمیت آن
    • راهکارهای پیشین
    • مشاهدات و انگیزه
    • راهکار پیشنهادی
    • ساختار پایان‌نامه
  • پیش‌زمینه
    • تاریخچه پردازنده‌های گرافیکی
    • ساختار سیستم‌های دارای پردازنده گرافیکی
    • مدل برنامه‌نویسی پردازنده‌های گرافیکی
      • هسته‌ها
      • سلسله مراتب نخ‌ها
      • سلسله مراتب حافظه
      • مدل اجرایی تک-دستور-چند-نخ
    • معماری پردازنده‌های گرافیکی
      • خط لوله پردازنده گرافیکی
      • رسیدگی به دستورهای انشعاب
      • سیستم حافظه در پردازنده گرافیکی
    • نتیجه‌گیری
  • کارهای گذشته در خصوص مدیریت منابع حافظه
    • روش‌های مبتنی بر ریسمان‌های کمکی
    • روش‌های مبتنی بر زمان‌بندی ریسمان‌ها
    • روش‌های مبتنی بر هوش ‌منصوعی
      • مدیریت هوشمند حافظه نهان
    • نتیجه‌گیری
  • روش پیشنهادی
    • بیان مسئله و اهمیت آن
    • انگیزه راهکار پیشنهادی
    • رویکرد پیشنهادی
      • تولید برچسب‌های اصابت/فقدان بهینه
      • انتخاب مدل یادگیری و ویژگی‌ها
      • سخت‌افزار مدل یادگیری
      • فرآیند آموزش مدل یادگیری
      • فرآیند پیش‌بینی توسط مدل یادگیری
      • سیاست جایگزینی حافظه نهان سطح اول
      • فرآیند به‌روزرسانی مدل یادگیری
    • مثال‌های عملیاتی در سازوکار مدیریت هوشمند حافظه نهان
      • فرآیند آموزش
      • فرآیند پیش‌بینی
      • فرآیند به‌روزرسانی
    • نتیجه‌گیری
  • نتایج
    • محیط شبیه‌سازی
    • برنامه‌های محک
    • معماری پایه
    • نتایج شبیه‌سازی
      • ارزیابی نرخ اصابت
      • ارزیابی کارایی
      • ارزیابی درخواست‌های ناموفق
      • ارزیابی انواع سکون
      • ارزیابی توان و انرژی مصرفی
    • سربار ذخیره‌سازی
      • واحد OPTgen
      • مدل یادگیری
      • سیاست جایگزینی
    • نتیجه‌گیری
  • جمع‌بندی و کارهای آتی
    • جمع‌بندی
    • کارهای آتی
  • مراجع
  • واژه‌نامه
...see more