Loading...

Mitigating Memory Access Overhead in GPUs Through Reproduction of Intermediate Results

Barati, Rahil | 2020

661 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 52931 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Sarbazi Azad, Hamid
  7. Abstract:
  8. GPUs employ large register files to reduce the performance and energy overhead of memory accesses through improving the thread-level parallelism, and reducing the number of data movements from the off-chip memory. Recently, latency-tolerant register file (LTRF) is proposed to enable high-capacity register files with low power and area cost. LTRF is a two-level register file in which the first level is a small fast register cache, and the second level is a large slow main register file. LTRF uses a near-perfect register prefetching mechanism that warp registers are prefetched from the main register file to the register file cache before scheduling the warp, and hiding the register prefetching latency by the execution of other active warps. LTRF specifies the working-set of the warps by partitioning the control flow graph into several prefetch subgraphs, called register-interval. LTRF imposes some performance overhead due to warp stall during the register prefetching. Reducing the number of register-intervals can greatly mitigate this overhead, and improve the effectiveness of LTRF. A register-interval is a subgraph of the control flow graph (CFG) where it has to be a single-entry subgraph with a limited number of registers. We observe that the second constrain contributes more in reducing the size of register-intervals. Increasing the number of registers inside the register-interval cannot address this problem as it imposes huge performance and power overhead during the register prefetching process. In this thesis, we propose a register-interval-aware reproduction mechanism at compile-time to increase register-interval size without increasing the number of registers inside it. Our experimental results show that our proposal improves the effectiveness of LTRF by 29%, and GPU performance by 30%. Moreover, our proposal reduces GPU energy consumption by 38% , on average
  9. Keywords:
  10. General Purpose Graphic Processing Units (GPGPU) ; Execution Units ; Memory Overhead ; Value Reproduction ; Scratch Pad Memory (SPM)

 Digital Object List

 Bookmark

  • 1 مقدمه
  • 2 پیش‌زمینه
    • 2.1 سیر تحول پردازنده‌های گرافیکی
    • 2.2 مدل برنامه‌نویسی CUDA
      • 2.2.1 سلسله مراتب نخ‌ در مدل CUDA
      • 2.2.2 سلسله مراتب حافظه
      • 2.2.3 مدل اجرایی تک دستور چند نخ
    • 2.3 معماری پردازنده‌های گرافیکی
      • 2.3.1 چندپردازنده‌ی جریانی
      • 2.3.2 خط لوله پردازنده‌های گرافیکی
    • 2.4 مترجم در پردازندهای گرافیکی
      • 2.4.1 بخش‌های افزوده به زبان C
      • 2.4.2 اختصاص ثبات
  • 3 کارهای پیشین
    • 3.1 پژوهش‌های مرتبط با افزایش کارآیی و کاهش توان مصرفی در پردازنده‌های گرافیکی
      • 3.1.1 پژوهش‌های مرتبط با حافظه‌های روی تراشه‌
      • 3.1.2 فشرده‌سازی در پردازنده‌های گرافیکی
      • 3.1.3 پژوهش‌های مرتبط با زمانبند کلاف
    • 3.2 پژوهش‌های مرتبط با محاسبه‌ی مجدد
      • 3.2.1 روش بازسازی مقادیر ثبات
      • 3.2.2 محاسبه‌ی مجدد با هدف کاهش دفعات نوشتن در حافظه
    • 3.3 معماری پوشه‌ ثبات تحمل‌پذیر تاخیر
  • 4 روش پیشنهادی
    • 4.1 انگیزه
    • 4.2 نحوه‌ی ساخت بازه‌ثبات‌ها
    • 4.3 نحوه‌ی ساخت بازه‌ثبات‌ها آگاه از بازتولید مقدار
    • 4.4 تحلیل سربار روش پیشنهادی
  • 5 ارزیابی
    • 5.1 محیط شبیه‌سازی
      • 5.1.1 شبیه‌ساز GPGPU-Sim
      • 5.1.2 مجموعه برنامه‌های محکِ استفاده شده
    • 5.2 نتایج شبیه‌سازی
      • 5.2.1 ارزیابی میزان تحمل‌پذیری تاخیر دسترسی به پوشه‌ی ثبات اصلی
      • 5.2.2 ارزیابی کارآیی
      • 5.2.3 ارزیابی توان و انرژی مصرفی
  • 6 نتیجه‌گیری
    • 6.1 خلاصه دستاوردها
    • 6.2 کارهای آتی
      • 6.2.1 کاربرد بازتولید مقادیر در کاهش تنازع‌های بانک ثبات در LTRF
      • 6.2.2 سایر کاربردهای روش LTRF بهبودیافته با بازتولید مقادیر
      • 6.2.3 افزایش فرصت‌های بازتولید مقادیر در بستر محاسبات تقریبی
  • مراجع
  • واژه‌نامه‌ی فارسی به انگلیسی
  • واژه‌نامه‌ی انگلیسی به فارسی
...see more