Loading...

Modeling of Error in Approximate Multipliers for Neural Network Accelerators

Farahbakhsh, Amir Reza | 2024

15 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 56928 (05)
  4. University: Sharif University of Technology
  5. Department: Electrical Engineering
  6. Advisor(s): Sharifkhani, Mohammad
  7. Abstract:
  8. In recent years, Deep Neural Networks have become essential tools, surpassing human capabilities in various applications, leading to their widespread integration into various everyday applications. However, a fundamental challenge of these networks lies in their substantial energy consumption, particularly concerning constrained electronic devices. To address this issue, numerous solutions have been proposed, encompassing software-based approaches such as network pruning, knowledge distillation, and network quantization. Moreover, hardware-oriented enhancements have also emerged, including the utilization of approximate circuits and approximate calculations within neural network architectures. Multipliers are one of the most complex units with high power consumption. Therefore, in recent years, the use of approximate multipliers in neural networks has been widely followed, which has led to significant energy efficiency. By replacing conventional multipliers with approximate counterparts, significant reductions in energy consumption can be realized. However, accurately assessing the impact of approximation on neural network behavior necessitates thorough simulation and analysis, which can be hindered by the lack of hardware support for approximate operations. In this thesis, we propose an innovative approach for simulating approximate neural networks to help Hardware Accelerator designers. Our method involves leveraging precise Neural Networks to simulate the behavior of Approximate Neural Networks. By adding the error introduced by approximate multipliers into the exact neural network model, we can efficiently estimate the accuracy of the approximate neural network across various approximation multipliers. This approach enables rapid evaluation and optimization of approximate neural network designs, facilitating the development of energy-efficient AI solutions
  9. Keywords:
  10. Approximate Computing ; Artificial Neural Network ; Simulation Framework ; Approximate Multipliers ; Neural Network Accelerators

 Digital Object List

 Bookmark

  • چکیده
  • فهرست جدول‎ها
  • فهرست تصویرها
  • 1 فصل1. مقدمه
    • 1-1 پیش گفتار
    • 2-1 انگیزه های پژوهش
    • 1-3 اهداف پژوهش
    • 1-4 ساختار پایان نامه
  • 2 فصل2. مبانی نظری پژوهش
    • 2-1 محاسبات تقریبی
    • 2-2 شبکه‌های عصبی عمیق
      • 1-2-2 لایه‌های تمام متصل36F
      • 2-2-2 لایه‌های کانولوشنال38F
      • 3-2-2 لایه‌های تجمیع41F
      • 4-2-2 توابع فعال‌سازی44F
      • 2-2-5 لایه‌های نرمال‌سازی47F
      • 6-2-2 آموزش و استنتاج
      • 7-2-2 مجموعه‌داده MNIST
      • 2-2-8 مجموعه‌داده Fashion-MNIST
      • 2-2-8 مجموعه‌داده CIFAR-10
      • 9-2-2 مجموعه‌داده ImageNet
    • 3-2 مدل های شبکه‌های عصبی
      • 1-3-2 شبکه‌ی LeNet (1998)
      • 2-3-2 شبکه‌ی AlexNet (2012)
      • 3-3-2 شبکه‌های VGG (2014)
      • 4-3-2 شبکه‌های ResNet (2015)
  • 3 فصل3. مروری بر ادبیات موضوعی
    • 3-1 مقیاس‌بندی دقت
    • 3-2 کاهش محاسبات
      • 1-2-3 پرش
      • 2-2-3 بخاطر سپاری
    • 3-3 واحدهای محاسبه تقریبی88F
      • 1-3-3 جمع‌کننده‌ها و ضرب‌کننده‌های تقریبی
      • 2-3-3 محاسبات بدون ضرب‌کننده95F
      • 3-3-3 ضرب‌کننده‌های تقریب لگاریتمی103F
    • 3-4 پلتفرم‌ها و چارچوب‌های شبیه‌سازی شبکه‌های عصبی تقریبی
      • 1-4-3 چارچوب Ristretto (2018)
      • 2-4-3 چارچوب TypeCNN (2019)
      • 3-4-3 چارچوب ALWANN (2019)
      • 4-4-3 چارچوب AxDNN (2019)
      • 5-4-3 چارچوب ProxSim (2020)
      • 6-4-3 چارچوب TFApprox (2020)
      • 7-4-3 چارچوب AdaPT (2023)
  • 4 فصل4. طرح پيشنهادى
    • 1-4 اندازه‌گیری و مدل‌سازی خطای تقریب
    • 2-4 اضافه کردن خطای تقریب در فرایند استنتاج
    • 3-4 ارتقاء روش پیشنهادی
      • 1-3-4 بهینه‌سازی تخمین خطا به‌وسیله اشتراک گذاری منابع محاسباتی
      • 2-3-4 کاهش تعداد نقاط تخمین و افزودن خطای تقریب
      • 3-3-4 در نظر گرفتن خطای کوانتیزاسیون
  • 5 فصل5. نتایج شبیه‌سازی
    • 5-1 محیط و شرایط آزمایش
    • 5-2 نتایج شبیه‌سازی با روش میانگینگیری
      • 1-2-5 شبکه ResNet
      • 2-2-5 شبکه VGG
      • 3-2-5 شبکه AlexNet
      • 4-2-5 شبکه LeNet-5
      • 5-2-5 بررسی زمان اجرای شبیه‌سازی در روش پیشنهادی
  • 6 فصل5. جمع‌بندي و ارائه پیشنهادات
    • 6-1 جمع‌بندی
    • 6-2 پیشنهادات
  • منابع و مأخذ
...see more