Loading...

Resource Allocation in Computation Offloading Based on Reinforcement Learning

Gholami, Peyman | 2021

284 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 54223 (05)
  4. University: Sharif University of Technology
  5. Department: Electrical Engineering
  6. Advisor(s): Ashtiani, Farid; Mirmohseni, Mahtab
  7. Abstract:
  8. Collaborative edge computing (CEC) is a recently popular paradigm enabling sharing of computation resources among different edge devices. In CEC, multiple stakeholders (mobile users, mobile edge computing servers, cloud servers,...) collaborate to provide new computation capacity in order to perform computation-intensive tasks efficiently in the edge. In the thesis, each task, the data that should be computed in the cloud or edge, was modeled as a graph of dependent sub-tasks. Resource allocation for task offloading is an important problem to address in CEC as we need to decide when and where each subtask is executed. In this work, we mathematically formulate the problem of resource allocation for offloading tasks consisting of dependent subtasks to minimize the average delay of task’s completion time. Our CEC network consists of mobile users, mobile edge computing servers, and cloud servers. We worked toward developing both static and dynamic policies that minimize average task’s computation delay in the network. The system is modeled as a Queuing Network to find the optimum routing probabilities as the static policy. We have also formulated the problem using a Continuous-Time Markov Chain (CTMC). Due to the large state space of the CTMC, available Dynamics in the system, and the specific structure of reward that is determined after multiple state transitions, we have applied Deep Reinforcement learning algorithms to identify the optimized dynamic policy. While the static policy does not need to measure the system state and thus saves energy, the dynamic policy outperforms the benchmark algorithms in average delay
  9. Keywords:
  10. Offloading ; Reinforcement Learning ; Cloud Computing ; Resources Allocation ; Mobile Edge Computing ; Collaborative Edge Computing (CEC)

 Digital Object List

 Bookmark

  • فهرست جدول‌ها
  • فهرست تصویرها
  • فصل1 : مقدمه
    • 1 - 1 پیش‌زمینه
    • 1 - 2 هدف
    • 1 - 3 چالش‌ها
    • 1 - 4 ساختار پایان‌نامه
  • فصل2 : کار‌های مرتبط پیشین
    • 2 - 1 مقدمه
    • 2 - 2 پژوهش‌های پیشین
  • فصل3 تعریف مسأله
    • 3 - 1 مدل محاسبه
    • 3 - 2 سرورهای پردازشگر
    • 3 - 3 روند پردازش
    • 3 - 4 انتقال زیرمحاسبه‌ بین سرورها
  • فصل4 تخصیص منابع براساس شبکه صف
    • 4 - 1 طراحی شبکه
      • 4- 1 -1 کلاس واحدهای موجود در شبکه
      • 4- 1 -2 احتمال های مسیردهی
      • 4- 1 -3 معادلات ترافیک
    • 4 - 2 جواب به صورت ضربی
    • 4 - 3 به‌دست آوردن تأخیر متوسط
      • 4- 3 -1 متوسط تعداد مشتری مؤثر
      • 4- 3 -2 متوسط زمان خدمت مشتری
    • 4 - 4 حل مسأله‌ی بهینه‌سازی
  • فصل5 تخصیص منابع براساس یادگیری تقویتی عمیق
    • 5 - 1 مفهوم یادگیری تقویتی عمیق
      • 5- 1 -1 شبکه‌های عصبی
      • 5- 1 -2 یادگیری تقویتی عمیق
    • 5 - 2 بیان مسأله با یادگیری تقویتی عمیق
    • 5 - 3 حل مسأله‌ با یادگیری تقویتی عمیق
  • فصل6 نتایج شبیه‌سازی
    • 6 - 1 دقت مدل ارائه‌شده بر اساس شبکه‌ی صف
    • 6 - 2 پیاده‌سازی یادگیری تقویتی عمیق
    • 6 - 3 ارزیابی عملکرد سیاست‌های ارائه شده
  • فصل7 نتیجه گیری و فرصت‌های آینده
  • منابع و مراجع
  • پیوست1
...see more