Loading...

Distributed Cache Management Using Reinforcement Learning based Strategies

Yousefi Ramandi, Amir Hossein | 2021

813 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 53814 (05)
  4. University: Sharif University of Technology
  5. Department: Electrical Engineering
  6. Advisor(s): Mir Mohseni, Mahtab; Maddah Ali, Mohammad Ali
  7. Abstract:
  8. Nowadays, video on demand causes a drastic increase in network traffic that it is expected that network traffic surpasses 45 exabytes per month until 2022; consequently, utilizing distributed memories known as caches across the network to alleviate the communication load during peak hours is inevitable. Coded caching is a promising approach to mitigate and smooth traffic during peak hours in the communication network in a way that it creates coded multicasting opportunities in addition to delivering content to users locally. However, it suffers from imposed delay resulting from coding that makes this approach infeasible for delay-sensitive contents, namely video streaming applications. So finding the optimal caching policy for such content is crucial.Artificial intelligence made a massive breakthrough in many tasks, such as computer vision, etc. On top of that, deep reinforcement learning(DRL) surpasses human performance in many decision-making tasks such as Atari video games and the AlphaGo. Our contribution in this thesis is to propose a DRL agent to apply coded caching for delay-sensitive content until finally increasing the quality of experience for users and reducing communication load jointly.More specifically, in this research, a simulation environment is created to model the dynamicity of caching systems in a realistic scenario then a smart Agent is trained using an artificial neural network to make the optimal decision(policy) in the mentioned environment to satisfy more and more requests of users in one coded multicast packet (one transmission) considering the delay constraint of each request
  9. Keywords:
  10. Network Traffic ; Policies ; Artificial Neural Network ; Agents ; Environment ; Artificial Intelligence ; Multicast ; Coded Caching ; Delay ; Deep Reinforcement Learning

 Digital Object List

 Bookmark

  • فهرست مطالب
  • فهرست جداول
  • فهرست تصاویر
  • مقدمه
    • پیشگفتار
    • دیدگاه‌های متفاوت مسئله ذخیره‌سازی موقت
    • اهداف پایان‌نامه
    • ساختار پایان‌نامه
  • مروری بر کار‌های انجام‌شده
    • مقدمه
    • مدل‌سازی ترافیک درخواست‌ها
      • مدل‌سازی با استفاده از فرآیند تصادفی پواسون دوگانه
      • IRM
      • مدل SNM
    • روش‌های جایگزینی فایل در حافظه‌های موقت
      • روش LFU
      • روشLRU
      • روشLFRU
      • روشARC
    • ذخیره‌سازی موقت در شبکه‌های مخابراتی
      • ذخیره‌سازی موقت با استفاده از کدگذاری
      • ذخیره سازی موقت در شبکه‌های بیسیم و ناهمگون
      • ذخیره سازی موقت مبتنی بر هوش مصنوعی در شبکه‌های موبایلی لبه
    • نتیجه گیری
  • سیاست بهینه با استفاده از DRL
    • مقدمه
    • یادگیری عمیق
      • شبکه‌های عصبی مصنوعی
      • شبکه‌های عصبی پیچشی
      • شبکه‌های عصبی بازگشتی
    • یادگیری تقویتی
      • DQN
      • گرادیان سیاست
      • عملگر منتقد
    • مدل‌سازی مسئله با DRL
      • محیط
      • عامل هوشمند
    • نتیجه گیری
  • شبیه‌سازی و نتایج عددی
    • مقدمه
    • نمودار بهره‌کد بر حسب تعداد اپیزود در شبکه Dueling DQN
    • نمودار بهره‌کد بر حسب تعداد اپیزود در عامل عملگر منتقد
      • عامل DAAC
      • S2SAC عامل
      • عامل DAUC
      • عامل PPO
    • نتیجه‌گیری
    • پیشنهاد کارهاي پژوهشی آینده
  • مراجع
  • چکیده‌ی انگلیسی
...see more