Loading...

Mobility Aware Intelligent Reflecting Surfaces Assisted Communications : A Deep Reinforcement Learning Approach

Mohammadzadeh, Amir Hossein | 2025

0 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 58329 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Jafari Siavoshani, Mahdi
  7. Abstract:
  8. The stacked intelligent metasurface has been introduced as an innovative technology in signal processing, enabling the rapid and instantaneous control of electromagnetic waves at the speed of light. In this research, the performance of a wireless system is investigated, where a tunable reconfigurable intelligent surface facilitates communication between a base station equipped with a stacked intelligent metasurface and downstream users, in scenarios where the line-of-sight link is unavailable. One of the main motivations for using stacked intelligent metasurfaces is the reduction in energy consumption, as their presence eliminates the need for radio frequency chains. Unlike traditional communication systems, beamforming in this structure is achieved in the wave domain through the optimized electromagnetic response of the stacked intelligent metasurface. To evaluate the system's performance, a resource allocation optimization problem has been defined, with the objective of maximizing the total data rate of the system under constraints of quality of service and base station transmission power budget. Due to the complexity and nonlinear dependence of the variables, this problem is rewritten as a Markov decision process and optimized using the twin delayed deep deterministic policy gradient algorithm. Moreover, to enhance adaptability to network dynamics and terminal mobility, the algorithm is trained through meta reinforcement learning. Numerical results show that the use of a tunable reconfigurable intelligent surface, combined with a stacked intelligent metasurface, increases the total system data rate by up to 20% compared to baseline methods. Furthermore, increasing the number of metasurface layers from 3 to 4 leads to a 50% improvement in data rate, while further increases in layers lead to performance saturation. Additionally, the proposed algorithm demonstrates faster convergence and less than 10% performance degradation under channel state information (CSI) uncertainty, compared to similar algorithms
  9. Keywords:
  10. Reconfigurable Intelligent Surface (RIS) ; Twin Delayed Deep Deterministic Policy Gradient (TD3)Algorithm ; Metalearning ; Stacked Intelligent Metasurface (SIM) ; Deep Reinforcement Learning ; Mobility Aware Algorithm

 Digital Object List

 Bookmark

  • مقدمه
    • زمینه تحقیق
    • ضرورت تحقیق
    • هدف تحقیق
    • ساختار پایان‌نامه
    • جمع‌بندی
  • مروری بر تحقیقات پیشین
    • مقدمه
    • شبکه‌های بی‌سیم نسل ششم
      • ویژگی‌های جدید در شبکه‌های نسل ششم
    • سطح هوشمند قابل تنظیم
    • فراصفحه هوشمند چندلایه
    • یادگیری تقویتی عمیق در شبکه‌های بی‌سیم
    • یادگیری تقویتی
    • یادگیری اعمال
    • یادگیری Q
      • تابع Q
      • الگوریتم یادگیری Q
      • محیط‌های غیرقطعی و پاداش‌های تصادفی
      • تعریف تابع Q در حالت غیرقطعی
      • یادگیری Q عمیق
      • شبکه‌های عصبی عمیق
      • نقش شبکه‌های عصبی عمیق در یادگیری تعاملی
      • روش بازیگر-نقاد
      • الگوریتم گرادیان‌های سیاست قطعی عمیق
    • تقریب متوالی محدب
    • نتیجه‌گیری
    • جمع‌بندی
  • مدل سیستم و روش پیشنهادی
    • مقدمه
    • مدل سیستم تعریف شده
    • فرمول‌بندی مسئله
      • تابع هدف بهینه‌سازی
    • راه حل بر اساس یادگیری تقویتی برای مسئله طرح شده
      • نمایش مسئله به صورت فرآیند تصمیم‌گیری مارکوف
      • چرا یادگیری تقویتی برای این مسئله مناسب است؟
      • نتیجه‌گیری
    • الگوریتم گرادیان‌های سیاست قطعی عمیق با دو تأخیر و فرایادگیری
      • ضرورت فرایادگیری در شبکه‌های بی‌سیم پویا
      • (TD3)الگوریتم گرادیان‌های سیاست قطعی عمیق با دو تأخیر
      • الگوریتم فراگرادیان‌های سیاست قطعی عمیق با دو تأخیر
    • تشریح الگوریتم فراگرادیان‌های سیاست قطعی عمیق با دو تأخیر و فرآیند آموزش دو سطحی
      • تحلیل پیچیدگی محاسباتی
      • نکات اجرایی و پیاده‌سازی
    • تقریب محدب متوالی
    • جمع‌بندی
  • نتایج
    • مقدمه
    • نحوه شبیه‌سازی
    • نتایج شبیه‌سازی
    • جمع‌بندی
  • نتیجه‌گیری و کارهای آتی
    • جمع‌بندی و نتیجه‌گیری
    • پیشنهادها و کارهای آتی
  • مراجع
  • واژه‌نامه
...see more