Loading...

Optimal Control of Unknown Interconnected Systems via Distributed Learning

Farjadnasab, Milad | 2020

777 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 53561 (05)
  4. University: Sharif University of Technology
  5. Department: Electrical Engineering
  6. Advisor(s): Babazadeh, Maryam
  7. Abstract:
  8. This thesis addresses the problem of optimal distributed control of unknown interconnected systems. In order to deal with this problem, a data-driven learning framework for finding the optimal centralized and the suboptimal distributed controllers has been developed via convex optimization.First of all, the linear quadratic regulation (LQR) problem is formulated into a nonconvex optimization problem. Using Lagrangian duality theories, a semidefinite program is then developed that requires information about the system dynamics. It is shown that the optimal solution to this problem is independent of the initial conditions and represents the Q-function, an important concept in reinforcement learning algorithms.In the second step, a completely model-free approach is developed that guarantees finding the optimal controller using only a set number of data samples of the system’s state and input trajectories. Unlike the existing model-free algorithms such as Q-learning, the proposed algorithm is non-iterative in nature. This approach is then extended to the design of distributed controllers using star and distributed design graphs.Finally, the performance of the proposed approach is tested on a number of example systems, including the benchmark IEEE New England power system. Simulation results indicate that the proposed framework has found the optimal controller in the case of centralized control, and a suboptimal controller in the case of distributed control, without any knowledge of subsystems’ dynamics and with a higher speed and accuracy than the existing model-free iterative approaches
  9. Keywords:
  10. Q-Learning ; Interconnected System ; Optimal Control ; Convex Optimization ; Reinforcement Learning ; Semidefinite Optimization

 Digital Object List

 Bookmark

  • مقدمه
    • پیش‌گفتار
    • مروری بر کارهای انجام شده
      • کنترل سیستم‌های متصل‌به‌هم
      • کنترل بهینه مبتنی بر داده
    • نوآوری‌های پایان‌نامه
    • ساختار پایان‌نامه
  • مفاهیم مقدماتی و پیش‌زمینه‌های پژوهش
    • بهینه‌سازی عملکرد سیستم کنترل به کمک یادگیری تقویتی
      • کنترل بهینه سیستم‌های گسسته‌زمان
      • اصل بهینگی بلمن و برنامه‌ریزی پویا
      • الگوریتم‌های Policy Iteration و Value Iteration
      • الگوریتم‌های PI و VI برای حل مسئله LQR
      • حل مسئله LQR به کمک Q-learning
    • مفاهیمی مقدماتی از نظریه گراف و سیستم‌های متصل‌به‌هم
    • کنترل توزیع‌یافته‌ سیستم‌های متصل‌به‌هم از طریق یک الگوریتم یادگیری تقویتی تکراری
      • مسئله LQR برای سیستم‌های متصل‌به‌هم
      • الگوریتم Q-learning توزیع‌یافته مبتنی بر PI
  • ارائه رویکردی در یادگیری بر مبنای داده با استفاده از بهینه‌سازی محدب
    • تعیین تابع Q در ساختار متمرکز کنترلی بر اساس بهینه‌سازی نیمه‌معین
    • بهینه‌سازی محدب مبتنی بر داده برای یادگیری تابع Q
    • کنترل توزیع‌یافته سیستم‌های متصل‌به‌هم با گراف طراحی ستاره
    • کنترل توزیع‌یافته سیستم‌های متصل‌به‌هم با گراف طراحی توزیع‌یافته
    • مزایا و قابلیت‌های این روش
  • شبیه‌سازی و تحلیل نتایج
    • شبیه‌سازی بر روی انواع سیستم‌های نمونه
      • کنترل متمرکز
      • کنترل توزیع‌یافته با طراحی ستاره
      • کنترل توزیع‌یافته با طراحی توزیع‌یافته
    • شبیه‌سازی یک شبکه قدرت
      • کنترل متمرکز
      • کنترل توزیع‌یافته با طراحی ستاره
      • کنترل توزیع‌یافته با طراحی توزیع‌یافته
    • کنترل سیستم‌های غیرخطی حول نقطه کار با استفاده از رویکرد پیشنهادی
  • جمع‌بندی و پیشنهادات
    • جمع‌بندی
    • پیشنهادات
  • مراجع
...see more