Loading...

Optimizing Smart Energy Hub Operation by Reinforcement Learning Approach

Rayati, Mohammad | 2015

896 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 47420 (05)
  4. University: Sharif University of Technology
  5. Department: Electrical Engineering
  6. Advisor(s): Ranjbar, Ali Mohammad
  7. Abstract:
  8. Nowadays, demands increment is one of the greatest concerns of energy systems operators. Consequently, enhancing the efficiency of consumption is an inevitable goal, which leads us to a concept named as energy hub (EH). In a simple definition, an EH is a multi-generation system where different energy carriers are converted and stored by various devices such as combined cooling, heating and power (CCHP), battery, and boiler to meet the load demands. In addition, with advent of smart grids (SG), demand side management (DSM) becomes one of the effective techniques with significant role in optimizing energy systems performance. DSM commonly refers to methods implemented by utility companies to reduce or shift the energy consumption at customers’ side. It is worth mentioning that DSM programs fall in short in a system with only must-run loads, i.e. with strict energy consumption scheduling constraints. The current thesis addresses the short coming of DSM by introducing a new concept entitled Smart Energy Hub (S.E. Hub) enabling customers, even those with only must-run loads, to be active in DSM programs. In this thesis, a fully automated demand side management program is proposed based on a reinforcement learning (RL) algorithm to motivate customers for reducing peak load in electricity network. RL is one of machine intelligence techniques proposing to solve the real-world problem with dynamic environment, such as electricity, heating, cooling loads, and prices. RL is the study of programs that adapt a learner to an unknown and dynamic environment by receiving rewards and punishments from the environment. The proposed method has a benefit over most of the earlier works in a sense that it does not require any parameters of the system. The proposed method determines the customers’ satisfaction function, energy carrier prices, and appliances efficiencies based on customers’ historical actions. Simulations are performed for the sample model and results depict how much of each energy carrier the S.E. Hub should consume and how they should be converted to meet the load at S.E. Hub’s outputs. It is also shown that the proposed RL algorithm reduces customer’s energy bill and electrical peak load up to 20 % and 24 %, respectively
  9. Keywords:
  10. Optimization ; Smart Power Grid ; Reinforcement Learning ; Demand Side Mangement ; Energy Hub ; Smart Energy Hub

 Digital Object List

 Bookmark

  • مقدمه
    • مطالعات پیشین
    • کارهای انجام شده
    • ساختار پایان‌نامه
  • سپهر انرژی و مدل سازی آن
    • مدل یک سپهر انرژی ساده
      • سیستم تولید همزمان برق و حرارت
      • قرار دادن چیلر جذبی برای تبدیل انرژی حرارتی به سرمایشی
    • ساختار شبکه‌ی گاز
      • کیفیت گاز رسیده به مشترک نهایی
      • ایستگاه رگولاتور
      • شیرهای اتصال
      • ارتباط بین شبکه‌ی برق و گاز
    • معادلات پخش بار شبکه‌ی گاز
  • هوشمند سازی سپهر انرژی
    • شبکه‌ی ارتباطی داخل و بیرون سپهر انرژی
      • تعاریف پایه‌ای یک شبکه
      • استانداردهای سری IEEE802
      • پریزهای برق هوشمند برای شبکه‌ی داخل سپهر هوشمند انرژی
    • کنتورهای هوشمند و سیستم مدیریت انرژی
    • استفاده از رایانش ابری در شبکه‌ی ارتباطی بیرون سپهر انرژی
      • پیاده‌سازی چارچوب رایانش ابری در سیستم مدیریت بار
      • تعداد پیام‌های مبادله شده در ساختار رایانش ابری
  • پاسخگویی بار در سپهر هوشمند انرژی
    • تقسیم بندی انواع مدیریت سمت بار
      • برنامه‌های پاسخگویی بار برمبنای تشویق
      • برنامه‌های پاسخگویی بار برمبنای قیمت
    • مدیریت جامع سمت بار
  • کنترل بهینه‌ی یک سپهر هوشمند انرژی با روش یادگیری تقویتی
    • آشنایی با الگوریتم‌‌های یادگیری تقویتی و برنامه‌ریزی پویا
      • عملکرد کلی روش یادگیری تقویتی
      • مزیت‌های روش یادگیری تقویتی
    • عناصر مدل‌سازی با روش یادگیری تقویتی
      • تعریف متغیرها و پارامترهای مبدل‌ها، ذخیره‌کننده‌ها و بارهای یک سپهر هوشمند انرژی خانگی
      • متغیر کنترل سیستم تولید همزمان و بویلر
      • متغیر کنترل باتری ماشین هیبریدی
      • متغیرهای کنترل وسایل خانگی
      • نارضایتی ایجاد شده از اجرای برنامه‌ی مدیریت سمت تقاضا
      • سیگنال‌های حالت و حرکت سپهر هوشمند انرژی خانگی
    • تابع پاداش مساله
      • تعریف استراتژی
    • مدل مارکوف سیگنال‌های حالت و حرکت
      • تعریف ویژگی مارکوف
      • تجزیه ی مسئله به چند زیر مساله
      • تابع انتقال احتمالی وسایل خانه
      • تابع انتقال احتمالی سیستم تولید همزمان
      • تابع انتقال احتمالی ماشین هیبریدی
    • ارزش استراتژی در حالت‌های مختلف برای عامل‌ها
      • تعریف استراتژی بهینه
    • پیدا کردن استراتژی بهینه با استفاده از الگوریتم پیشنهاد شده
      • روش یادگیری مونت کارلو برای عامل سیستم تولید همزمان
      • روش یادگیری تابع Q برای عوامل وسایل خانگی
      • روش یادگیری تابع Q با اثر شایستگی برای عامل ماشین هیبریدی
    • سیستم شبیه سازی شده
      • پارامترهای مدل مارکوف قیمت‌های حامل‌های انرژی
      • پارامترهای مدل مارکوف روشن شدن وسایل خانگی
      • پارامترهای مدل مارکوف وصل شدن به شبکه‌ی ماشین هیبریدی
      • مشخصات وسایل خانگی شبیه سازی شده
      • مشخصات باتری ماشین هیبریدی شبیه سازی شده
      • اندازه‌ی بار در یک روز نمونه
      • مشخصات مبدل‌های شبیه سازی شده
      • پارامترهای عامل‌های پیاده شده
      • عملکرد عامل سیستم تولید همزمان
      • عملکرد عامل ماشین هیبریدی
      • عملکرد تمامی عامل‌ها
  • جمع بندی
  • مراجع
...see more