• مقدمه (11)
  • مطالعات پیشین (13)
  • کارهای انجام شده (16)
  • ساختار پایان‌نامه (17)
• سپهر انرژی و مدل سازی آن (19)
  • مدل یک سپهر انرژی ساده (20)
    • سیستم تولید همزمان برق و حرارت (21)
    • قرار دادن چیلر جذبی برای تبدیل انرژی حرارتی به سرمایشی (25)
  • ساختار شبکه‌ی گاز (26)
    • کیفیت گاز رسیده به مشترک نهایی (27)
    • ایستگاه رگولاتور (28)
    • شیرهای اتصال (28)
    • ارتباط بین شبکه‌ی برق و گاز (29)
  • معادلات پخش بار شبکه‌ی گاز (30)
• هوشمند سازی سپهر انرژی (32)
  • شبکه‌ی ارتباطی داخل و بیرون سپهر انرژی (32)
    • تعاریف پایه‌ای یک شبکه (33)
    • استانداردهای سری IEEE802 (35)
    • پریزهای برق هوشمند برای شبکه‌ی داخل سپهر هوشمند انرژی (35)
  • کنتورهای هوشمند و سیستم مدیریت انرژی (36)
  • استفاده از رایانش ابری در شبکه‌ی ارتباطی بیرون سپهر انرژی (38)
    • پیاده‌سازی چارچوب رایانش ابری در سیستم مدیریت بار (40)
    • تعداد پیام‌های مبادله شده در ساختار رایانش ابری (43)
• پاسخگویی بار در سپهر هوشمند انرژی (45)
  • تقسیم بندی انواع مدیریت سمت بار (46)
    • برنامه‌های پاسخگویی بار برمبنای تشویق (47)
    • برنامه‌های پاسخگویی بار برمبنای قیمت (48)
  • مدیریت جامع سمت بار (49)
• کنترل بهینه‌ی یک سپهر هوشمند انرژی با روش یادگیری تقویتی (51)
  • آشنایی با الگوریتم‌‌های یادگیری تقویتی و برنامه‌ریزی پویا (51)
    • عملکرد کلی روش یادگیری تقویتی (52)
    • مزیت‌های روش یادگیری تقویتی (54)
  • عناصر مدل‌سازی با روش یادگیری تقویتی (55)
    • تعریف متغیرها و پارامترهای مبدل‌ها، ذخیره‌کننده‌ها و بارهای یک سپهر هوشمند انرژی خانگی (56)
    • متغیر کنترل سیستم تولید همزمان و بویلر (58)
    • متغیر کنترل باتری ماشین هیبریدی (59)
    • متغیرهای کنترل وسایل خانگی (60)
    • نارضایتی ایجاد شده از اجرای برنامه‌ی مدیریت سمت تقاضا (62)
    • سیگنال‌های حالت و حرکت سپهر هوشمند انرژی خانگی (63)
  • تابع پاداش مساله (65)
    • تعریف استراتژی (65)
  • مدل مارکوف سیگنال‌های حالت و حرکت (67)
    • تعریف ویژگی مارکوف (67)
    • تجزیه ی مسئله به چند زیر مساله (68)
    • تابع انتقال احتمالی وسایل خانه (69)
    • تابع انتقال احتمالی سیستم تولید همزمان (71)
    • تابع انتقال احتمالی ماشین هیبریدی (72)
  • ارزش استراتژی در حالت‌های مختلف برای عامل‌ها (73)
    • تعریف استراتژی بهینه (74)
  • پیدا کردن استراتژی بهینه با استفاده از الگوریتم پیشنهاد شده (75)
    • روش یادگیری مونت کارلو برای عامل سیستم تولید همزمان (76)
    • روش یادگیری تابع Q برای عوامل وسایل خانگی (78)
    • روش یادگیری تابع Q با اثر شایستگی برای عامل ماشین هیبریدی (79)
  • سیستم شبیه سازی شده (80)
    • پارامترهای مدل مارکوف قیمت‌های حامل‌های انرژی (82)
    • پارامترهای مدل مارکوف روشن شدن وسایل خانگی (84)
    • پارامترهای مدل مارکوف وصل شدن به شبکه‌ی ماشین هیبریدی (85)
    • مشخصات وسایل خانگی شبیه سازی شده (85)
    • مشخصات باتری ماشین هیبریدی شبیه سازی شده (87)
    • اندازه‌ی بار در یک روز نمونه (88)
    • مشخصات مبدل‌های شبیه سازی شده (88)
    • پارامترهای عامل‌های پیاده شده (88)
    • عملکرد عامل سیستم تولید همزمان (90)
    • عملکرد عامل ماشین هیبریدی (91)
    • عملکرد تمامی عامل‌ها (92)
• جمع بندی (95)
• مراجع (103)