Loading...
- Type of Document: M.Sc. Thesis
- Language: Farsi
- Document No: 55679 (46)
- University: Sharif University of Technology
- Department: Energy Engineering
- Advisor(s): Boroushaki, Mehrdad
- Abstract:
- Hybrid electric vehicles (HEV) are proving to be one of the most promising innovations in advanced transportation systems to reduce air pollution and fossil fuel consumption. EMS is one of the most vital aspects of the HEV powertrain system. This research aims to design an optimal EMS under the condition of meeting the goals of drivability control, fuel consumption reduction, and battery charge stability. The current EMS is based on the classical rule-based method derived from fuzzy logic, which guides to the suboptimal solution in episodic driving cycles. Previous experiences in implementing Reinforcement Learning (RL) suffer from late convergence, instability in tracking the driving cycles, and undesired performance under real driving conditions. This research presents an intelligent EMS based on the hybridization of an expert Knowledge-Assisted system with the Deep Deterministic Policy Gradient (KA-DDPG) and Deep Q-Network (KA-DQN) to overcome the RL difficulties and obtain the optimal EMS actions under different driving conditions. The simulation results show reduce computation time, reduce fuel consumption between 3.15% to 7.26%, and retain SoC's stability which leads to longer battery life by KA-DDPG and KA-DQN. The proposed method improves the average negative electric motor torque between 1.29% to 3.16% and leads to more energy savings. This research was done on the Prius Sedan model.
- Keywords:
- Hybrid Electric Vehicle (HEV) ; Deep Deterministic Policy Gradient ; Knowledge Argument ; Deep Reinforcement Learning ; Energy Management Standards ; Energy Management
- محتواي کتاب
- view
-
-
-
-
- به نام خداوند بخشنده مهربان
-
-
-
- _Hlk115383297
- _Toc524259659
- فصل١: معرفی پژوهش.........................................................................................................................................................1
- 3-3 حالتهای عملیاتی اتومبیل هیبرید سری-موازی پریوس..................................................................................................................41
- 3-4 مدل پیشرانه قدرت اتومبیل هیبرید سری - موازی پریوس..............................................................................................................43
- 3-5 مدل تقاضا توان اتومبیل هیبرید سری-موازی پریوس.......................................................................................................................46
- 3-8 مدل اتومبیل هیبرید سری – موازی پریوس در شبیه ساز ادوایزر.................................................................................................56
- فصل4: استراتژی مدیریت انرژی در اتومبیل هیبرید......................................................................................................58
- فصل5: رویکرد DRL به کمک دانش در استراتژی مدیریت انرژی.................................................................................66
- Fig_cont
- F6_14
- T_cont
- فصل١: معرفی پژوهش
- ch1
- ch1_1
- ch1_2
- F1_1
- F1_2
- F1_3
- ch1_3
- ch1_4
- فصل2: آشنایی با یادگیری تقویتی عمیق
- ch2
- ch2_1
- ch2_1_1
- F2_1
- ch2_1_2
- ch2_1_3
- به طور مشابه، تابع ارزش عمل qπ ارزش هر عمل معین at با سیاست در حالت معین st را مقداردهی میکند. مقدار این تابع همان پاداش مورد انتظار از شروع از حالت s در زمان t، در صورت انجام عمل at با دنبال کردن سیاست π است:
- در نهایت، میتوان تابع مزیت حالت - عمل را به صورت زیر تعریف کرد:
- 2-7 , = , − ()
- الگوریتمهای یادگیری تقویتی، سیاستهای بهینه را یاد میگیرند که توسط توابع ارزش حالت و ارزش عمل ارزیابی شده باشند، بدین معنی که سیاست بهینه با تابع ارزش حالت بهینه و ارزش عمل بهینه در ارتباط است:
- ch2_1_4_ex
- ch2_1_5_greedy
- ch2_1_4
- ch2_1_6_1
- F2_2_Policy_iteration
- روش Q-learning
- یکی از روشهای اصلی مبتنی بر ارزش، روش Q-learning است که برای یادگیری و پیدا کردن سیاست بهینه از مقدار تابع Qπ استفاده میکند.
- در Q-learning از یک جدول برای مدلسازی ارزش جفتهای حالت - عمل مختلف استفاده میشود و هدف این روش، به روزرسانی این جدول با استفاده از روش تفاوت زمانی است تا جایی که همگرایی حاصل گردد. منظور از همگرایی این است که بعد از مدت زمان خاصی، تغییرات جدول نامحسوس شود و با تقریب خوبی بتوان حدس زد که جدول به جدول بهینه نزدیک شده است.
- ch2_1_6_2
- ch2_2
- T_REINFORCE
- F2_2
- ch2_2_1
- ch2_2_2
- F2_3
- ch2_2_3
- ch2_3
- F2_4
- ch2_3_1
- ch2_3_2
- T2_1
- ch2_4
- ch2_5
- F2_5
- T2_2
- ch2_6
- F2_6
- F2_7
- T2_3
- F2_8
- فصل3: معرفی ساختار اتومبیل هیبرید پریوس
- ch3
- ch3_1
- ch3_2
- ch3_2_1
- F3_1
- ch3_2_1_1
- ch3_2_1_2
- ch3_2_2
- ch3_2_2_1
- ch3_2_2_2
- F3_2
- ch3_2_3
- F3_3
- ch3_2_3_1
- ch3_2_3_2
- F3_4
- F3_5
- 3-3 حالتهای عملیاتی اتومبیل هیبرید سری - موازی پریوس
- ch3_3
- F3_6
- F3_7
- 3-4 مدل پیشرانه قدرت اتومبیل هیبرید سری - موازی پریوس
- ch3_4
- F3_8
- F3_9
- F3_10
- 3-5 مدل تقاضا توان اتومبیل هیبرید سری - موازی پریوس
- ch3_5
- Eq3_4
- Eq3_9
- F3_11
- ch3_5_1
- ch3_5_1_1
- F3_12
- T3_1
- ch3_5_1_2
- F3_13
- T3_2
- ch3_5_1_3
- ch3_6
- F3_14
- T3_3
- ch3_7
- T3_4
- 3-8 مدل اتومبیل هیبرید سری – موازی پریوس در شبیه ساز ادوایزر
- ch3_8
- ch4
- فصل4: استراتژی مدیریت انرژی در اتومبیل هیبرید
- ch4_1
- ch4_2
- F4_1
- T4_1
- F4_2_TSR
- F4_2
- ch4_3
- F4_3
- F4_4
- F4_5
- فصل5: رویکرد DRL به کمک دانش در استراتژی مدیریت انرژی اتومبیل هیبرید
- ch5
- ch5_1
- ch5_2
- F5_1
- T5_1
- T5_2
- _Hlk113486946
- ch5_2_1
- ch5_2_2
- T5_3
- T5_4
- F5_2
- F5_3
- F5_4
- ch6
- ch6_1
- T6_1
- F6_1
- F6_2
- F6_3
- F6_4
- F6_5
- F6_6
- F6_7
- F6_8
- ch6_4
- T3
- T6_2
- F6_9
- F6_10
- F6_11
- F6_12
- F6_13
- ch6_2
- F6_15Advisor_speed
- ch6_5
- F6_16_speed_test_1
- F6_17_speed_test_2
- ch6_6
- F6_15
- F6_16
- F6_17
- ch7
- T6_3
- ch8
- ch8_3
- ch9
- ch9_1
- F_p1
- F_p2
- F_p4
- F_p5
- F_p6
- F_p7
- ref
- _Hlk112277029