LLM2D
基于强化学习、模型预测控制和决策树的家庭能源管理系统的真实世界验证
Real-world validation of safe reinforcement learning, model predictive control and decision tree-based home energy management systems
作者: Julian Ruddick, Glenn Ceusters, Gilles Van Kriekinge, Evgenii Genov, Cedric De Cauwer, Thierry Coosemans, Maarten Messagie
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2408.07435v2

摘要

近年来,基于机器学习的能源管理方法(特别是带有安全层(OptLayerPolicy)的强化学习和生成决策树控制策略的元启发式算法(TreeC))取得了进展,但其有效性仅在计算机模拟中得到验证。本文介绍了这些方法的实际验证结果,并将其与模型预测控制和简单的基于规则的控制基准进行了比较。实验在4个住宅复制品的电气安装上进行,每个住宅都拥有自己的电池、光伏系统和动态负载系统,模拟不可控的电力负荷和可控的电动汽车充电器。结果表明,简单的规则、TreeC和基于模型预测控制的方法实现了相似的成本,差异仅为0.6%。基于强化学习的方法(仍在训练阶段)的成本比其他方法高出25.5%。额外的模拟表明,通过使用更具代表性的TreeC训练数据集以及解决模型预测控制实现中由于依赖各种来源的准确数据而造成的错误,可以进一步降低成本。OptLayerPolicy安全层允许在真实环境中对强化学习智能体进行安全的在线训练,前提是准确的约束函数公式。然而,所提出的安全层方法仍然容易出错,但对于所有研究的方法都很有益。TreeC方法不需要构建真实的训练模拟,表现出最安全的运行性能,与强化学习相比,其超过电网限制的电量仅为27.1 Wh,而强化学习为593.9 Wh。