LLM2D
电力系统基础模型:PowerPM
PowerPM: Foundation Model for Power Systems
作者: Shihao Tu, Yupeng Zhang, Jing Zhang, Zhendong Fu, Yin Zhang, Yang Yang
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2408.04057v3

摘要

大量电力时间序列 (ETS) 数据的出现为电力系统中的各种应用提供了充足的机会,包括需求侧管理、电网稳定性和消费者行为分析。深度学习模型通过有效地捕获序列依赖性,推动了 ETS 建模的进步。然而,由于 ETS 数据的固有复杂层次结构,学习 ETS 数据的通用表示以用于各种应用仍然具有挑战性。此外,ETS 数据表现出复杂的时序依赖性,并且容易受到外生变量的影响。此外,不同的实例表现出不同的电力消耗行为。在本文中,我们提出了一种基础模型 PowerPM 来对 ETS 数据进行建模,为电力系统提供了一个大规模的现成模型。PowerPM 包含一个时序编码器和一个层次编码器。时序编码器捕获 ETS 数据中的时序依赖性,同时考虑外生变量。层次编码器对层次之间的相关性进行建模。此外,PowerPM 利用一种新颖的自监督预训练框架,该框架包括掩蔽 ETS 建模和双视图对比学习,这使得 PowerPM 能够捕获 ETS 窗口内的时序依赖性,并了解 ETS 窗口之间的差异,从而提供两种不同的视角来学习通用表示。我们的实验涉及五个真实世界场景数据集,包括私有数据和公共数据。通过在海量 ETS 数据上进行预训练,PowerPM 在私有数据集中的各种下游任务上实现了 SOTA 性能。令人印象深刻的是,当迁移到公共数据集时,PowerPM 保持了其优越性,展示了其在各种任务和领域中的显著泛化能力。此外,消融研究、少样本实验为我们模型的有效性提供了更多证据。