LLM2D
面向天然气需求预测的通用大型基础模型
Towards Universal Large-Scale Foundational Model for Natural Gas Demand Forecasting
发布日期: 9/25/2024
arXiv ID: oai:arXiv.org:2409.15794v1

摘要

在全球能源战略的背景下,准确的天然气需求预测对于确保资源高效配置和运营规划至关重要。传统预测方法难以应对不同行业和商业领域天然气消费模式日益复杂和多变的挑战。为了应对这些挑战,我们提出了第一个专门针对天然气需求预测的基础模型。基础模型以其跨任务和数据集泛化的能力而闻名,为传统方法的局限性提供了强大的解决方案,例如需要为不同的客户群体建立单独的模型以及其有限的泛化能力。我们的方法利用对比学习来提高现实世界场景中的预测精度,特别是通过解决历史消费数据中的噪声问题以及类似数据样本的潜在错误分类问题,这些问题会导致表示质量下降,从而影响下游预测任务的准确性。通过在对比学习框架中集成先进的噪声过滤技术,我们的模型提高了学习表示的质量,从而实现更准确的预测。此外,该模型在预训练期间经过行业特定微调,使其能够更好地捕捉不同行业天然气消费的独特特征。我们使用来自ENN集团的大规模数据集进行了大量实验,该数据集包含来自多个地区超过 10,000 个工业、商业和福利相关客户的数据。我们的模型优于现有的最先进方法,与最佳可用模型相比,MSE 相对提高了 3.68%,MASE 相对提高了 6.15%。