LLM2D
FlowDistill:来自LLMs的 distillation 知识规模化交通流预测
FlowDistill: Scalable Traffic Flow Prediction via Distillation from LLMs
作者: Chenyang Yu, Xinpeng Xie, Yan Huang, Chenxi Qiu
发布日期: 4/4/2025
arXiv ID: oai:arXiv.org:2504.02094v1

摘要

arXiv:2504.02094v1 类型:交叉 摘要:准确的交通流量预测对于优化城市流动性至关重要,但由于复杂的时空依赖性和有限的高质量数据,在许多城市中仍是一个挑战。尽管基于深层图的模型展示了强大的预测能力,但它们的性能通常伴随着高额的计算开销和大量的训练数据需求,这使得它们在资源受限或数据稀缺的环境中难以部署。我们提出了FlowDistill,这是一种基于大规模语言模型(LLMs)知识蒸馏的轻量级且可扩展的交通预测框架。在这个老师-学生设置中,一个微调后的LLM使用一种新颖的信息瓶颈原则和教师约束回归损失的组合,引导一个紧凑的多层感知器(MLP)学生模型,确保提取模型只保留必要的可迁移知识。空间和时间关联性被明确编码,以增强模型在不同城市环境中的泛化能力。尽管设计简单,FlowDistill 在预测准确性方面仍能够持续超越最先进的模型,所需训练数据大幅减少,同时实现更低的内存使用和推理延迟,突显了其效率和适用于实际应用、可扩展部署的适用性。