摘要
arXiv:2504.02094v1 类型:交叉
摘要:准确的交通流量预测对于优化城市流动性至关重要,但由于复杂的时空依赖性和有限的高质量数据,在许多城市中仍是一个挑战。尽管基于深层图的模型展示了强大的预测能力,但它们的性能通常伴随着高额的计算开销和大量的训练数据需求,这使得它们在资源受限或数据稀缺的环境中难以部署。我们提出了FlowDistill,这是一种基于大规模语言模型(LLMs)知识蒸馏的轻量级且可扩展的交通预测框架。在这个老师-学生设置中,一个微调后的LLM使用一种新颖的信息瓶颈原则和教师约束回归损失的组合,引导一个紧凑的多层感知器(MLP)学生模型,确保提取模型只保留必要的可迁移知识。空间和时间关联性被明确编码,以增强模型在不同城市环境中的泛化能力。尽管设计简单,FlowDistill 在预测准确性方面仍能够持续超越最先进的模型,所需训练数据大幅减少,同时实现更低的内存使用和推理延迟,突显了其效率和适用于实际应用、可扩展部署的适用性。