LLM2D
使用 SPARK 进行预测:一种高效生成框架,用于在时间知识图预测中细化大语言模型
Ignite Forecasting with SPARK: An Efficient Generative Framework for Refining LLMs in Temporal Knowledge Graph Forecasting
作者: Gongzhu Yin, Hongli Zhang, Yi Luo, Yuchen Yang, Kun Lu, Chao Meng
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2503.22748v1

摘要

arXiv:2503.22748v1 类别: cross 摘要:时间知识图谱(TKG)预测对于利用历史数据预测未来事件至关重要。随着大型语言模型(LLMs)的兴起,最近的研究开始探索将其集成到TKG预测中,并取得了一定的成功。然而,它们仍然面临诸如输入长度有限、生成输出效率低下以及资源密集型精细调整等问题,这些问题削弱了它们的性能和实际适用性。为了解决这些限制,我们引入了SPARK,一种针对TKG预测中LLMs进行细化的序列级代理适应框架。受到控制生成时采用的推理时算法的启发,SPARK通过两个关键创新提供了一种成本效益高且即插即用的解决方案:(1) 集束序列级生成,将TKG预测重新定义为一个Top-K序列级生成任务,在单次前向传递中使用集束搜索高效地生成下一实体概率分布。(2) TKG细化适配器,采用传统的TKG模型作为可训练的代理适配器,利用全局图信息来精简LLM的输出,从而克服了输入长度和资源密集型微调问题。跨多种数据集的实验验证了SPARK的预测性能、强大的泛化能力和高效率。我们在https://github.com/yin-gz/SPARK发布源代码。