摘要
arXiv:2501.00152v2 宣告类型: replace-cross
摘要:本文探讨了增强大型语言模型(LLMs)的 temporal 理解能力是否能够提高时间线总结的质量,时间线总结的任务是总结包含事件序列的长文本,例如社交媒体线程。首先,我们介绍了一个名为 NarrativeReason 的新数据集,重点关注叙述中序列事件之间的 temporal 关系,区别于现有的主要处理事件对之间关系的 temporal 理解数据集。然后,我们的方法通过知识蒸馏框架将 temporal 理解与时间线总结相结合,在此框架下,我们首先在 temporal 理解任务上微调一个导师模型,然后将这些知识蒸馏到一个学生模型中,并同时训练该学生模型以完成时间线总结任务。实验结果表明,我们的模型在涉及长社交媒体线程、事件重复以及情感混合的时间线总结领域外的精神健康相关任务中实现了更好的性能,突显了利用 temporal 理解提高时间线总结质量的重要性及其普遍适用性。