LLM2D
重新思考时间编码通过可学习转换函数
Rethinking Time Encoding via Learnable Transformation Functions
作者: Xi Chen, Yateng Tang, Jiarong Xu, Jiawei Zhang, Siwei Zhang, Sijia Peng, Xuehao Zheng, Yun Xiong
发布日期: 5/15/2025
arXiv ID: oai:arXiv.org:2505.00887v2

摘要

arXiv:2505.00887v2 通告类型: replace-cross 摘要:有效地建模时间信息并将其纳入涉及时间顺序事件的应用或模型中至关重要。现实世界的情景通常涉及多样且复杂的时序模式,这对时间编码方法提出了重大挑战。虽然之前的方法专注于捕捉时序模式,但许多方法依赖于特定的归纳偏置,如使用三角函数来建模周期性。这种专注于单一模式建模的做法使它们在处理现实世界时间模式的多样性和复杂性方面不够有效。在本文中,我们研究了如何改进现有的常用时间编码方法,并引入了可学习转换基通用时间编码(LeTE)。我们提出了使用深度函数学习技术参数化时间编码中的非线性变换,使其成为可学习的,并能够建模通用时序模式,包括多样化和复杂的时序动态。通过启用可学习的变换,LeTE将之前的方法作为特定情况包含在内,并能够无缝集成到广泛的任务中。通过跨不同领域的广泛实验,我们展示了LeTE的多样性和有效性。