摘要
arXiv:2502.08662v1 宣告类型: cross
摘要: 缓解语言模型(LMs)对于列表输入的位置偏差是一个众所周知且重要的问题(例如,迷失在中间)。虽然已经提出了零shot的不变序列表际模型来解决这一问题,但在实际列表问题上的成功却有限。在本文中,作为第一个贡献,我们识别并克服了两个限制,使零shot的不变序列表际模型更加实用:(1)由于修改位置ID分配以强制执行不变性而引起的训练和推理分布不匹配,以及(2)无法适应实际列表问题中混合的不变序和敏感输入。为了解决这些问题,我们提出:(1)RoToR,一种对于真正不变序输入的零shot不变序列表际模型,仅对位置ID进行最小的修改,以及(2)选择性路由,一种适应性框架,能够处理列表任务中不变序和有序敏感输入。我们在Lost in the middle(LitM)、知识图谱问答(KGQA)和MMLU基准测试中展示了RoToR与选择性路由相结合可以有效地以零shot的方式处理实际列表输入任务。