arXiv:2502.08662v1 宣告类型: cross 摘要: 缓解语言模型（LMs）对于列表输入的位置偏差是一个众所周知且重要的问题（例如，迷失在中间）。虽然已经提出了零shot的不变序列表际模型来解决这一问题，但在实际列表问题上的成功却有限。在本文中，作为第一个贡献，我们识别并克服了两个限制，使零shot的不变序列表际模型更加实用：（1）由于修改位置ID分配以强制执行不变性而引起的训练和推理分布不匹配，以及（2）无法适应实际列表问题中混合的不变序和敏感输入。为了解决这些问题，我们提出：（1）RoToR，一种对于真正不变序输入的零shot不变序列表际模型，仅对位置ID进行最小的修改，以及（2）选择性路由，一种适应性框架，能够处理列表任务中不变序和有序敏感输入。我们在Lost in the middle（LitM）、知识图谱问答（KGQA）和MMLU基准测试中展示了RoToR与选择性路由相结合可以有效地以零shot的方式处理实际列表输入任务。