LLM2D
RoToR: 向更可靠的响应方向发展,对于订单不变的输入
RoToR: Towards More Reliable Responses for Order-Invariant Inputs
作者: Soyoung Yoon, Dongha Ahn, Youngwon Lee, Minkyu Jung, HyungJoo Jang, Seung-won Hwang
发布日期: 2/14/2025
arXiv ID: oai:arXiv.org:2502.08662v1

摘要

arXiv:2502.08662v1 宣告类型: cross 摘要: 缓解语言模型(LMs)对于列表输入的位置偏差是一个众所周知且重要的问题(例如,迷失在中间)。虽然已经提出了零shot的不变序列表际模型来解决这一问题,但在实际列表问题上的成功却有限。在本文中,作为第一个贡献,我们识别并克服了两个限制,使零shot的不变序列表际模型更加实用:(1)由于修改位置ID分配以强制执行不变性而引起的训练和推理分布不匹配,以及(2)无法适应实际列表问题中混合的不变序和敏感输入。为了解决这些问题,我们提出:(1)RoToR,一种对于真正不变序输入的零shot不变序列表际模型,仅对位置ID进行最小的修改,以及(2)选择性路由,一种适应性框架,能够处理列表任务中不变序和有序敏感输入。我们在Lost in the middle(LitM)、知识图谱问答(KGQA)和MMLU基准测试中展示了RoToR与选择性路由相结合可以有效地以零shot的方式处理实际列表输入任务。