arXiv:2503.21801v1 交叉类型公告 摘要：在本简要报告中，我们介绍了联合多令牌预测（JTP），这是一个基于标准下一项令牌预测的轻量级修改，旨在通过联合预测多个未来令牌来丰富隐藏状态表示。与之前的多令牌预测方法不同，JTP巧妙地通过精心设计的表示瓶颈利用未来令牌的教师强迫，使模型能够在训练过程中以最小的计算开销编码丰富的预测信息。我们展示了JTP方法能够实现短期视角的信念状态表示，而流行的多令牌预测替代方法则无法做到这一点。我们在Bachmann和Nagarajan[2024]的合成星图导航任务上展示了我们方法的有效性，显示出相对于现有方法的显著性能改进。本文呈现了有前景的初步结果，旨在刺激进一步的研究。