arXiv:2410.23506v2 宣布类型: replace-cross 摘要: 我们引入了"信念状态变换器"，这是一种同时接受前缀和后缀作为输入的下一个标记预测器，其新颖的目标是预测前缀的下一个标记和后缀的前一个标记。信念状态变换器有效地学习解决传统仅向前的变换器在处理困难问题时遇到的挑战，这种学习是跨领域的。这种成功的关键在于学习一种紧凑的信念状态，这种信念状态能够捕捉到准确预测所需的所有相关信息。实证消融实验表明，在标准变换器表现不佳的困难场景中，模型的每个组成部分都是必不可少的。对于已知前缀和后缀的故事情节写作任务，我们的方法能够超越中间填空方法以达到已知目标，并在目标未知时也展示了更好的性能。总的来说，信念状态变换器能够在小型问题上实现更高效的条件解码、更好的测试时推理以及高质量的文字表示。网址: https://sites.google.com/view/belief-state-transformer