arXiv:2504.06843v1 交叉公告类型：跨学科 摘要：最近，认知神经科学在自然语言处理（NLP）中的整合引起了广泛关注。本文提供了对利用认知信号，特别是在语言模型（LMs）和多模态大型语言模型（MLLMs）中利用眼球追踪（ET）信号的最新进展的关键和及时回顾。通过结合以用户为中心的认知信号，这些方法解决了数据稀缺性和大规模模型训练的环境成本等关键挑战。认知信号使高效的数据增强成为可能，加速了模型的收敛，并提高了与人类的对齐。回顾强调了在视觉问答（VQA）任务中使用ET数据以及缓解MLLMs中的幻觉的潜力，并讨论了新兴的挑战和研究趋势。