LLM2D
利用 GPT-2 模型模拟自然阅读的认知过程
Modelando procesos cognitivos de la lectura natural con GPT-2
作者: Bruno Bianchi, Alfredo Umfurer, Juan Esteban Kamienkowski
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2409.20174v1

摘要

自然语言处理领域的进步使得开发出具有强大文本生成能力的语言模型成为可能。近年来,神经科学一直在利用这些模型来更好地理解认知过程。在之前的研究中,我们发现像 Ngrams 和 LSTM 网络这样的模型可以部分地模拟可预测性,当用作协变量来解释读者的眼球运动时。在本研究中,我们通过使用基于 GPT-2 的模型,进一步推动了这一研究方向。结果表明,这种架构比其前身取得了更好的成果。