摘要
arXiv:2502.05892v1 交叉公告类型
摘要:语言模型(LMs)越来越被研究作为人类语言学习者的模型。由于该领域的早期阶段,尚不清楚LMs是否表现出与人类相似的学习动态,且直接比较人类和模型之间的学习轨迹的研究相对较少。儿童的词汇学习轨迹相对记录较为详细,近期的研究尝试将这些调查扩展到语言模型。然而,对于语言模型中的词汇学习并没有广泛认可的度量标准。我们采取一种分布性的方法来解决这个问题,通过目标词学习分布的特性来定义词库知识。我们认为之前研究中的分布性特征未能捕获关键的分布信息。因此,我们提出了一个阵列的特征,这些建议比之前的方法更好,能够捕捉目标词可以和不可以出现的地方,以及关于词汇适用性的梯度偏好。我们为从头训练的一系列小型语言模型获得了学习轨迹,研究了不同分布性特征之间的关系,比较了它们与人类词汇学习轨迹以及可解释词库特征的一致性,并探讨了估计这些分布性特征的基本方法论问题。我们的度量标准几乎捕获了互补的信息,这表明不应依赖单一的度量标准。然而, Across all metrics,语言模型的学习轨迹与儿童的学习轨迹均未能相关联。