摘要
arXiv:2407.01929v3 公告类型: 替换交叉
摘要:语言模型(LMs)这一术语作为一个随时间不断重塑的模型集合,其指代对象如同“特修斯之船”般不断更新,但其本质仍然保持不变。在本文中,我们研究了这一“语言模型之船”问题,其中科学研究以持续的、隐含的关键现有术语再加工形式进行。我们试图发起一种新的科学进步视角,而不仅仅着眼于新术语的出现。为此,我们基于近期的自然语言处理(NLP)出版物构建了数据基础设施。然后,我们进行了一系列基于文本的分析,以对语言模型作为专门术语的使用进行详细的定量理解。我们的工作突显了系统和理论在科学研究中的相互影响,并呼吁关注我们所有人为之贡献的这一转变中的船只。