LLM2D
Transformer、语境化和多义性
Transformers, Contextualism, and Polysemy
作者: Jumbly Grindrod
发布日期: 9/27/2024
arXiv ID: oai:arXiv.org:2404.09577v2

摘要

由 Vaswani 等人(2017 年)提出的 Transformer 架构是语言模型发展取得显著进步的核心,包括广泛使用的聊天机器人,如 Chat-GPT 和 Claude。本文认为,我们可以从 Transformer 架构的工作方式中提取出关于上下文和意义之间关系的理论。我称之为 Transformer 理论,并认为它在两个相关的哲学争论中是新颖的:关于自然语言中上下文敏感程度的上下文主义争论,以及关于如何在一个词义解释中捕捉多义性的多义性争论。