摘要
arXiv:2502.04488v1 交叉类型公告
摘要:近期大型语言模型的发展表明,通过某些技术手段可以显著提高性能,但这些改进伴随着增加的计算成本和自然语言中固有的偏见传播。本文探讨了一种统一的人工智能为中心的语言系统的设计,该系统通过提供比传统人类语言更简洁、更明确且计算效率更高的替代方案来应对这些挑战。我们分析了自然语言的局限性,如性别偏见、形态不规则性以及语境上的歧义性,并研究了这些问题在当前的Transformer架构中是如何被放大的,因为在这些架构中,冗余注意力头和标记无效率的问题普遍存在。借鉴新兴的人工通讯系统以及 Esperanto 和 Lojban 等构想语言的见解,我们提出了一种框架,它将多种自然语言输入翻译成一种精简的人工智能友好语言,从而实现更高效的模型训练和推断,并减少内存占用。最后,我们概述了一条经过控制实验验证的路径,为人工智能之间和人类与人工智能之间的交互铺平道路,从而提高清晰度、公平性和整体性能。