摘要
大型语言模型（LLMs）的快速发展极大地改变了人工智能领域，在自然语言处理方面展现出非凡的能力，并朝着多模态功能迈进。这些模型正越来越多地融入各种应用，对研究和行业都产生了影响。然而，它们的开发和部署带来了重大挑战，包括对大量计算资源的需求、高能耗和复杂的软件优化。与传统的深度学习系统不同，LLMs 需要针对训练和推理采用独特的优化策略，重点关注系统级效率。本文综述了专门针对大型语言模型的独特特征和约束而设计的硬件和软件协同设计方法。本综述分析了 LLMs 对硬件和算法研究的挑战和影响，探讨了算法优化、硬件设计和系统级创新。旨在全面了解 LLM 为中心的计算系统的权衡和考虑因素，引导人工智能的未来发展。最后，我们总结了该领域现有的努力，并概述了未来实现生产级协同设计方法以用于下一代大型语言模型和人工智能系统的方向。