LLM2D
优化大型语言模型:评价指标、能源效率及案例研究洞察
Optimizing Large Language Models: Metrics, Energy Efficiency, and Case Study Insights
作者: Tahniat Khan, Soroor Motie, Sedef Akinli Kocak, Shaina Raza
发布日期: 4/10/2025
arXiv ID: oai:arXiv.org:2504.06307v1

摘要

arXiv:2504.06307v1 通告类型: cross 摘要: 大型语言模型(LLMs)的快速采用导致了显著的能源消耗和碳排放,对生成型人工智能技术的可持续性构成了关键性挑战。本文探讨了在LLM部署中整合高效的能源优化技术,以应对这些环境问题。我们展示了案例研究和框架,证明了通过战略性量化和局部推理技术,可以在不牺牲其操作有效性的情况下大幅降低LLM的碳足迹。实验结果表明,这些方法在量化后可降低高达45%的能源消耗和碳排放,使其特别适合资源限制的环境。研究结果提供了实现人工智能可持续性方面的可操作见解,同时保持高准确性和响应性。