arXiv:2502.11723v1 公告类型: 新增 摘要: 解码策略显著影响大规模语言模型（LLMs）生成文本的质量和多样性，但它们对计算资源消耗，特别是GPU能耗的影响仍研究不足。本文探讨了文本生成解码方法与能效之间的关系，重点关注生成质量和GPU能耗之间的权衡，特别是在多样化任务和解码配置下的表现。通过在翻译、代码总结和数学问题解决等不同文本生成任务中对标多个策略，我们揭示了选择合适的解码技术及其调优参数如何影响文本质量和资源利用率，并强调了平衡优化的必要性。据我们所知，本研究是首次从能耗角度探索LLMs中解码策略的研究，为设计能够在保持高质量文本生成的同时兼顾资源使用的应用程序提供了可操作的见解。