arXiv:2505.06371v1 Announce Type: cross 摘要：随着生成式AI在现实服务中的应用爆炸式增长，能源已成为一个关键的瓶颈资源。然而，在构建机器学习系统的过程中，能源往往被忽视、探索不足或理解不足。我们提出了ML.ENERGY基准，这是一个在实际服务环境中测量推理能耗的基准套件和工具，以及相应的ML.ENERGY排行榜，这些资源对于希望理解并优化其生成式AI服务能耗的人来说至关重要。在本文中，我们解释了我们在多年中获得的四条关键设计原则，以基准测试机器学习能耗，并说明了这些原则在ML.ENERGY基准中的实现方式。然后，我们介绍了基准的最新迭代的结果，包括40种广泛使用的模型架构在6种不同任务中的能耗测量，Case Studies展示了机器学习设计选择如何影响能耗，以及自动化优化建议如何在不改变模型计算内容的情况下实现显着的（有时超过40%）能耗节省。ML.ENERGY基准是开源的，并且可以轻松扩展到各种自定义模型和应用场景。