LLM2D
AI绿色路由:使用Heron将AI推理路由到绿色模块化数据中心
AI Greenferencing: Routing AI Inferencing to Green Modular Data Centers with Heron
作者: Tella Rajashekhar Reddy, Palak, Rohan Gandhi, Anjaly Parayil, Chaojie Zhang, Mike Shepperd, Liangcheng Yu, Jayashree Mohan, Srinivasan Iyengar, Shivkumar Kalyanaraman, Debopam Bhattacherjee
发布日期: 5/16/2025
arXiv ID: oai:arXiv.org:2505.09989v1

摘要

arXiv:2505.09989v1 类型: cross 摘要:AI的能源需求正在前所未有的增长,这得益于AI计算的高能量密度和新兴的推理负载。在供应方面,大量的风能正等待接入电网。在这一背景下,本文主张将AI工作负载部署到与风电场共址的模块化计算集群中。我们的部署规模适配策略使得在今天能够经济地部署超过600万台高端GPU,这些GPU可以就地消耗便宜且绿色的电力。我们构建了Heron,一种跨站点的软件路由器,能够通过绕过电力下降边缘有效地利用风电场间发电的互补性。利用来自Azure的1周编码和对话生产跟踪数据以及实际的可变风力发电跟踪数据,我们展示了Heron相比于现有最佳方案,如何将AI计算的整体吞吐量最多提高80%。