LLM2D
探索AI框架在64核RV64服务器CPU上的能耗
Exploring energy consumption of AI frameworks on a 64-core RV64 Server CPU
作者: Giulio Malenza, Francesco Targa, Adriano Marques Garcia, Marco Aldinucci, Robert Birke
发布日期: 4/8/2025
arXiv ID: oai:arXiv.org:2504.03774v1

摘要

arXiv:2504.03774v1 交叉类型:cross 摘要:在当今技术快速发展的时代,人工智能(AI)应用需要大规模、高性能和数据密集型计算,这导致了显著的能源需求。解决这一挑战需要硬件和软件创新的结合 approach。硬件制造商正在开发新的、高效且专门的解决方案,RISC-V 架构因其开放、可扩展和节能的指令集架构(ISA)而成为重要参与者。同时,软件开发者正在创建新的算法和框架,但它们的能源效率往往不明确。在这项研究中,我们对 64 核 SOPHON SG2042 RISC-V 架构上的机器学习(ML)应用进行了全面的基准分析。我们特别分析了 PyTorch、ONNX Runtime 和 TensorFlow 这三个领先 AI 框架下的深度学习推理模型的能耗。我们的研究发现,使用 XNNPACK 后端的框架,如 ONNX Runtime 和 TensorFlow,在能耗上比使用原生 OpenBLAS 后端编译的 PyTorch 更低。