摘要
众所周知,GPU 耗电量惊人,而随着人工智能的蓬勃发展,它们已成为即将到来的数据中心高能耗的主要贡献者。这些流行工作负载中的大多数 GPU 使用都包含大型通用矩阵乘法 (GEMM),因此已针对这些操作进行了优化,以实现对硬件资源的高利用率。在本研究中,我们表明,在保持矩阵形状和大小不变的情况下,修改 GEMM 的输入数据可以显著改变这些内核的功耗。我们针对不同数据类型,对四种输入变化进行了实验:值分布、位相似度、位置和稀疏度。我们的研究结果表明,这些变化可以将 GEMM 期间的 GPU 功耗改变近 40%。我们假设输入相关的功耗变化是由于 GPU 中位翻转次数的变化造成的。我们建议通过编译器和调度器优化利用此属性来管理功耗并降低能耗。