LLM2D
HiDP:面向异构边缘平台的分布式推理的分层深度神经网络划分
HiDP: Hierarchical DNN Partitioning for Distributed Inference on Heterogeneous Edge Platforms
作者: Zain Taufique, Aman Vyas, Antonio Miele, Pasi Liljeberg, Anil Kanduri
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.16086v1

摘要

边缘推理技术将深度神经网络 (DNN) 推理任务划分并分配到多个边缘节点以实现低延迟推理,但并未考虑边缘节点的核心级异构性。此外,默认的 DNN 推理框架也没有充分利用异构边缘节点的资源,导致推理延迟较高。在这项工作中,我们提出了一种用于异构边缘节点分布式推理的分层 DNN 分区策略 (HiDP)。我们的策略通过考虑边缘节点的核心级异构性,在全局和局部层面分层划分 DNN 工作负载。我们在商用边缘设备上,针对广泛使用的 DNN 模型,将我们提出的 HiDP 策略与相关的分布式推理技术进行了评估。与其他相关方法相比,我们的策略平均实现了 38% 的更低延迟、46% 的更低能耗和 56% 的更高吞吐量。