LLM2D
HH-PIM: 适用于边缘AI设备的异构混合PIM的功率和性能动态优化
HH-PIM: Dynamic Optimization of Power and Performance with Heterogeneous-Hybrid PIM for Edge AI Devices
作者: Sangmin Jeon, Kangju Lee, Kyeongwon Lee, Woojoo Lee
发布日期: 4/3/2025
arXiv ID: oai:arXiv.org:2504.01468v1

摘要

arXiv:2504.01468v1 论文类型: 横跨领域 摘要: 记忆处理(Processing-in-Memory,PIM)架构为在能量受限的边缘环境中高效处理AI应用提供了令人信服的解决方案。虽然传统的PIM设计通过减少数据在内存和处理单元之间的移动来提高性能和能源效率,但这些设计在边缘设备上受到持续电源需求和大型神经网络权重存储在SRAM和DRAM中的存储要求的限制。结合非易失性存储器如MRAM和ReRAM的混合PIM架构减轻了这些限制,但在固定计算资源与动态变化的推理工作负载之间存在不匹配的问题。为了应对这些挑战,本研究引入了一种异构混合PIM(HH-PIM)架构,该架构包括高性能的MRAM-SRAM PIM模块和低功耗的MRAM-SRAM PIM模块。我们进一步提出了一种数据位置优化算法,该算法根据不同计算需求动态分配数据,最大限度地提高能源效率。使用具有HH-PIM和其他PIM类型的处理器通过FPGA原型设计和功率仿真表明,提出的HH-PIM相比于传统的PIM实现了高达60.43%的平均能源节省,同时满足应用延迟要求。这些结果证实了HH-PIM在边缘设备中实现适应性和能源效率的AI处理的适当性。