摘要
arXiv:2504.04535v1 交叉公告类型
摘要:在边缘进行能效图像采集对于传感器节点计算能力较弱且必须将数据传输到远程服务器/云进行处理的远程 sensing 应用至关重要。为了减少边缘的能量消耗,本文提出了一种名为 SnapPix 的传感器-算法联合设计系统,该系统在传感器内部对原始像素进行模拟域压缩。我们采用编码曝光(CE)作为传感器内的压缩策略,因为它可以灵活地在空间和时间上选择性地曝光像素。SnapPix 有三项贡献。首先,我们提出了一种任务无关的策略,基于高效编码的经典理论学习采样/曝光模式。其次,我们与曝光模式共同设计下游的视觉模型,以解决 CE 压缩图像固有的像素级非均匀性问题。最后,我们提出了对图像传感器硬件的轻量级增强,以支持我们的传感器内 CE 压缩。在动作识别和视频重建评估中,SnapPix 在相同的速度下优于现有的基于视频的方法,同时能量消耗最多可降低 15.4 倍。我们已在 https://github.com/horizon-research/SnapPix 开源了代码。