摘要
arXiv:2504.02402v1 Announce Type: 交叉
摘要:当声波撞击物体时,它们会引发振动,产生高频和微妙的视觉变化,这些变化可以用于恢复声波。早期的研究总是面临与采样率、带宽、视野和光学路径的简洁性相关的权衡问题。近期事件相机硬件的进步显示了其在视觉声波恢复中的良好应用潜力,因为它的高频信号捕捉能力优越。然而,现有的基于事件的振动恢复方法仍然不适合声波恢复。在本文中,我们提出了一种新的非接触声波恢复流水线,充分利用事件流中的时空信息。我们首先使用一种新的模拟流水线生成大规模的训练集。然后,我们设计了一个网络,利用事件的稀疏性来捕捉空间信息,并使用Mamba来建模长期时间信息。最后,我们训练了一个空间聚合块,以从不同位置聚集信息,以进一步提高信号质量。为了捕捉由声波引起的事件信号,我们还设计了一个使用激光阵列增强梯度的成像系统,并收集了多个数据序列进行测试。在合成和真实世界数据上的实验结果证明了我们方法的有效性。