LLM2D
事件USKT:用于事件相机的知识迁移U型状态空间模型
Event USKT : U-State Space Model in Knowledge Transfer for Event Cameras
作者: Yuhui Lin, Jiahao Zhang, Siyuan Li, Jimin Xiao, Ding Xu, Wenjun Wu, Jiaxuan Lu
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.15276v1

摘要

事件相机作为一种新兴的成像技术,相比传统的RGB相机具有能耗更低、帧率更高的优势。然而,可用事件数据量有限是一个重大挑战,阻碍了其更广泛的发展。为了缓解这个问题,我们提出了一种针对性的U型状态空间模型知识迁移(USKT)框架,用于事件到RGB的知识迁移。该框架生成与RGB帧兼容的输入,使事件数据能够有效地重用预训练的RGB模型,并在参数微调最少的情况下获得具有竞争力的性能。在USKT架构中,我们还提出了一种双向反向状态空间模型。与传统的双向扫描机制不同,所提出的双向反向状态空间模型(BiR-SSM)利用共享权重策略,在提高建模效率的同时节省计算资源。在有效性方面,将USKT与ResNet50作为主干网络相结合,分别在DVS128 Gesture、N-Caltech101和CIFAR-10-DVS数据集上将模型性能提高了0.95%、3.57%和2.9%,这突显了USKT的适应性和有效性。代码将在论文被接收后公开。