摘要
时间感知,即检测和跟踪物体随时间变化的能力,对于自动驾驶维持对动态环境的全面理解至关重要。然而,这项任务受到诸多挑战的阻碍,包括由遮挡物体和观测盲区造成的感知不完整,这在单车感知系统中很常见。为了解决这些问题,我们引入了 LET-VIC,一个基于激光雷达的用于车路协同 (VIC) 的端到端跟踪框架。LET-VIC 利用车联网 (V2X) 通信,通过融合来自车辆和基础设施传感器的时空数据来增强时间感知。首先,它从车载和基础设施侧的激光雷达数据中空间整合鸟瞰图 (BEV) 特征,创建一个全面的视图,以减轻遮挡并补偿盲区。其次,LET-VIC 在帧之间整合时间上下文,允许模型利用历史数据来增强跟踪的稳定性和准确性。为了进一步提高鲁棒性,LET-VIC 包含一个校准误差补偿 (CEC) 模块,以解决传感器错位并确保精确的特征对齐。在 V2X-Seq-SPD 数据集上的实验表明,LET-VIC 显著优于基线模型,在不考虑通信延迟的情况下,mAP 至少提高了 13.7%,AMOTA 至少提高了 13.1%。这项工作为通过车路协同推进自动驾驶中的时间感知提供了一种切实可行的解决方案和新的研究方向。