LLM2D
精确动作 spotting: 通过动态标签分配解决标签的时间对齐问题
Towards Precise Action Spotting: Addressing Temporal Misalignment in Labels with Dynamic Label Assignment
作者: Masato Tamura
发布日期: 4/2/2025
arXiv ID: oai:arXiv.org:2504.00149v1

摘要

arXiv:2504.00149v1 标题类型: cross 摘要: 精确的动作检测因其潜在的应用前景而吸引了大量关注。尽管现有的方法通过采用精心设计的模型架构实现了显著的性能提升,但它们忽视了一个重大挑战:地真实标签中固有的时间不对齐问题。这种时间不对齐现象发生在标记为包含事件的帧并不准确地与实际事件时间对齐时,通常是由于人工注释错误或在邻近帧间精确识别事件边界固有的困难所致。为解决这一问题,我们提出了一种新颖的动力标签分配策略,在训练过程中允许预测具有与地真实动作时间的时间偏移,从而确保一致的动作检测。我们的方法将空间域中用于对象检测的最小成本匹配的概念扩展到了时间域。通过基于预测动作类别得分和时间偏移计算匹配成本,我们的方法动态地将标签分配给最有可能的预测,即使这些预测的时间与地真实时间有所不同,也能够缓解标签中时间不对齐的负面影响。我们在广泛进行的实验中展示了,我们的方法在条件允许的情况下达到了最先进的性能,特别是在事件通过视觉明显区分且标签的时间不对齐现象普遍存在的情况下。