摘要
面部动作单元 (AU) 检测长期以来面临着在 AU 激活时检测细微特征差异的挑战。现有方法通常依赖于对 AU 的像素级信息的编码,这不仅编码了额外的冗余信息,而且导致模型复杂度增加,泛化能力有限。此外,AU 检测的准确性受到每个 AU 类型类别不平衡问题以及噪声和错误 AU 标签的存在的负面影响。在本文中,我们介绍了一种新颖的对比学习框架,旨在用于 AU 检测,该框架结合了自监督和监督信号,从而增强了判别特征的学习,以实现准确的 AU 检测。为了解决类别不平衡问题,我们采用了一种负样本重新加权策略,该策略调整了更新少数类和多数类样本参数的步长。此外,为了应对噪声和错误 AU 标签带来的挑战,我们采用了一种采样技术,该技术包含三种不同的正样本对类型。这使我们能够将自监督信号注入监督信号中,有效地减轻了噪声标签的不利影响。我们对四个广泛使用的基准数据集(BP4D、DISFA、GFT 和 Aff-Wild2)进行的实验评估表明,与最先进的 AU 检测方法相比,我们的方法具有优越的性能。我们的代码可在 \url{https://github.com/Ziqiao-Shang/AUNCE} 获取。