LLM2D
学习对比特征表示用于面部动作单元检测
Learning Contrastive Feature Representations for Facial Action Unit Detection
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2402.06165v3

摘要

面部动作单元(AU)检测在检测AUs激活时的细微特征差异方面长期面临挑战。现有方法通常依赖于编码AU的像素级信息,这不仅会编码额外的冗余信息,还会导致模型复杂性增加和泛化能力有限。此外,每种AU类型的类别不平衡问题以及存在噪声和错误的AU标签都对AU检测的准确性产生负面影响。在本文中,我们引入了一种新颖的对比学习框架,旨在通过融入自监督和监督信号来增强辨别特征的学习,从而提高AU检测的准确性。为解决类别不平衡问题,我们采用了一种负样本重加权策略,调整少数类和多数类样本参数更新的步长。此外,为应对噪声和错误AU标签带来的挑战,我们使用了一种包含三种不同类型正样本对的采样技术,这使我们能够将自监督信号注入到监督信号中,有效减轻噪声标签的不利影响。我们在四个广泛使用的基准数据集(BP4D、DISFA、GFT和Aff-Wild2)上进行的实验评估,突显了我们的方法相较于最先进的AU检测方法的优越性能。我们的代码可在 \url{https://github.com/Ziqiao-Shang/AUNCE} 获取。