LLM2D
FIESTA:基于 Fisher 信息的高效选择性测试时adaptation
FIESTA: Fisher Information-based Efficient Selective Test-time Adaptation
作者: Mohammadmahdi Honarmand, Onur Cezmi Mutlu, Parnian Azizian, Saimourya Surabhi, Dennis P. Wall
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2503.23257v1

摘要

arXiv:2503.23257v1 Announce Type: cross 摘要:在不受约束的、"野外"环境中进行鲁棒面部表情识别仍然具有挑战性,因为训练和测试分布之间存在显著的变化。测试时适应(TTA)通过在推理期间适应预训练模型而不需要标记的测试数据,提供了一种有前景的解决方案。然而,现有的TTA方法通常依赖于手动选择要更新的参数,这可能导致适应效果不佳和高昂的计算成本。本文提出了一种新的费舍尔驱动的选择性适应框架,该框架能够动态地识别并仅更新基于费歇尔信息量化的重要性最高的模型参数。通过将这种原则性的参数选择方法与时空一致性约束相结合,我们的方法能够在视频基础上的面部表情识别中实现高效且有效的适应。在具有挑战性的AffWild2基准测试上进行的实验表明,我们的方法显著超越了现有的TTA方法,在仅调整22,000个参数的情况下,F1分数提高了7.7%,这比可比方法少得多。进一步的消融研究还表明,可以通过最少的数据有效地估计参数的重要性,仅采样1-3帧即可获得显著的性能提升。所提出的方法不仅提高了识别精度,还大大减少了计算开销,使得测试时适应更适用于实际的有情感计算应用。