LLM2D
一种用于图像分类的OOD鲁棒性的贝叶斯方法
A Bayesian Approach to OOD Robustness in Image Classification
作者: Prakhar Kaushik, Adam Kortylewski, Alan Yuille
发布日期: 2/10/2025
arXiv ID: oai:arXiv.org:2403.07277v2

摘要

arXiv:2403.07277v2 宣告类型: replace-cross 摘要:计算机视觉中一个重要的未解决问题是确保算法在图像域发生变化时具有鲁棒性。我们在仅能访问目标域图像但没有标注的情况下解决这个问题。我们受到现实世界中的 Out-of-Domain (OOD) 杂质和遮挡问题的启发,提出了一种新的贝叶斯方法来提高对象分类的 OOD 鲁棒性。我们的工作扩展了已证明在遮挡情况下具有鲁棒性的组合神经网络(CompNets),但在测试 OOD 数据时表现较差。我们利用 CompNets 包含一个由 von Mises-Fisher (vMF) 核表示的功能向量生成头的事实,这些核大致对应于对象部分,并且可以在无监督的情况下进行学习。我们观察到不同域之间的 vMF 核中有一些相似但其他则不然。这使得我们可以学习一个介于源域和目标域之间的过渡字典 vMF 核,并在使用源域标注训练生成模型之后进行逐步优化。这种方法被称为无监督生成过渡(UGT),即使在遮挡存在的情况下也能在 OOD 场景中表现良好。UGT 在 Out-of-Domain (OOD) 基准测试中进行了评估,包括 OOD-CV 数据集、多个流行数据集(例如 ImageNet-C [9])、人工图像破坏(包括添加遮挡物)以及合成到真实域的转移,并在所有场景中都表现出色,优于最新替代方案(例如,Occluded OOD-CV 数据集的 top-1 准确率提高多达 10%)。