摘要
arXiv:2412.12892v3 宣告类型: replace-cross
摘要:边缘标签通常由于标注者不同的偏好而处于不同的细粒度级别,因此处理像素级标签的主观性一直是边缘检测的一个重点。以往的方法往往采用简单的投票策略来减少这种标签不确定性,或者对标签施加一个强先验假设,例如高斯分布。在本工作中,我们揭示出段一切模型(SAM)提供了强大的先验知识来建模边缘标签中的不确定性。我们的主要洞察是,SAM的中间特征本质上对应于不同细粒度级别的对象边缘,这反映了由于不确定性而产生的不同边缘选项。因此,我们尝试通过从不同层回归中间SAM特征到多粒度级别的对象边缘来对齐不确定性与粒度。通过这种方式,模型可以以数据驱动的方式全面且明确地探索各种“不确定性”。具体而言,我们向冻结的SAM中注入了一个轻量级模块(约额外1.5%的参数),逐步融合和适应其中间特征,从粗到细估计边缘。将人类边缘标签的粒度规范化,以匹配其固有的不确定性至关重要。为此,我们简单地对手头的实际边缘标签进行线性混合,以创建具有不同粒度的伪标签。因此,我们的与不确定性对齐的边缘检测器可以灵活地在任何所需粒度(包括最优粒度)下生成边缘。得益于SAM,我们的模型在跨数据集边缘检测中展示了独特的强泛化能力。在BSDS500、Muticue和NYUDv2上的广泛实验结果验证了我们模型的优势。