LLM2D
基于上下文的弱监督图像 Manipulation 本地化与 SAM 精炼
Context-Aware Weakly Supervised Image Manipulation Localization with SAM Refinement
作者: Xinghao Wang, Tao Gong, Qi Chu, Bin Liu, Nenghai Yu
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2503.20294v2

摘要

arXiv:2503.20294v2 通知类型: 替换-交叉 摘要:恶意图像篡改给社会带来了风险,增加了有效图像篡改检测方法的重要性。图像篡改检测的近期方法主要受到完全监督方法的驱动,这些方法需要耗费大量的人力进行像素级别的标注。因此,探索只需要图像级二元标签即可训练的弱监督图像篡改定位方法变得尤为重要。然而,现有的弱监督图像篡改方法忽视了边缘信息对准确定位的重要性,导致定位性能不佳。为了解决这一问题,我们提出了一种上下文感知边界定位(CABL)模块,用于聚合边界特征并学习上下文不一致性,以便定位篡改区域。此外,通过利用类激活映射(CAM)和段一切换模型(SAM),我们引入了CAM引导SAM精炼(CGSR)模块,以生成更准确的篡改定位图。通过结合两个模块,我们提出了一种基于双分支Transformer-CNN架构的新颖弱监督框架。我们的方法在多个数据集上实现了卓越的定位性能。