LLM2D
在多重实例学习中,Dropout能有多有效?
How Effective Can Dropout Be in Multiple Instance Learning ?
作者: Wenhui Zhu, Peijie Qiu, Xiwen Chen, Zhangsihao Yang, Aristeidis Sotiras, Abolfazl Razi, Yalin Wang
发布日期: 4/22/2025
arXiv ID: oai:arXiv.org:2504.14783v1

摘要

arXiv:2504.14783v1 声明类型: cross 摘要: 多实例学习(MIL)是各种应用中一种流行的半监督方法,特别是在组织学全切片图像(WSI)分类方面特别感兴趣。由于WSI的吉apixel分辨率,MIL在WSI中的应用通常需要两阶段的训练方案:首先从预训练的主干网络中提取特征,然后进行MIL聚合。然而,众所周知,这种不理想的训练方案会受到主干网络生成的“嘈杂”特征嵌入和固有的弱监督的阻碍,从而妨碍MIL学习丰富的、可泛化的特征。然而,用于缓解这一问题的最常用技术(即dropout)尚未在MIL中得到探索。在本文中,我们实证研究了dropout在MIL中的有效性。有趣的是,我们观察到,在噪声攻击下,去掉一个袋中最重要的k个实例可以提高性能和泛化能力。基于这一关键观察,我们提出了一种新的针对MIL的dropout方法,称为MIL-Dropout,该方法系统地确定要丢弃哪些实例。在五个MIL基准数据集和两个WSI数据集上的实验表明,与微乎其微的计算成本相比,MIL-Dropout可以提升现有MIL方法的性能。代码可在https://github.com/ChongQingNoSubway/MILDropout获取。