arXiv:2407.02283v2 宣布类型: replace-cross 摘要：特征上采样是几乎所有的当前网络结构中用于密集预测任务的基本且必不可少的组件。最近，提出了一种基于相似性的流行特征上采样管道，它利用高分辨率特征作为指导，帮助根据局部相似性上采样低分辨率的深层特征。尽管取得了令人鼓舞的性能，但该管道仍存在特定的局限性：1）高分辨率查询特征和低分辨率键特征对齐不佳；2）查询键特征之间的相似性是基于固定内积形式计算的；3）在低分辨率特征上粗略地选择邻居，导致马赛克伪影。这些不足使现有方法主要适用于具有迭代特征指导的分层网络架构，并且不容易扩展到更广泛的结构，尤其是直接的高比例上采样。针对这些问题，我们仔细优化了每一种方法设计。具体来说，我们首先从语义感知和细节感知的角度提出了一种明确可控的查询键特征对齐方法，然后构建了一个参数化的配对中心差分卷积块，以灵活计算对齐良好的查询键特征之间的相似性。此外，我们还开发了一种细粒度的高分辨率特征邻居选择策略，这简单而有效，可以缓解马赛克伪影。基于这些精心设计，我们系统地构建了一个更新的基于相似性的特征上采样框架，名为ReSFU。广泛的实验表明，我们提出的ReSFU可以精细适用于各种类型的架构，在直接高比例上采样的方式下表现出满意的效果，并且在不同的密集预测应用中始终保持良好的通用性和部署简便性。