arXiv:2504.11268v1 Announce Type: cross 摘要：模型合并是一种灵活且计算上可实现的方法，用于将单任务检查点合并到多任务模型中。先前的工作仅专注于单任务到单任务映射的受约束多任务设置，忽视了多任务可能在同一样本上操作的情况，例如场景理解。在本文中，我们关注单一输入-多个输出（SIMO）的多任务设置，并表明它在特征表示重新对齐方面与文献中研究的单一输入-单一输出模型合并设置存在质的区别，这是由于任务特定的解码器和多样化的损失目标的存在。我们发现现有的模型合并方法会导致显著的性能下降，主要是由于合并后的编码器与任务特定解码器之间的表示不对齐。我们提出了两种简单且高效的SIMO设置修正方法，以在合并后重新对齐特征表示。与联合微调相比，我们的方法在计算效率和灵活性方面更为有效，并从线下方式上揭示了任务关系。在NYUv2、Cityscapes以及Taskonomy数据集的一部分上进行的实验表明：(1) 任务算术足以实现多任务能力；然而，合并后的编码器生成的表示必须与任务特定的头部重新对齐；(2) 所提出的架构在性能上与传统的多任务学习相当，但通过利用任务特定模型的存在，可以减少所需的样本数量和训练步骤。