LLM2D
多任务学习中的几何对齐任务添加
Task Addition in Multi-Task Learning by Geometrical Alignment
作者: Soorin Yim, Dae-Woong Jeong, Sung Moon Ko, Sumin Lee, Hyunseung Kim, Chanhui Lee, Sehui Han
发布日期: 9/26/2024
arXiv ID: oai:arXiv.org:2409.16645v1

摘要

在数据有限的情况下训练深度学习模型并保持泛化能力是分子性质预测中的基本挑战之一。一种有效的解决方案是从丰富的数据集中转移提取的知识到数据稀缺的数据集中。最近,一种名为几何对齐转移编码器 (GATE) 的新算法被提出,该算法通过对齐特定任务的潜在空间的几何形状来使用软参数共享。然而,GATE 在扩展到多个任务时由于计算成本而面临局限性。在本研究中,我们提出了一种针对 GATE 的任务添加方法,以提高目标任务在数据有限情况下的性能,同时最大程度地降低计算复杂度。它是通过在大型数据集上进行监督的多任务预训练来实现的,随后为每个目标任务添加和训练特定任务的模块。我们的实验表明,与传统的多种任务方法相比,GATE 的任务添加策略具有优越的性能,同时计算成本相当。