arXiv:2406.06620v3 通知类型: 替换交叉 摘要：近期语言模型（LMs）在医疗时间序列-文本多模态学习方面取得了快速进展，引起了广泛关注。然而，现有的基于对比学习和提示驱动的LM方法往往存在偏差，倾向于赋予时间序列模态主要角色，而将文本模态视为次要角色。我们将这些方法归类为基于时间优先的范式，这可能会忽视文本模态（如临床报告）中嵌入的独特且关键的任务相关信息，从而未能充分利用不同模态之间的互补性和互惠性。为了弥补这一缺口，我们提出了一种新的文本-时间多模态学习范式，使得任一模态都可以作为主要角色，并从中受益，从而有效捕捉模态特定的信息，并促进跨模态交互。具体而言，我们设计了MedualTime，这是一种由双适配器组成的语言模型，能够同时实现时间优先和文本优先建模。在每个适配器中，轻量级的适应标记被注入到LM的顶层，以促进高级模态融合。双适配器共享的LM流水线不仅实现了适配器对齐，还使高效微调成为可能，从而减少了计算资源的消耗。实验证明，MedualTime在医疗数据上表现出了卓越的性能，在监督设置中分别实现了8%的准确率提升和12%的F1分数提升。此外，通过从粗粒度到细粒度医疗数据的少量标记转移实验，验证了MedualTime的迁移性。https://github.com/start2020/MedualTime