arXiv:2502.13509v1 Announce Type: 跨模态 摘要：大型语言模型（LLMs）在视觉-语言任务中展现了卓越的表现，但在医疗领域的应用仍鲜有探索，特别是在将结构化时间序列数据与非结构化临床笔记整合方面。在临床实践中，实验室测试结果等动态时间序列数据捕捉到关键的时间模式，而临床笔记提供丰富的语义上下文。由于连续信号和离散文本之间的固有差异，将这些模态结合起来具有挑战性。为了弥合这一差距，我们提出了ProMedTS，这是一种新颖的自监督跨模态框架，采用了提示引导学习来统一这些异质数据类型。我们的方法利用轻量级的异常检测生成异常说明，作为提示，引导原始时间序列数据编码为信息性的嵌入。这些嵌入在共享的潜在空间中与文本表示对齐，保留了精细的时间细微差别和语义见解。此外，我们的框架还整合了定制的自监督目标，以增强跨模态的对齐。我们使用真实世界的数据集在疾病诊断任务上评估ProMedTS，实验结果表明，我们的方法在所有方面都优于现有最先进的方法。