目的：利用人工智能分析非侵入性纵向多模态数据，有可能改变癌症患者的免疫治疗方法，为精准医疗铺平道路。方法：在本研究中，我们整合了来自694名接受免疫治疗的大型泛癌队列患者的治疗前和治疗期间的血液检测结果、处方药物以及基于CT的器官体积，以预测短期和长期总生存率。通过利用近期发展的多种方法，我们端到端地训练了扩展的多模态基于Transformer的简单时间注意网络 (MMTSimTA) 的不同变体，以预测三个月、六个月、九个月和十二个月的死亡率。这些模型还与包含中间和后期融合的基线方法进行了比较。结果：扩展的基于Transformer的多模态模型展现出最强的预后性能，其曲线下面积 (AUC) 分别为 3 个月、6 个月、9 个月和 12 个月的生存预测为 0.84 ± 0.04、0.83 ± 0.02、0.82 ± 0.02 和 0.81 ± 0.03。结论：我们的研究结果表明，分析整合的早期治疗数据具有预测免疫治疗患者生存率的潜力。将互补的非侵入性模态整合到联合训练的模型中，使用我们扩展的基于Transformer的架构，展现出改进的多模态预后性能，尤其是在短期生存预测方面。