arXiv:2504.18671v1 诊断类型: 新颖 摘要: 轻微创伤性脑损伤（TBI）检测由于医学影像中症状的细微且经常模糊的表现形式而充满挑战，使得准确诊断成为一个复杂的问题。为了解决这些挑战，我们提出了Proof-of-TBI，一个结合了多个微调过的视觉-语言模型和OpenAI-o3推理大语言模型（LLM）的医疗诊断支持系统。我们的方法使用带有TBI MRI扫描标签的数据集微调多个视觉-语言模型，使其能够有效诊断TBI症状。这些模型的预测通过基于共识的决策过程进行汇总。系统使用OpenAI-o3推理LLM评估所有微调过的视觉-语言模型的预测，这是一个已经表现出卓越推理性能的模型，以生成最准确的最终诊断。LLM代理协调视觉-语言模型与推理LLM之间的互动，以透明、可靠和自动化的形式管理最终的决策过程。整个决策流程结合了视觉-语言模型联盟与OpenAI-o3推理LLM，通过LLM代理的自定义提示工程实现。该平台的原型是在与弗吉尼亚州纽波特新闻的美国陆军医学研究团队合作开发的，集成了五个微调过的视觉-语言模型。结果展示了将微调过的视觉-语言模型输入与OpenAI-o3推理LLM结合以创建一个强大的、安全的和高度准确的轻度TBI预测诊断系统的潜力。据我们所知，这项研究代表了首次将微调过的视觉-语言模型与推理LLM结合应用于TBI预测任务的应用。