大型语言模型 (LLM) 的卓越能力使其在现实世界的医疗应用中越来越具有吸引力。然而，在医疗应用中使用 LLM 的风险尚未得到系统性地描述。我们提出了五个确保医疗 AI 安全可靠的关键原则：真实性、弹性、公平性、稳健性和隐私性，以及十个具体方面。在此综合框架下，我们引入了一个包含 1000 个专家验证问题的全新 MedGuard 基准。我们对 11 个常用 LLM 的评估表明，目前的语言模型，无论其安全性对齐机制如何，在大多数基准测试中的表现普遍较差，尤其与人类医生的高水平表现相比。尽管最近的报告表明，像 ChatGPT 这样的高级 LLM 可以在各种医疗任务中匹配甚至超越人类的表现，但这项研究强调了重大的安全差距，突出了人类监督和实施 AI 安全防护措施的迫切需要。