arXiv:2505.06620v1 Announce 类型: cross 摘要：医疗保健中对人工智能（AI）和机器学习（ML）的需求正在增长，尤其是在作为临床决策支持系统来辅助医疗专业人员方面。然而，许多这些模型的复杂性，通常被称为“黑箱”模型，使得在临床环境中安全地集成它们变得令人担忧，因为难以理解它们是如何得出预测结论的。本文讨论了由英国药品和医疗产品监管机构（MHRA）召集的专家工作组所获得的见解和建议。该工作组包括医疗专业人员、监管人员和数据科学家，其主要关注点是评估在临床决策背景下不同AI算法的输出。此外，该工作组还评估了一项试点研究的结果，该研究调查了临床诊断期间医生们对AI方法的行为和互动情况。在临床环境中引入AI方法对于确保医疗AI设备的安全性和可信度至关重要。对于利益相关者进行足够的培训是必要的，以解决潜在问题，并提供了关于如何在医疗保健环境中安全采用AI系统的进一步见解和建议。