arXiv:2410.14763v2 宣告类型: replace-cross 摘要：大型语言模型（LLMs）在解决众多医疗挑战方面展示了令人印象深刻的潜力。然而，在医学等高风险应用中部署LLMs带来了许多关注。其中一个主要的关注领域是LLMs在医疗应用中的偏见行为，导致对个人的不公正对待。为了推动负责任和有影响力的Med LLM部署，严格的评估是关键前提。由于不同医疗场景的巨大复杂性和变化性，该领域的现有工作主要依赖于使用手工制作的数据集进行偏见评估。在这项研究中，我们提出了一种新的方法，通过基于严格的医学证据自动生成测试用例来扩大这种偏见评估的规模。我们特别针对以下挑战：a) 偏见表征的领域特定性，b) 在生成测试用例时产生幻象，以及c) 健康结果与敏感属性的各种依赖关系。为此，我们提供了新的方法来解决这些挑战，并将这些方法整合进我们的生成管道中，使用医学知识图谱、医学本体和定制的通用LLM评估框架。通过一系列广泛的实验，我们展示了我们提出的方法生成的测试用例能够有效地在更大的和更灵活的规模上揭示Med LLM中的偏见模式，超过手工制作的数据集。我们使用我们的管道发布了一个大型偏见评估数据集，专门用于少量的医疗案例研究。我们的应用针对案例生成的现场演示可在 https://vignette.streamlit.app 获得。我们的代码也发布在 https://github.com/healthylaife/autofair 。