arXiv:2502.14898v1 交叉发布类型：cross 摘要：患者长期以来一直在线寻求健康信息，现在越来越多地转向生成型AI来回答他们的健康相关查询。鉴于医疗领域的高风险，检索增强生成和引文定位等技术已被广泛推广为减少幻觉并提高AI生成响应准确性的方法，并被广泛应用于搜索引擎中。本文认为，即使当这些方法生成的内容在未出现幻觉的情况下严格准确地源自原始文档，它们也可能极具误导性。患者从AI生成的输出中得出的解释可能与他们阅读原始材料或咨询有知识的临床医生时得出的解释大不相同。通过在争议性诊断和程序安全性等主题上的大规模查询分析，我们用量化和定性的证据支持了当前系统导致的次优答案。特别是，我们强调了这些模型倾向于脱离上下文地陈述事实、省略关键相关来源以及强化患者的误解或偏见。我们提出了若干建议，例如引入交际语用学和增强对原始文档的理解，以有助于缓解这些问题，并超越医疗领域。