LLM2D
VITAL: 一个新的数据集,用于医疗领域的多元一致性基准测试
VITAL: A New Dataset for Benchmarking Pluralistic Alignment in Healthcare
作者: Anudeex Shetty, Amin Beheshti, Mark Dras, Usman Naseem
发布日期: 2/20/2025
arXiv ID: oai:arXiv.org:2502.13775v1

摘要

arXiv:2502.13775v1 宣布类型: cross 摘要:对齐技术已成为确保大型语言模型(LLMs)生成与人类价值观一致的输出的核心。然而,现有的对齐范式通常建模为平均的或单一的偏好,未能考虑到不同文化和人群中的多样性观点。这一局限性在与健康相关的情景中尤为重要,因为多样性的观点在文化、宗教、个人价值观和意见冲突的影响下至关重要。尽管在多元对齐方面取得了进展,但之前没有一项研究专门关注健康领域,这可能是因为公开可用的数据集较少。为了弥补这个缺口,我们介绍了VITAL,这是一个新的基准数据集,包含13,100种价值观倾向的情况和5,400个针对健康问题的多项选择题,旨在评估和基准测试多元对齐方法。通过对八种不同规模的LLM进行广泛的评估,我们发现现有的多元对齐技术在有效容纳多样化的医学信念方面存在不足,强调特定领域的定制AI对齐的必要性。本研究指出了当前方法的局限性,并为开发健康特定的对齐解决方案奠定了基础。