arXiv:2410.16543v2 声明类型: 替换 摘要：本研究介绍了一种由大语言模型（LLM）驱动的新型多智能体集成方法，旨在解决机器学习中的关键挑战——数据标记，特别是在大规模电子健康记录（EHR）数据集中。手动标记此类数据集需要领域专业知识并且劳动密集型、耗时、昂贵且容易出错。为克服这一瓶颈，我们开发了一种集成大语言模型的方法，并在两个实际任务中验证了其有效性：(1) 对MIMIC-IV中的大规模未标记心电图（ECG）数据集进行标记；(2) 从EHR中的临床笔记中识别健康的社会决定因素（SDOH）。在权衡利益和成本后，我们选择了具有满意性能的多样化的开源大语言模型池。我们将每个大语言模型的预测视为一票，并采用基于简单多数投票机制的集成方法，设定最低获胜门槛。我们实现了用于EHR数据标记任务的集成大语言模型应用。通过使用集成大语言模型和自然语言处理技术，我们对MIMIC-IV中的包含623,566份心电图报告的大数据集进行了标记，估计准确率为98.2%。我们应用集成大语言模型方法从1,405份EHR临床笔记的社会历史部分中识别SDOH，也取得了竞争性的表现。实验结果显示，集成大语言模型在某些情况下甚至超过了目前最好的商业大语言模型，并且该方法减少了幻觉错误。通过研究，我们发现：(1) 集成大语言模型方法显著减少了大规模EHR数据标记所需的时间和努力，实现了高准确性和高质量的自动化过程；(2) 该方法在其他文本数据标记任务中表现出良好的通用性，如其在SDOH识别中的应用所示；(3) 一组多样化的集成大语言模型在某些情况下甚至能够超过或匹配最佳个体大语言模型的性能；(4) 集成方法大幅减少了幻觉错误。该方法提供了可扩展且高效的解决数据标记挑战的方案。