LLM2D
基于 ChatGPT 的零样本和少样本药物处方命名实体识别及文本扩展
Zero- and Few-shot Named Entity Recognition and Text Expansion in Medication Prescriptions using ChatGPT
作者: Natthanaphop Isaradech, Andrea Riedel, Wachiranun Sirikul, Markus Kreuzthaler, Stefan Schulz
发布日期: 9/27/2024
arXiv ID: oai:arXiv.org:2409.17683v1

摘要

## 摘要 **引言:** 药物处方通常以自由文本的形式出现,包含两种语言的混合、本地品牌名称以及各种特有的格式和缩写。大型语言模型 (LLMs) 在响应输入提示生成文本方面展现出巨大的潜力。我们利用 ChatGPT 3.5 自动构建和扩展出院小结中的药物陈述,从而使其更容易被人和机器理解。 **方法:** 我们在零样本和少样本设置下,使用不同的提示策略,应用命名实体识别 (NER) 和文本扩展 (EX)。我们手动标注和整理了 100 个药物陈述。使用严格匹配和部分匹配来衡量 NER 的性能。对于 EX 任务,两位专家通过评估原始陈述和扩展陈述之间的语义等效性来解读结果。模型性能通过精确率、召回率和 F1 分数来衡量。 **结果:** 对于 NER,性能最佳的提示在测试集中达到了平均 F1 分数 0.94。对于 EX,少样本提示在其他提示中表现出优异的性能,平均 F1 分数为 0.87。 **结论:** 我们的研究表明,使用 ChatGPT 在自由文本药物陈述中进行 NER 和 EX 任务可以取得良好的性能。与零样本基线相比,少样本方法避免了系统出现幻觉,这在处理与安全相关的药物数据时是不可接受的。