LLM2D
基于 DeBERTa 和动态上下文位置门控的高级自然语言处理框架,实现自动化医疗诊断
An Advanced NLP Framework for Automated Medical Diagnosis with DeBERTa and Dynamic Contextual Positional Gating
作者: Mohammad Ali Labbaf Khaniki, Sahabeh Saadati, Mohammad Manthouri
发布日期: 2/12/2025
arXiv ID: oai:arXiv.org:2502.07755v1

摘要

arXiv:2502.07755v1 交叉公告类型: cross 摘要:本文提出了一种新颖的自然语言处理(NLP)框架,通过结合数据增强、特征提取和分类等高级技术,提高医学诊断的准确性。所提出的方法利用反向翻译生成多样的同义数据集,提高了分类任务的鲁棒性并缓解了过拟合问题。利用解码增强的 DeBERTa(具有动态上下文位置门控的解纠缠注意力),该模型捕获了精细的上下文和位置关系,根据语义上下文动态调整位置信息的影响,生成高质量的文本嵌入。在分类方面,采用注意力基于的前向神经网络(ABFNN),有效聚焦于最相关的特征以提高决策准确度。应用于症状、医学笔记和其他医学文本的分类,此架构展示了其解决医学数据复杂性的能力。结合数据增强、上下文嵌入生成和高级分类机制,提供了一个稳健且准确的诊断工具,具有在自动化医学诊断和临床决策支持方面的潜在应用。该方法证明了所提出的NLP框架在医学诊断中的有效性,实现了99.78%的准确率、99.72%的召回率、99.79%的精确率和99.75%的F1分数。这些指标不仅突显了模型在分类医学文本方面表现出色的准确性和可靠性,还突显了其优于现有方法的优势,使其成为自动化诊断系统中的一款极具前景的工具。