arXiv:2502.10497v1 类型: cross 摘要: 近期在生成式人工智能方面的进展显著提高了自然语言处理（NLP）系统的效率和适应性，特别通过检索增强生成（RAG）、低秩适应（LoRA）和权重分解低秩适应（DoRA）。RAG 结合外部知识以增强生成输出的事实一致性，而 LoRA 使得大规模语言模型（LLMs）的参数高效 fine-tuning 成为可能。DoRA 进一步通过自适应参数排名和领域意识的权重调整优化 fine-tuning 过程，从而提高学习效率同时保持推理性能。 本文展示了 RAG、LoRA 和 DoRA 的大规模实证评估，模型 fine-tuning 和生成性能在 20,000 个基于 FAQ 的查询上进行评估，而知识库涵盖 400,000 条记录。该研究分析了诸如准确性、相关性和推理延迟等关键性能指标。实验结果表明，DoRA 在准确性（90.1%）、相关性评分（0.88）和最低延迟（每查询 110 毫秒）方面表现出色，在现实世界的领域特定生成式 AI 应用中超越了 LoRA 和 RAG。 此外，该研究还探讨了在不同模型中 fine-tuning 效率、计算成本和实时适应性之间的权衡。研究结果强调了 RAG 在知识落地方面的有效性、LoRA 在高效领域适应方面的成本效益，以及 DoRA 在平衡 fine-tuning 效率和模型精度方面的能力。这些见解为在诸如医疗服务、金融和法律服务等高精度领域部署以 AI 驱动的生成系统提供了实用指导，确保在动态环境中实现可扩展性、可靠性和最佳性能。