LLM2D
链排名:增强边缘设备上的领域特定RAG大型语言模型
Chain-of-Rank: Enhancing Large Language Models for Domain-Specific RAG in Edge Device
作者: Juntae Lee, Jihwan Bang, Seunghan Yang, Kyuhong Shim, Simyung Chang
发布日期: 2/24/2025
arXiv ID: oai:arXiv.org:2502.15134v1

摘要

arXiv:2502.15134v1 宣告类型: cross 摘要: 使用大规模语言模型(LLMs)的检索增强生成(RAG)在专业化领域尤其有价值,因为在这个领域中,精确性至关重要。为了使LLMs更加专业化以适应目标领域,最近通过Fine-tuning允许LLMs更早地访问目标领域的数据,从而开发了领域特定的RAG。在资源受限的环境中,如边缘设备,领域特定的RAG更为有意义,因为它们应该仅使用小型规模的LLMs可靠地完成特定任务(例如,个性化)。虽然领域特定的RAG在这一点上与边缘设备很好地契合,但它往往依赖于广泛使用的推理技术,如链式思考(CoT)。推理步骤有助于理解给定的外部知识,但小规模的LLMs很难学习它。针对这一点,我们提出了链秩(CoR),其重点从复杂的长时间推理转移到简洁地评估输入外部文档的可靠性。然后,CoR降低了计算复杂性的同时保持了高精度,使其特别适合资源受限的环境。我们在基准测试中取得了最先进的(SOTA)结果,并分析了其有效性。