arXiv:2410.10481v2 宣告类型: replace-cross 摘要：随着大型语言模型（LLMs）的普及，有效地利用领域特定知识同时确保隐私变得至关重要。现有方法往往难以平衡实用性和隐私性。例如，检索增强生成（RAG）使LLMs能够访问领域特定知识，但牺牲了敏感数据的隐私。另一方面，差分隐私数据合成技术提供了强大的隐私保障，但通常导致较差的实用性。为了解决这一挑战，我们提出了Llamdex，这是一种新颖的框架，通过仅使用训练于领域特定数据的模型并通过精心设计的连接模块整合到LLM中来增强LLM。我们的方法显著提升了领域特定任务的准确性，与在相同差分隐私约束下的最新数据合成方法相比，准确率提高了26%。实验结果表明，Llamdex不仅提高了LLM响应的准确性，还保持了与原始LLM相当的推理效率，突显了其实用潜力。