LLM2D
Memory Augmented Knowledge Refinement
MARK: Memory Augmented Refinement of Knowledge
作者: Anish Ganguli, Prabal Deb, Debleena Banerjee
发布日期: 5/9/2025
arXiv ID: oai:arXiv.org:2505.05177v1

摘要

arXiv:2505.05177v1 宣布类型: 新 摘要: 大型语言模型(LLMs)在辅助专业任务方面表现出色,但在不进行昂贵的微调的情况下与不断演变的专业知识对接上存在困难。专业知识包含:知识:不可改变的事实(例如,“石头是固体”)和普遍接受的原则(例如,伦理标准);精炼记忆:由业务需求和现实世界变化不断塑造的见解。然而,领域专家的深刻、细腻的理解与系统中的专业知识之间往往存在显著差距,这可能阻碍准确的信息检索和应用。我们的Memory-Augmented Refinement of Knowledge(MARK)框架通过利用结构化的精炼记忆,结合Mind Society的理念,使LLMs能够不必重新训练即可持续学习。MARK通过专门的代理运作,每个代理承担不同的角色:残差精炼记忆代理:存储和检索特定领域的见解,以保持长期上下文;用户问题精炼记忆代理:捕获用户提供的情感、缩写和术语以提高理解;LLM响应精炼记忆代理:从响应中提取关键元素进行精炼和个人化。这些代理分析存储的精炼记忆,检测模式,解决冲突,并提高响应准确性。时间因素,如近期和频率,优先考虑相关的信息,同时摒弃过时的见解。MARK以多种方式增强LLMs:事实核查策略:通过建立结构化参考来减少幻觉;领域特定适应:对于像医疗保健、法律和制造业这样的领域至关重要,在这些领域,专有见解通常不在公开数据集中;个性化AI助手:通过记住用户偏好,确保长期的连贯响应,从而提高虚拟助手的质量。