arXiv:2410.00004v2 通知类型: 替换-交叉 摘要: 回溯等检索增强生成(RAG)系统已被证明通过从包含万亿条条目的非参数记忆数据库中检索，可以提高语言建模能力并减少有毒性和幻觉现象。我们介绍了回溯-li，展示了即使使用小型数据库，检索也可以提供帮助，但要求在较小且因此更稀疏的非参数记忆中搜索时更具准确性和更好的邻近性。这可以通过使用适当的语义相似性搜索来满足。我们还首次提出对非参数记忆进行正则化：在推理过程中邻近搜索操作噪声较大时，它可以显著降低困惑度；在出现领域转移时，它可以提高泛化能力。我们还展示了回溯-li的非参数记忆可以潜在地在模拟内存计算硬件上实现，在检索邻近项时具有O(1)的搜索时间，并且不会造成性能损失（<1%）。我们的代码可在以下地址获得：https://github.com/IBM/Retrieval-Enhanced-Transformer-Little。