检索增强生成（RAG）系统，如 Retro，已被证明可以通过从包含数万亿条记录的非参数化内存数据库中检索来提高语言建模能力，并减少毒性和幻觉。我们介绍了 Retro-li，它表明检索也可以帮助使用小规模数据库，但它需要更准确和更好的邻居，以便在更小、更稀疏的非参数化内存中搜索。这可以通过使用适当的语义相似性搜索来实现。我们进一步提出首次向非参数化内存添加正则化：当推理期间邻居搜索操作存在噪声时，它可以显著降低困惑度，并且当发生领域偏移时，它可以提高泛化能力。我们还表明，Retro-li 的非参数化内存可以潜在地在模拟内存计算硬件上实现，表现出 O(1) 搜索时间，同时在检索邻居时会产生噪声，而性能损失最小（<1%）。我们的代码可在以下地址获得：https://github.com/IBM/Retrieval-Enhanced-Transformer-Little。