arXiv:2502.14280v1 宣言类型：交叉 摘要：大型语言模型（LLMs）近年来在许多语言任务上取得了令人印象深刻的成果。然而，使用LLMs高效处理长上下文仍然是一项重大挑战。我们引入了**EpMAN** -- 一种在** episodic 记忆**模块中处理长上下文的方法，同时**整体关注**语义相关的上下文片段。episodic 注意力的输出随后用于在训练和生成期间重新加权解码器的自注意力到存储的KV缓存。当使用**EpMAN**训练LLM解码器时，发现其在多个具有挑战性的单跳长上下文回忆和问答基准测试中的表现比使用自注意力和流行检索增强生成框架训练的基本解码器更强且更稳定，在16k到256k词元的范围内都表现出色。