arXiv:2502.04405v2 宣告类型: replace-cross 摘要：脉冲大规模语言模型已在各种场景中展示了其作为LLM的良好替代方案。现有方法创建脉冲LLM的方法，即直接训练和ANN-SNN转换，通常会导致性能下降和相对较高的计算成本。为了解决这些问题，我们提出了一种新颖的快速ANN-SNN转换策略（FAS），该策略分两阶段将LLM转换为脉冲LLM。第一阶段采用全参数微调预训练模型，因此不需要从头开始的直接训练。第二阶段引入一种粗到细的校准方法，以减少转换错误并提高准确性。在不同规模的LLM的自然语言和视觉语言任务上的实验表明，FAS可以实现最先进的性能，同时具有显著降低的推理延迟和计算成本。值得注意的是，FAS只需八步就实现了比OPT-7B模型高3%的准确性，同时降低了96.63%的能源消耗。源代码可在https://github.com/lc783/FAS获取。