arXiv:2502.04405v1 类型: cross 摘要: 静态脉冲大语言模型在各种场景中被证明是大语言模型（LLMs）的很好替代方案。现有的创建静态脉冲大语言模型（Spiking LLMs）的方法，即直接训练和ANN-SNN转换，往往面临着性能下降和相对较高的计算成本问题。为了解决这些问题，我们提出了一种新的快速ANN-SNN转换策略（FAS），该策略通过两个阶段将LLMs转换为脉冲LLMs。第一阶段使用预训练模型的全参数微调，因此不需要从头开始的直接训练。第二阶段引入了一种粗到细的校准方法，以减少转换错误和提高准确性。我们在不同规模的LLMs上的语言和跨模态任务实验中证明，FAS可以在显著降低推理延迟和计算成本的同时实现最先进的性能。例如，FAS只需8个时间步就可以实现比OPT-7B模型高3%的准确率，同时减少能耗96.63%。