arXiv:2504.03302v2 更新类型: 替换交叉 摘要：大型语言模型（LLMs）经常产生不准确或误导性的内容-幻觉。为了解决这一挑战，我们引入了噪声增强微调（NoiseFiT）这一新型框架，该框架利用基于信噪比（SNR）的自适应噪声注入来增强模型的鲁棒性。特别是，NoiseFiT根据识别为高-SNR（更鲁棒）或低-SNR（可能欠正则化）的层，以动态缩放的高斯噪声有选择地扰动这些层。我们还提出了一种混合损失，结合了标准交叉熵、软交叉熵和一致性正则化，以确保在有噪声的训练条件下能稳定且准确地输出。我们的理论分析表明，自适应噪声注入是无偏且方差保持的，为期望收敛提供了强大保证。在多个测试和基准数据集上的实验证明，NoiseFiT显著降低了幻觉率，在关键任务上常常优于或匹配基线性能。这些发现突显了噪声驱动策略在不增加计算开销的情况下实现稳定、可信的语言建模的潜力。鉴于我们实验的全面和详细性质，我们已将微调日志、基准评估的工具、以及源代码分别在W&B、Hugging Face和GitHub上公开发布，以促进进一步的研究、易用性和可再现性。