大型语言模型 (LLMs) 在推理过程中经常表现出过度自信，尤其是在适应数据有限的下游领域特定任务时。先前的工作通过在 LLM 训练完成后采用近似贝叶斯估计来解决这个问题，使它们能够量化不确定性。然而，这种训练后方法的性能受到训练过程中学习的参数的严重限制。在本文中，我们超越了训练后贝叶斯化，提出了通过反向传播的贝叶斯低秩自适应 (BLoB) 算法，该算法在整个微调过程中连续且联合地调整 LLM 参数的均值和协方差。我们的实证结果验证了 BLoB 在泛化和不确定性估计方面的有效性，在分布内和分布外数据上进行评估。