arXiv:2412.17411v2 通告类型: replace-cross 摘要：不确定性校准对于各种机器学习应用至关重要，但仍然极具挑战性。许多模型会表现出幻觉现象——即自信但不准确的响应——这是由于信心的误校准所致。在这里，我们证明了在深度学习中常见的随机初始化做法，尽管通常被认为是一种标准技术，实际上却是一个潜在的原因，导致未经训练的网络拥有过高的信心。我们的方法受到发育神经科学的启发，通过在预训练网络时使用随机噪声和标签来简单地解决这个问题，从而减少过高的信心，并将初始信心水平拉近随机猜测的水平。这确保了在后续数据训练过程中达到最优校准，使信心与准确性保持一致，无需额外的预处理或后处理步骤。预校准的网络在识别“未知数据”方面表现出色，对外分布输入显示较低的信心，从而解决了信心校准问题。