在大型预训练任务中，获得完全干净或人工标注的样本往往不切实际，因此减轻噪声标签对训练过程的负面影响变得越来越重要。然而，现有的噪声缓解方法由于其任务特定的设计、模型依赖性和显著的计算开销，在实际应用中往往会遇到局限性。在这项工作中，我们利用高维正交性的特性，在锥空间中识别出一个稳健且有效的边界，用于分离干净样本和噪声样本。在此基础上，我们提出了一种模型无关的噪声标签缓解范式，称为一步反噪声 (OSA)，该范式采用一个估计模型和一个评分函数，通过一步推理（一个成本效益高的过程）来评估输入对的噪声水平。我们通过实验证明了 OSA 的优越性，突出了其增强的训练鲁棒性、改进的任务可迁移性、易于部署以及在各种基准、模型和任务中降低的计算成本。我们的代码已发布在 https://github.com/leolee99/OSA。