摘要
arXiv:2502.01980v1 宣告类型: cross
摘要:预测模型在部署后将遇到的各种挑战难以预料。常见的做法是一种被动的循环方法:模型部署、数据挖掘和重新训练。相反,我们通过在训练期间想象额外的数据来开发一种主动的长尾发现过程。特别地,我们开发了一般基于模型的长尾信号,包括一种不影响模型参数或预测性能但可以标记稀有或困难输入的差分的单次前向传递形式的先验不确定性。我们利用这些信号作为指导,从潜在扩散模型中生成额外的训练数据,这一过程我们称之为长尾引导(LTG)。关键的是,我们可以在不重新训练扩散模型或预测模型的情况下进行LTG,也不需要将预测模型暴露于中间扩散状态。由LTG生成的数据具有语义上的变化,对图像分类基准测试的泛化性能产生了显著提高,并且可以通过分析来主动发现、解释和解决预测模型中的概念空白。