神经网络在学习偏差和误导性相关性时，难以进行图像分类，这会影响其泛化能力和性能。以往的方法需要属性标签（例如背景、颜色）或利用生成对抗网络 (GAN) 来减轻偏差。我们引入了 DiffuBias，这是一种用于文本到图像生成的新型管道，它通过生成偏差冲突样本增强分类器的鲁棒性，而无需在生成阶段进行训练。DiffuBias 利用预训练的扩散模型和图像字幕模型，利用来自有偏差分类器 ($f_B$) 的 top-$K$ 损失来创建更具代表性的数据样本，从而生成挑战分类器偏差的图像。这种方法不仅有效地去除了偏差，而且还增强了分类器的泛化能力。据我们所知，DiffuBias 是首个利用稳定扩散模型在去偏差任务中生成偏差冲突样本的方法。我们全面的实验评估表明，DiffuBias 在基准数据集上取得了最先进的性能。我们还对各种生成模型的碳排放和能源消耗进行了比较分析，以突出计算效率的重要性。