近年来，去噪扩散模型的研究将其应用扩展到了图像恢复领域。传统的基于扩散的图像恢复方法利用退化图像作为条件输入来有效地引导逆向生成过程，而没有修改原始去噪扩散过程。然而，由于退化图像已经包含低频信息，从高斯白噪声开始会导致采样步骤增加。我们提出了Resfusion，一个将残差项融入扩散正向过程的通用框架，从噪声退化图像直接开始逆向过程。我们的推理过程形式与DDPM一致。我们引入了一种名为resnoise的加权残差噪声作为预测目标，并明确提供了残差项与resnoise中噪声项之间的定量关系。通过利用平滑等效变换，Resfusion确定了最佳加速步骤，并保持了现有噪声计划的完整性，统一了训练和推理过程。实验结果表明，Resfusion在ISTD数据集、LOL数据集和Raindrop数据集上仅用五个采样步骤就表现出具有竞争力的性能。此外，Resfusion可以轻松应用于图像生成，并展现出强大的通用性。我们的代码和模型可在https://github.com/nkicsl/Resfusion获取。