针对关键结构进行像素级精度的裂缝检测是一项重大挑战，因为现有方法难以有效整合裂缝的局部纹理和像素依赖关系。此外，这些方法通常参数众多，计算需求量大，这使得在边缘控制设备上的部署变得复杂。本文提出了一种阶梯式级联融合裂缝分割网络（CrackSCF），该网络使用最少的计算资源生成高质量的裂缝分割图。我们构建了一个阶梯式级联融合模块，有效地捕捉裂缝的局部模式和像素的长程依赖关系，并能很好地抑制背景噪声。为了减少模型所需的计算资源，我们引入了一个轻量级卷积块，它取代了网络中的所有卷积运算，显著减少了所需的计算量和参数，而不会影响网络的性能。为了评估我们的方法，我们创建了一个具有挑战性的基准数据集TUT，并在该数据集和其他五个公共数据集上进行了实验。实验结果表明，我们的方法比现有方法具有显著优势，尤其是在处理背景噪声干扰和精细裂缝分割方面。在TUT数据集上，F1分数和mIoU分数分别为0.8382和0.8473，达到了最先进的（SOTA）性能，同时所需的计算资源最少。代码和数据集可在https://github.com/Karl1109/CrackSCF获取。