联邦学习是一种去中心化的协作训练范式，它在提升性能和泛化能力的同时，保护了利益相关者对数据的拥有权。然而，客户端数据集之间的统计异质性构成了一个基本挑战，会降低系统性能。为了解决这个问题，我们提出了自适应无归一化特征重新校准（ANFR），这是一种架构级方法，它结合了权重标准化和通道注意力。权重标准化对层的权重进行归一化，而不是对激活值进行归一化。这使得它不太容易受到客户端统计信息不匹配和不一致平均的影响，从而在异质性下更加稳健。通道注意力为特征图生成可学习的缩放因子，抑制那些由于异质性而在客户端之间不一致的特征图。我们证明，通过增强类别选择性和优化通道注意力权重分布，将这些技术结合起来可以将模型性能提升到超越其各自贡献的水平。ANFR独立于聚合方法运行，在全局和个性化联邦学习环境中均有效，且计算开销极小。此外，在使用差分隐私进行训练时，ANFR 在隐私和效用之间取得了令人满意的平衡，能够在不牺牲性能的情况下提供强大的隐私保证。通过在主干模型中整合权重标准化和通道注意力，ANFR 为解决统计异质性挑战提供了一种新颖且通用的方法。我们通过大量实验表明，ANFR 在各种聚合方法、数据集和异质性条件下始终优于已建立的基线。