联邦学习高度依赖于分布式梯度下降技术。在梯度信息不可用的情况下，需要从零阶信息中估计梯度，这通常涉及沿各向同性随机方向计算有限差分。这种方法存在较高的估计误差，因为在各向同性采样过程中可能会忽略目标景观的几何特征。在这项工作中，我们提出了一种非各向同性采样方法来改进梯度估计过程。在我们的方法中，梯度是在由历史解轨迹跨越的子空间中估计的，旨在鼓励探索有希望的区域，从而提高收敛速度。所提出的方法使用协方差矩阵进行采样，该矩阵是两部分的凸组合。第一部分是一个薄投影矩阵，包含子空间的基础，旨在提高利用能力。第二部分是历史轨迹。我们在零阶联邦设置中实现了该方法，并表明收敛速度与现有方法一致，同时在通信或本地计算方面没有引入显著的开销。与几种常用的零阶联邦优化算法相比，我们在几个数值实验中验证了我们提议的有效性。