联邦学习是一种分布式学习框架，它允许客户端独立训练模型，并将模型更新上传进行聚合。本地训练过程高度依赖于分布式梯度下降技术。在梯度信息不可用的情况下，需要从零阶信息中估计梯度，这通常涉及沿着各向同性随机方向计算有限差分。这种方法存在着高估计误差，因为在各向同性采样过程中可能会忽略目标景观的几何特征。在这项工作中，我们提出了一种非各向同性采样方法来改进梯度估计过程。在我们的方法中，梯度是在由解的历史轨迹所跨越的子空间中估计的，旨在鼓励探索有希望的区域，从而提高收敛速度。我们在零阶联邦设置中实现了这种方法，并表明收敛速度与现有方法一致，同时在通信或本地计算方面没有引入显著的开销。我们的提议的有效性在与几种常用的零阶联邦优化算法的比较中，通过几个数值实验得到了验证。