联邦学习是一种分布式学习框架，它允许客户端单独训练模型，并上传模型更新以进行聚合。本地训练过程严重依赖于分布式梯度下降技术。在无法获取梯度信息的情况下，需要从零阶信息中估计梯度，这通常涉及沿各向同性随机方向计算有限差分。这种方法存在较高的估计误差，因为在各向同性采样过程中可能会忽略目标景观的几何特征。在这项工作中，我们提出了一种非各向同性采样方法来改进梯度估计过程。在我们方法中，梯度是在由历史解决方案轨迹跨越的子空间中估计的，旨在鼓励探索有希望的区域，从而提高收敛速度。我们在零阶联邦设置中实现了这种方法，并表明收敛速度与现有方法一致，同时在通信或本地计算方面没有引入显著的开销。与几种常用的零阶联邦优化算法相比，我们在几个数值实验中验证了我们提议的有效性。