尽管测试时自适应（TTA）在解决训练数据和测试数据之间分布差异方面显示出前景，但由于统一的目标估计，其有效性在异构数据流中会下降。之前的尝试仅仅稳定模型随时间的微调以处理不断变化的环境，它们从根本上假设任何时刻的目标域都是同质的，从而未解决现实世界数据固有的异质性。本文深入研究了异构数据流下的TTA，超越了当前以模型为中心的局限性。从数据中心的视角重新审视TTA，我们发现将样本分解到傅里叶空间有助于准确地分离不同频率级别的各个数据。基于此洞见，我们提出了一种新颖的基于频率的去中心化自适应（FreDA）框架，该框架将数据从傅里叶空间的全局异构转换为局部同构，并采用去中心化自适应来管理不同的分布偏移。有趣的是，我们设计了一种新颖的基于傅里叶变换的数据增强策略来辅助去中心化自适应，该策略单独增强样本质量以捕获每种类型的分布偏移。在各种环境（损坏的、自然的和医疗环境）中进行的大量实验表明，我们提出的框架优于现有技术。