虽然预训练语言模型通过基于提示的少样本学习展示了极大的灵活性和多功能性，但它们在推理时面临着庞大的参数规模和有限的适用性。最近的研究建议使用预训练语言模型作为数据集生成器，并训练一个微小的特定任务模型以实现高效推理。然而，它们的适用性在各种领域中受到限制，因为它们倾向于生成特定领域的数据集。在这项工作中，我们提出了一种新的通用领域泛化方法，可以生成与目标领域无关的数据集。这使得微小任务模型能够泛化到共享标签空间的任何领域，从而增强了数据生成范式在现实世界中的适用性。我们的实验表明，该方法在使用比预训练语言模型小几个数量级的参数集的同时，实现了跨各种领域的泛化能力。