arXiv:2502.04573v1 Announce Type: cross 摘要：我们提出了一种对抗预训练的变压器（APT），它能够在不使用任何真实世界数据集进行预训练的情况下，对表格预测任务执行零样本元学习，扩展了最近Prior-Data Fitted Networks（PFNs）和TabPFN的发展。具体来说，APT是通过对抗合成数据代理进行预训练的，这些代理继续改变其基础数据生成分布，并故意用不同的合成数据集挑战模型。此外，我们提出了一种混合块架构，能够处理任意类别的分类任务，解决了Prior deep tabular zero-shot learners中的类别大小限制——这是其关键弱点之一。在实验中，我们展示了在不筛选数据集特征（如类别数和缺失值数）的情况下，我们的框架在小型分类任务上的性能达到了最先进的水平，同时保持平均运行时间在1秒以内。在分类和回归的常见基准数据集套件中，我们展示了对抗预训练能够提高TabPFN的表现。在我们的分析中，我们证明了对抗合成数据代理能够生成比TabPFN中的普通随机生成器更为多样的数据集合。此外，我们展示了我们的混合块神经网络设计在增强泛化能力和显著加速预训练方面均有显著提升。