摘要
神经架构搜索 (NAS) 自动化神经网络设计,减少对人类专业知识的依赖。虽然 NAS 方法计算量大且特定于数据集,但辅助预测器减少了需要训练的模型,从而缩短了搜索时间。该策略用于生成满足多个计算约束的架构。近年来,可迁移 NAS 应运而生,将搜索过程从数据集依赖推广到任务依赖。在这个领域,DiffusionNAG 是一种最先进的方法。这种基于扩散的方法简化了计算,生成针对未见数据集的精度优化的架构,无需进一步适应。然而,DiffusionNAG 仅关注精度,忽略了模型复杂度、计算效率和推理延迟等其他关键目标——这些因素对于在资源受限的环境中部署模型至关重要。本文介绍了帕累托最优多目标神经架构生成器 (POMONAG),通过多目标扩散过程扩展了 DiffusionNAG。POMONAG 同时考虑了精度、参数数量、乘累加操作 (MAC) 和推理延迟。它集成了性能预测器模型来估计这些指标并引导扩散梯度。POMONAG 的优化通过扩展其训练元数据集、应用帕累托前沿过滤和细化嵌入以进行条件生成得到增强。这些增强使 POMONAG 能够生成帕累托最优架构,在性能和效率方面优于以前的最先进技术。结果在两个搜索空间(NASBench201 和 MobileNetV3)上得到验证,并在 15 个图像分类数据集上进行评估。