Architecture design has become a crucial component of successful deep
learning. Recent progress in automatic neural architecture search (NAS) shows a
lot of promise. However, discovered architectures often fail to generalize in
the final evaluation. Architectures with a higher validati
提出了随机神经架构搜索 (SNAS),作为一种经济高效的神经架构搜索方案,它在同一次反向传播中训练神经操作参数和架构分布参数,同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS,提出一种全新的搜索梯度,优化效果比基于强化学习的 NAS 更高,同时加入局部可分解奖励,以强制实施资源有效约束,最终在 CIFAR-10 数据集上得到了业界领先的准确性。
本文提出了具有可证明收敛保证的生成式对抗网络 NAS (GA-NAS),并基于权重的鉴别器提供的奖励,采用增强学习训练生成器,探索搜寻空间而无需评估大量体系结构,通过三个公共 NAS 基准测试,在多个情况下 GA-NAS 都能打败已发布的最佳结果,同时 GA-NAS 可以处理特定搜寻约束和空间,能用于改进其他 NAS 方法找到的优化基线的 ImageNet 准确性或参数数量。