ICLRJan, 2023
ZiCo: 基于梯度变异反比的零样本 NAS
ZiCo: Zero-shot NAS via Inverse Coefficient of Variation on Gradients
Guihong Li, Yuedong Yang, Kartikeya Bhardwaj, Radu Marculescu
TL;DR本研究提出了一种新的零 - shot 代理模型（ZiCo），它能够通过预测测试性能来设计最佳神经网络架构，不仅比现有模型表现更好，而且不需要训练，可以在进行神经架构搜索时节省大量时间。此外，通过在 NAS-Benchmarks 基准下的对比实验，我们证明了该方法对于多种应用的数据集具有良好的适应性，并且所得到的最佳神经网络架构不仅与传统 NAS 方法相当，而且所需搜索时间更短。