在四个 GPU 小时内寻找强韧的神经网络结构
利用神经切向核和输入空间中的线性区域数来排名结构,通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索,使用基于剪枝的 NAS 机制进行灵活且优越的权衡,实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。
Feb, 2021
该论文提出了一种不同 iable 的搜索空间方法,可以通过逐渐修剪较差的操作,实现体系结构权重的退火,从而以连续的方式收敛到单个输出网络,实验表明该方法在视觉数据集上具有较高的准确性和较低的搜索成本。
Apr, 2019
该研究论文提出了一种新的可微分架构搜索方法,通过分布学习问题来加以实现,并将连续松弛的架构混合权重视为随机变量,以 Dirichlet 分布进行建模,通过路径导数优化 Dirichlet 参数,并采用渐进学习方案消除了不同 iable NAS 的大内存消耗,在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。
Jun, 2020
我们提出了一种基于沙漏启发式方法的神经架构搜索算法,该算法能通过识别关键块并将其优先考虑,从而快速搜索出网络架构,同时保持准确性,并且在计算资源的限制下,进一步缩小了搜索空间,获得了 77.0%的 Top-1 准确率,超过了最先进的方法。
May, 2020
本文提出了一种高效的神经架构搜索(Neural Architecture Search, NAS)框架,基于元学习的跨模态潜空间,结合预训练的网络库和数据库,可以快速地为新数据集搜索神经架构,并且还提出了一种元性能预测器来从多个未见数据集中预估和选择最佳的神经架构。实验结果表明,该模型受过 ImageNet-1K 的元学习并结合 NAS-Bench 201 搜索空间的神经架构,在包括 CIFAR-10 和 CIFAR-100 等多个未见数据集上成功泛化,平均搜索时间为 33 GPU 秒,即使在 MobileNetV3 搜索空间下,它比具有相似性能的可转移 NAS 方法 NSGANetV2 快 5.5K 倍。我们认为这为快速 NAS 和利用累积多年的数据集和架构的知识提出了新的研究方向。
Jul, 2021
本文提出了一种基于进化的神经架构搜索方法,利用基因表达式编程来进行卷积神经网络结构的发现,获得了良好的结果,同时也鼓励在进化的神经架构搜索中进行更多的实验。
May, 2020
本文提出了 Gradual One-Level Differentiable Neural Architecture Search (GOLD-NAS) 算法,采用可变资源约束逐步删除超级网络中弱操作器的方法,在标准的图像分类基准测试中发现了一系列 Pareto 最优体系结构。
Jul, 2020
本研究提出了 Single-Path NAS,这是一种新的可微分 NAS 方法,用于在少于 4 小时的时间内设计硬件高效的 ConvNets,并在移动设备下实现最高图像分类准确性。
Apr, 2019
本文提出了一种基于纵向梯度下降的可微分神经结构搜索方法(称为 NASP),其通过将搜索过程重新构成为一个优化问题,并在前向和反向传播期间仅允许更新一个操作的约束条件下,以 10 倍于 DARTS 方法的计算时间加速获得高性能的架构。
May, 2019
本文提出了一种专为生成对抗网络(GAN)设计的 AdversarialNAS 方法,它是第一种能够同时搜索生成器和鉴别器架构的方法,并且不需要计算任何额外指标以评估搜索架构性能,该方法在 CIFAR-10 上取得了新的最优状态下的 FID 分数 10.87 和高竞争的 Inception Score 8.74,并且也在 STL-10 上取得了新的最优状态下的 FID 分数 26.98 和 Inception Score 9.63。
Dec, 2019