利用 BONAS 缩小基于样本和一次通的神经架构搜索之间的差距

Nov, 2019

利用 BONAS 缩小基于样本和一次通的神经架构搜索之间的差距

Bridging the Gap between Sample-based and One-shot Neural Architecture Search with BONAS

Han Shi, Renjie Pi, Hang Xu, Zhenguo Li, James T. Kwok...

TL;DR本篇论文介绍了一种名为 BONAS 的基于贝叶斯优化的神经架构搜索框架，该框架使用图卷积网络预测器作为代理模型以在每次迭代中选择多个相关的候选模型，并采用权重共享方法来同时训练多个候选模型。该方法不仅可以显著加速传统的基于采样的方法，而且可以保持其可靠性。

Abstract

neural architecture search (NAS) has shown great potentials in finding better neural network designs. Sample-based NAS is the most reliable approach which aims at exploring the search space and evaluating the most promising architectures. However, it is computationally very costly. As

neural architecture search sample-based approach weight-sharing bayesian optimization graph convolutional network

发现论文，激发创造

BayesNAS: 一种用于神经结构搜索的贝叶斯方法

本文采用经典的贝叶斯学习方法，利用分层自动相关决策（HARD）先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题，并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构，同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。

May, 2019

NAS-Bench-1Shot1: 一次性神经架构搜索的基准测试和解剖

本文提出了一个通用框架，用于一次性神经架构搜索，并引入了一个基于最近推出的大规模表格基准 NAS-Bench-101 的基准测试框架，以评估一次性 NAS 方法的廉价性能，并比较了几种最先进的一次性 NAS 方法，检查它们对超参数的敏感性，以及如何通过调整它们的超参数来改进它们的性能，并将它们的性能与 NAS-Bench-101 的黑盒优化器进行比较。

Jan, 2020

后验引导的神经网络结构搜索

本研究从贝叶斯角度出发，提出了一种后验引导的神经结构搜索方法（PGNAS），通过估计网络结构和权重的联合后验分布，减少数据采样与超参数调整，并在图像分类任务上进行验证，证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。

Jun, 2019

PONAS: 面向高效部署的渐进式单次神经架构搜索

通过一种表格构建技术，PONAS 基于进步式神经架构搜索（NAS）和一次性 NAS 方法相结合，以非常高效的方式设计符合不同硬件约束的神经网络架构，实验中 ImageNet 分类任务的 top-1 精度达到了 75.2%。

Mar, 2020

基于先验指导的一次性神经架构搜索

本文介绍一种名为 Prior-Guided One-shot NAS 的神经架构搜索方法，它采用平衡采样策略、FLOPs 和 Zen-Score 等机制来加强超级网络的排名相关性，取得了 CVPR2022 第二轻量化 NAS 挑战赛超级网络轨道的第三名。

Jun, 2022

抑制后验衰减，提升一次性神经架构搜索

通过 Bayesian 分析，提出一种可实现后验均衡的神经网络架构搜索方法，该方法引入硬延迟约束，在满足标准 GPU 延迟约束的情况下，在 ImageNet 数据集上取得了最先进的性能，并在其他计算机视觉应用中实现了模型结构迁移。

Oct, 2019

平衡一次性神经架构优化

通过平衡神经网络结构大小的训练，提出了 Balanced NAO 方法来解决 One-shot NAS 性能劣于传统 NAS 的问题，该方法的综合实验表明其有效性和鲁棒性，通过该方法在 CIFAR-10 和 ImageNet 数据集上发现的架构较基线模型可以将测试误差率降低到 2.60％和 74.4％的 top-1 准确率。

Sep, 2019

少样本神经架构搜索

该研究提出了 few-shot NAS，利用多个超级网络（称为子超级网络）覆盖搜索空间的不同区域，以缓解操作之间的不良共适应，并证明其在多项任务中能够显著提高各种一次性方法的准确性，包括在 NasBench-201 和 NasBench1-shot-1 上的 3 个不同任务中的 4 个基于梯度的和 6 个基于搜索的方法，并在 ImageNet、CIFAR10 和 Auto-GAN 上取得最新水平。

Jun, 2020

共享权重神经架构搜索：缩小优化差距的战斗

本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

Aug, 2020

Bonsai-Net: 一种基于可微分剪枝器的一次性神经架构搜索

通过放宽神经架构搜索领域的范围，本研究提出了一种高效的一次性神经架构搜索方法 Bonsai-Net，可同时进行模型搜索和训练，并可显著减少使用更少参数比其他现有方法更好地发现优秀架构的全过程所需的时间。

Jun, 2020