四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

Feb, 2021

四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective

Wuyang Chen, Xinyu Gong, Zhangyang Wang

TL;DR利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在CIFAR-10和ImageNet上只花费0.5和4 GPU小时完成的高质量搜索。

Abstract

neural architecture search (NAS) has been explosively studied to automate the discovery of top-performer neural networks. Current works require heavy training of supernet or intensive architecture evaluations, thus suffering from heavy resource consumption and often incurring search bi

发现论文，激发创造

ProxylessNAS：无代理神经架构搜索（NAS）技术在目标任务和硬件上的应用

本篇论文提出了ProxylessNAS方法，它能够在大规模的目标任务和硬件平台上直接学习网络结构，缩减计算成本并提供了一种高效的CNN网络结构设计方法。实验结果表明，ProxylessNAS可以在CIFAR-10和ImageNet数据集上超越以前的最优架构，并提供了硬件性能的定制化。

Dec, 2018

神经架构搜索的搜索阶段评估

本篇论文研究了神经架构搜索中搜索策略的有效性，并比较了NAS搜索策略与随机体系结构选择的质量，发现当前优秀的NAS算法与随机策略表现相似，并且广泛使用的权重共享策略降低了NAS候选项的排名。通过该研究，期望设计出更为优越的NAS策略和创造一一种新的评估框架。

Feb, 2019

ASAP:体系结构搜索，降温和裁剪

该论文提出了一种不同iable的搜索空间方法，可以通过逐渐修剪较差的操作，实现体系结构权重的退火，从而以连续的方式收敛到单个输出网络，实验表明该方法在视觉数据集上具有较高的准确性和较低的搜索成本。

Apr, 2019

平衡一次性神经架构优化

通过平衡神经网络结构大小的训练，提出了Balanced NAO方法来解决One-shot NAS性能劣于传统NAS的问题，该方法的综合实验表明其有效性和鲁棒性，通过该方法在CIFAR-10和ImageNet数据集上发现的架构较基线模型可以将测试误差率降低到2.60％和74.4％的top-1准确率。

Sep, 2019

卷积网络的神经结构搜索简介

本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

May, 2020

神经网络结构搜索的综合调查：挑战与解决方案

本文对神经网络结构自动设计的算法——神经架构搜索进行了全面的综述与研究，提出了对早期算法的问题的总结和解决方案，并对这些工作进行了详细的比较和总结。文章最后给出了可能的未来研究方向。

Jun, 2020

ISTA-NAS：通过稀疏编码实现高效、一致的神经架构搜索

通过稀疏编码的方法，进行可微的搜索及网络结构恢复，以满足稀疏性约束，提高了神经结构搜索的效率和性能。

Oct, 2020

NetAdaptV2: 带快速超级网络训练和架构优化的高效神经网络架构搜索

本文提出NetAdaptV2，通过三项创新工作平衡各个步骤的时间并支持非可微分搜索指标，进而加速神经结构搜索并提高神经网络性能。

Mar, 2021

基于渐变的训练免费神经结构搜索的统一和增强

本文提出了一个统一的理论分析框架来研究基于梯度的免训练神经构架搜索方法，从而理论上研究它们之间的关系、保证它们的泛化性能并开发一种名为Hybrid NAS(HNAS)的新框架，它在原则上可以持续提高训练免费NAS的效果。

Jan, 2022

GPT-NAS: 采用生成式预训练模型进行神经架构搜索

GPT-NAS是一种基于预训练模型的神经结构搜索算法，通过引入先验知识来大大减少搜索空间，从而优化神经网络架构，并在实验中取得了比其他七个手动设计的神经结构和竞争NAS方法提供的13个神经结构的好结果，并提高了经过精细调整的神经结构的性能。

May, 2023