简单高效的卷积神经网络架构搜索

Nov, 2017

简单高效的卷积神经网络架构搜索

Simple And Efficient Architecture Search for Convolutional Neural Networks

Thomas Elsken, Jan-Hendrik Metzen, Frank Hutter

TL;DR该研究提出了一种自动设计合适的卷积神经网络结构的方法，使用了能产生网络变形的“山峰爬升法”和余弦退火法，并取得了较为优异的结果。

Abstract

neural networks have recently had a lot of success for many tasks. However, neural network architectures that perform well are still typically designed manually by experts in a cumbersome trial-and-error process. We propose a new method to automatically search for well-performing

发现论文，激发创造

简单为上，简单架构超越深度和复杂架构

提出了一种简单的卷积神经网络架构(SimpleNet)，在保持计算和内存效率的同时，具有与更复杂的CNN相媲美的性能，在多个基准测试中表现出色，包括CIFAR-10，MNIST，CIFAR-100和SVHN，甚至在ImageNet数据集中也优于许多更大更深的CNN模型。

Aug, 2016

探索卷积神经网络并行化中的隐藏维度

本文提出了一种层级并行的方法来训练深度卷积神经网络，在这种方法中，每层神经网络都可以应用不同的并行策略以优化训练，通过解决图搜索问题来协同优化每个层的并行化方式。实验结果表明，与现有的并行化方法相比，采用该方法可以提高训练吞吐量，降低通信成本，实现更好的多GPU可扩展性，并保持原始网络的准确性。

Feb, 2018

ASAP:体系结构搜索，降温和裁剪

该论文提出了一种不同iable的搜索空间方法，可以通过逐渐修剪较差的操作，实现体系结构权重的退火，从而以连续的方式收敛到单个输出网络，实验表明该方法在视觉数据集上具有较高的准确性和较低的搜索成本。

Apr, 2019

基于元学习内核的高效可微分神经架构搜索

该研究提出了一种基于元卷积核的高效神经架构搜索策略，通过直接编码超级网络来缩小多个卷积核选项，从而在减少中间特征存储内存和资源预算的同时，实现更精细的搜索。该方法在ImageNet基准数据集上以357M FLOPs为限制可达到77.0%的top-1准确率，超过了EfficientNet和MobileNetV3，并且与最先进的NAS方法相比，在相同的计算预算下速度还快了三个数量级。

Dec, 2019

AtomNAS：细粒度端到端神经架构搜索

该文章提出了一种细粒度的搜索空间，有效地解决了神经体系结构搜索(NAS)中的搜索空间设计问题，其中包括资源感知的架构搜索框架和动态网络收缩技术，可同时进行搜索和训练，并在ImageNet上以小的搜索成本取得了最先进的性能。

Dec, 2019

利用图卷积网络匹配权重共享NAS的搜索空间

本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。

Apr, 2020

卷积网络的神经结构搜索简介

本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

May, 2020

四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在CIFAR-10和ImageNet上只花费0.5和4 GPU小时完成的高质量搜索。

Feb, 2021

山口爬升领域神经架构搜索的新框架

本研究提出了一个新的神经架构搜索框架，它基于一个使用形态操作的爬山过程并采用新的梯度更新方法。该技术可以在更广泛的搜索空间中搜索，从而产生竞争优势，其在单个GPU训练的19.4小时内在CIFAR-10数据集上实现了4.96％的错误率。

Feb, 2021

使用块智能自监督神经架构搜索探索混合CNN转换器

本文提出了Block-wisely Self-supervised Neural Architecture Search (BossNAS)方法，包括定义可搜索的CNN-transformer混合结构搜索空间HyTra、以及新型自监督训练策略ensemble bootstrapping。在此挑战性的搜索空间上，作者搜索得到的模型BossNet-T在ImageNet上可达到82.5%的准确率，且在MBConv和NATS-Bench大小的搜索空间上均有较高的最优架构效果。

Mar, 2021