通过网络转换实现高效架构搜索

AAAIJul, 2017

Efficient Architecture Search by Network Transformation

Han Cai, Tianyao Chen, Weinan Zhang, Yong Yu, Jun Wang

TL;DR本文提出了一种基于深度神经网络的自动化设计架构的新框架，该框架使用强化学习代理作为元控制器，通过功能保持变换在当前网络的基础上，尝试增加网络深度或层宽。在 CIFAR-10 和 SVHN 基准数据集上的测试表明，该方法在受限的计算资源下可以设计出具有高竞争力的网络，并在不使用跨层连接的条件下实现了 4.23％的测试误差率。

Abstract

Techniques for automatically designing deep neural network architectures such as reinforcement learning based approaches have recently shown promising results. However, their success is based on vast computationa

deep neural network architecture search reinforcement learning function-preserving transformations convolutional neural network

发现论文，激发创造

基于路径级网络转换的高效架构搜索

本文提出了一种新的神经网络结构搜索方法，使用网络转换函数实现路径级别的结构修改，通过强化学习实现搜索过程，实验表明，该方法可以提高参数效率和测试结果。

Jun, 2018

简单高效的卷积神经网络架构搜索

该研究提出了一种自动设计合适的卷积神经网络结构的方法，使用了能产生网络变形的 “山峰爬升法” 和余弦退火法，并取得了较为优异的结果。

Nov, 2017

使用强化学习的神经架构搜索: DQNAS

该论文介绍了使用强化学习和一次性训练为指导原则的自动神经架构搜索框架 DQNAS，用于生成具有优越性能且具有最小可扩展性问题的神经网络架构。该框架可以减少设计卷积神经网络的时间和测试成本。

Jan, 2023

神经架构搜索综述

本文综述了现有的方法，囊括了计算机领域中的神经体系结构搜索、自动化方法和深度学习等方面，内容包括常用的体系结构搜索空间和基于强化学习和进化算法的体系结构优化算法、模拟模型和单次模型。同时，文章对新的研究方向进行了探讨。

May, 2019

使用强化学习设计神经网络结构

使用元建模算法 MetaQNN 根据强化学习自动生成高性能卷积神经网络 (CNN) 结构，可以在图像分类基准测试中击败同层级别的现有网络，并且相比其他网络设计元建模方法具有更好的效果.

Nov, 2016

山口爬升领域神经架构搜索的新框架

本研究提出了一个新的神经架构搜索框架，它基于一个使用形态操作的爬山过程并采用新的梯度更新方法。该技术可以在更广泛的搜索空间中搜索，从而产生竞争优势，其在单个 GPU 训练的 19.4 小时内在 CIFAR-10 数据集上实现了 4.96％的错误率。

Feb, 2021

高效有效的 GAN 结构搜索的离线策略强化学习

本文提出了基于强化学习的神经架构搜索方法，用于寻找生成对抗网络的最佳结构。结合马尔科夫决策过程和离线搜索算法能够提高搜索效率，该方法能够以较少的计算负担找到高竞争性的架构，获得更好的图像生成结果。

Jul, 2020

高效架构搜索的层次化表示

本文介绍了一种基于层次遗传表征和复杂拓扑的新颖神经体系结构搜索方法，该方法能够高效地发现优于许多手动设计模型的分类器，同时该方法通过随机搜索得到了更高的准确度并将搜索时间缩短至 1 小时。

Nov, 2017

ASAP: 体系结构搜索，降温和裁剪

该论文提出了一种不同 iable 的搜索空间方法，可以通过逐渐修剪较差的操作，实现体系结构权重的退火，从而以连续的方式收敛到单个输出网络，实验表明该方法在视觉数据集上具有较高的准确性和较低的搜索成本。

Apr, 2019

可微架构搜索：DARTS

本文介绍了一种基于可微分的连续松弛方法来应对体系结构搜索的可扩展性挑战，该方法可在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 等数据集中快速搜索高性能的卷积体系结构和循环体系结构。

Jun, 2018