ICCVApr, 2017

DeepArchitect: 自动设计和训练深层体系结构

PDF
TL;DR本文提出一种可自动设计、训练深度神经网络的框架，通过自动配置架构和超参数进行模型搜索，实现了对复杂搜索空间的高效探索，并展示了随机搜索、蒙特卡罗树搜索和顺序模型优化等多种模型搜索算法在 CIFAR-10 数据集上的比较试验结果。
deep learningarchitecturehyperparametersautomatic designmodel search algorithms
发现论文，激发创造
  • 面向模块化和可编程化的架构搜索

    本文提出一种编码通用计算图上的搜索空间的正式语言，解决了目前基于深度学习架构搜索的特定应用和通用超参数优化系统之间的折衷问题。该语言的结构使我们能够编写模块化、可组合和可重用的搜索空间，并在不同搜索空间和优化算法的组合中自由实验，而不必从头实现每个组合。我们在文中公开了该语言的实现。

    Sep, 2019

  • 神经架构搜索综述

    本文综述了现有的方法，囊括了计算机领域中的神经体系结构搜索、自动化方法和深度学习等方面，内容包括常用的体系结构搜索空间和基于强化学习和进化算法的体系结构优化算法、模拟模型和单次模型。同时，文章对新的研究方向进行了探讨。

    May, 2019

  • 高效神经网络架构搜索空间定义的方法

    在这篇论文中，我们提出了一种新颖的基于细胞的分层搜索空间，易于理解和操作，旨在优化搜索时间并且足够通用，可以处理大多数卷积神经网络的最先进架构。

    Oct, 2023

  • 神经网络架构搜索：综述

    本文通过分类讨论搜索空间、搜索策略与性能估计策略三种维度，为神经架构自动搜索方法的存在研究提供了一个概述。

    Aug, 2018

  • 利用可解释性知识构建最优神经网络架构

    通过对操作和体系结构模块的潜在嵌入与其所出现的架构的实际性能进行对齐，AutoBuild 能够为体系结构模块分配可解释的重要性评分，从而构建高性能的神经网络，无需进行搜索。通过对图像分类、分割和稳定扩散模型的实验，我们展示了 AutoBuild 可以学习构建高质量体系结构或减少搜索空间以关注相关区域，找到超过原始标记的体系结构和搜索基准的体系结构的更好结果。

    Mar, 2024

  • 通过网络转换实现高效架构搜索

    本文提出了一种基于深度神经网络的自动化设计架构的新框架，该框架使用强化学习代理作为元控制器，通过功能保持变换在当前网络的基础上，尝试增加网络深度或层宽。在 CIFAR-10 和 SVHN 基准数据集上的测试表明，该方法在受限的计算资源下可以设计出具有高竞争力的网络，并在不使用跨层连接的条件下实现了 4.23％的测试误差率。

    Jul, 2017

  • 神经结构搜索的演化搜索空间

    通过维护一个优化的搜索空间子集的神经搜索空间演化（NSE）方案，引入可学习的多分支设置，实现了神经架构设计的自动化和优化，以在 ImageNet 上实现优异的表现和响应延迟限制。

    Nov, 2020

  • 深度神经网络结构和超参数优化的算法框架

    本篇论文提出一种基于演化有向无环图的算法框架，自动生成高效的深度神经网络并优化其相关超参数，与已有文献中的搜索空间相比更具灵活性，能优化网络的结构和超参数，已经在时间序列预测基准测试中得到了实验结果的验证。

    Feb, 2023

  • 自动梯度下降：无超参数的深度学习

    本文提出了一个新的框架来得出能够自动、无需超参数训练全连接和卷积神经网络的一阶优化器：自动梯度下降。该理论为下一代结构相关的优化器提供了严谨的理论基础。

    Apr, 2023

  • 有原则的考虑架构的超参数缩放

    通过对神经网络架构的深入研究，在初始化和学习率方面提出了新的原则，并验证了其对网络性能的改进，从而为当前架构设计的基准测试提供了新的方法。

    Feb, 2024