CVPRMar, 2024

利用可解释性知识构建最优神经网络架构

PDF
TL;DR通过对操作和体系结构模块的潜在嵌入与其所出现的架构的实际性能进行对齐，AutoBuild 能够为体系结构模块分配可解释的重要性评分，从而构建高性能的神经网络，无需进行搜索。通过对图像分类、分割和稳定扩散模型的实验，我们展示了 AutoBuild 可以学习构建高质量体系结构或减少搜索空间以关注相关区域，找到超过原始标记的体系结构和搜索基准的体系结构的更好结果。
neural architecture searchautobuildlatent embeddingshigh-performance neural networkssearch space
发现论文，激发创造
  • DeepArchitect: 自动设计和训练深层体系结构

    本文提出一种可自动设计、训练深度神经网络的框架，通过自动配置架构和超参数进行模型搜索，实现了对复杂搜索空间的高效探索，并展示了随机搜索、蒙特卡罗树搜索和顺序模型优化等多种模型搜索算法在 CIFAR-10 数据集上的比较试验结果。

    Apr, 2017

  • 高效神经网络架构搜索空间定义的方法

    在这篇论文中，我们提出了一种新颖的基于细胞的分层搜索空间，易于理解和操作，旨在优化搜索时间并且足够通用，可以处理大多数卷积神经网络的最先进架构。

    Oct, 2023

  • 神经结构搜索的演化搜索空间

    通过维护一个优化的搜索空间子集的神经搜索空间演化（NSE）方案，引入可学习的多分支设置，实现了神经架构设计的自动化和优化，以在 ImageNet 上实现优异的表现和响应延迟限制。

    Nov, 2020

  • 神经架构搜索综述

    本文综述了现有的方法，囊括了计算机领域中的神经体系结构搜索、自动化方法和深度学习等方面，内容包括常用的体系结构搜索空间和基于强化学习和进化算法的体系结构优化算法、模拟模型和单次模型。同时，文章对新的研究方向进行了探讨。

    May, 2019

  • 高效神经结构压缩的可学习嵌入空间

    在网络结构域上，我们提出了一种增量学习嵌入空间的方法，借此实现对架构的选择，该算法可在压缩架构搜索中优于随机搜索和强化学习，其找到的压缩架构也比经典的手动设计的紧凑架构 ShuffleNet 更好。

    Feb, 2019

  • 带有知识蒸馏的分块监督神经网络架构搜索

    本文旨在通过将神经体系结构搜索的大搜索空间模块化为块，以确保潜在的候选架构完全训练，从而降低共享参数引起的表示移位并导致对候选项的正确评级，并且从教师模型中提取体系结构知识来指导我们的块搜索，这显着提高了 NAS 的有效性和效率。

    Nov, 2019

  • 面向模块化和可编程化的架构搜索

    本文提出一种编码通用计算图上的搜索空间的正式语言，解决了目前基于深度学习架构搜索的特定应用和通用超参数优化系统之间的折衷问题。该语言的结构使我们能够编写模块化、可组合和可重用的搜索空间，并在不同搜索空间和优化算法的组合中自由实验，而不必从头实现每个组合。我们在文中公开了该语言的实现。

    Sep, 2019

  • 神经架构搜索中的深度主动学习

    本文研究了主动学习深度神经网络，并提出了一种新的主动策略，该策略能够在学习过程中搜索有效的架构，同时使用三种已知的查询技术（softmax response，MC-dropout 和 coresets）进行应用，结果表明该方法在固定架构的主动学习方面表现出显著的优势。

    Nov, 2018

  • 神经网络架构搜索：综述

    本文通过分类讨论搜索空间、搜索策略与性能估计策略三种维度，为神经架构自动搜索方法的存在研究提供了一个概述。

    Aug, 2018

  • 神经架构优化

    本论文提出了一种基于连续优化的自动神经架构设计方法，使用编码器、预测器和解码器组成的方法在连续空间中进行梯度优化，通过将较好的嵌入解码成新的架构，最终实现在 CIFAR-10 和 PTB 数据集上高效发现神经网络，并与之前的方法相比实现了较好的效果。

    Aug, 2018