Jun, 2019

XNAS: 带有专家建议的神经结构搜索

PDF
TL;DR本文提出了一种新颖的基于预测理论的微分神经结构搜索优化方法，其优化标准很适合于架构选择，即最小化次优操作选择所产生的遗憾。我们的方法动态地清除劣质结构并增强优秀结构，它获得了最优最坏情况遗憾的较佳性能，并建议使用基于反向梯度携带信息量的多个学习速率。该算法在多个图像分类数据集上均获得了强大的性能，具体而言，在移动设置下 CIFAR-10 达到 1.6％的错误率，ImageNet 达到 24％的错误率，并在另外三个数据集上实现了最新的研究成果。
neural architecture searchoptimization methodregret minimizationlearning rateimage classification
发现论文，激发创造
  • DrNAS: Dirichlet 神经架构搜索

    该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

    Jun, 2020

  • 神经体系结构搜索的神经预测器

    该论文提出一种比传统方法简单且更加高效的神经网络结构搜索方法，在 NASBench-101 基准测试上的表现是传统方法的 20 倍，同时还可以像基于权重共享的 ProxylessNAS 一样在 ImageNet 上获得较好的结果。

    Dec, 2019

  • 神经架构搜索的几何感知梯度算法

    本文研究神经架构搜索中的优化问题，提出一种基于单层经验风险最小化的几何感知框架，结合梯度下降和正则化的优化器，通过基于连续优化的松弛方法实现对离散寻找空间的搜索，成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。

    Apr, 2020

  • MANAS：多智能体神经架构搜索

    本文提出了两种轻量级的神经架构搜索算法，并将 NAS 问题转化为多智能体问题以提高计算效率，理论上证明了 O (sqrt (T)) 的消失后悔率，实验结果在多个数据集和网络配置上表现优异，其中包括随机搜索。

    Sep, 2019

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020

  • 高效架构搜索的层次化表示

    本文介绍了一种基于层次遗传表征和复杂拓扑的新颖神经体系结构搜索方法，该方法能够高效地发现优于许多手动设计模型的分类器，同时该方法通过随机搜索得到了更高的准确度并将搜索时间缩短至 1 小时。

    Nov, 2017

  • 可微架构搜索：DARTS

    本文介绍了一种基于可微分的连续松弛方法来应对体系结构搜索的可扩展性挑战，该方法可在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 等数据集中快速搜索高性能的卷积体系结构和循环体系结构。

    Jun, 2018

  • ASAP: 体系结构搜索，降温和裁剪

    该论文提出了一种不同 iable 的搜索空间方法，可以通过逐渐修剪较差的操作，实现体系结构权重的退火，从而以连续的方式收敛到单个输出网络，实验表明该方法在视觉数据集上具有较高的准确性和较低的搜索成本。

    Apr, 2019

  • 医学图像分类的轻量级神经架构搜索模型

    通过基于双层优化的稀疏概率生成方法，Z0-DARTS + 提高了搜索效率，与最先进的解决方案相比，匹配了状态技术的准确性，并将搜索时间缩短了三倍。

    May, 2024

  • 卷积网络的神经结构搜索简介

    本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

    May, 2020