Jun, 2019

学习动作空间的高效神经架构搜索

PDF
TL;DR本文提出了一种名为 LaNAS 的神经结构搜索方法，通过学习用于递归将搜索空间分成具有相似性能指标的好或坏区域的动作，可以显着提高搜索效率，实验结果表明，LaNAS 至少比进化算法、贝叶斯优化和随机搜索等基线方法高一个数量级的采样效率，可以在较少的采样次数中达到令人惊叹的性能。
neural architecture searchmctslatent actionsample efficiencyperformance metric
发现论文，激发创造
  • 当 NAS 遇上树：一种高效的神经结构搜索算法

    TNAS 是新的神经结构搜索方法，它使用架构树和二进制运算树来分解搜索空间并减少探索大小，采用修改后的双层宽度优先搜索在提议的树中发现高性能架构，在四个 GPU 小时内在 NAS-Bench-201 上找到 94.37％的 CIFAR-10 全局最优体系结构和 94.35％的平均测试准确率超过了现有技术水平。

    Apr, 2022

  • 朝着更少限制的宏观神经架构搜索

    本文提出了一种名为 LCMNAS 的方法，它能够在非约束搜索空间条件下执行宏搜索，同时不依赖于预定义的启发式算法或范围限制，并引入三个组成部分来推动神经架构搜索方向的发展：利用有关广泛应用架构的信息，自主生成基于具有隐藏属性的加权有向图的复杂搜索空间的方法，从头开始生成完整的架构的进化搜索策略，以及结合有关初始化阶段和更低保真度估计的信息来推断它们对于建模复杂函数的训练能力和容量情况的混合性能估计方法，在 13 个不同的数据集上进行了实验，显示出 LCMNAS 能够使用最少 GPU 计算生成单元和基于宏的架构，并在各方面都取得了最先进的结果。

    Mar, 2022

  • 实例感知神经架构搜索

    本文提出了一种基于实例的神经架构搜索方法 InstaNAS，通过搜索一种 “架构分布” 而不是单一的神经架构，确保难以处理的样本使用复杂的神经架构来减少前处理时间，并在搜索空间中验证表明，与 MobileNetV2 相比，在多个数据集上具有相同的准确性和大约 48.8％的前处理时间减少。

    Nov, 2018

  • 增强式进化神经架构搜索

    提出了一种名为 RE-NAS 的神经架构搜索方法，结合了进化算法和强化突变控制，成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet，并在移动 ImageNet 上取得了最新的最高准确率。

    Aug, 2018

  • 带蒙特卡罗树搜索的优先级架构抽样

    通过基于 Monte Carlo 树搜索的采样策略，依赖于各层之间的关系，使用节点通信和分层选择方法以实现更好的探索和利用平衡，并构建了一个基于 CIFAR-10 的宏搜索空间的开源 NAS 基准测试 NAS-Bench-Macro，从而显著提高了搜索效率和性能。

    Mar, 2021

  • MANAS：多智能体神经架构搜索

    本文提出了两种轻量级的神经架构搜索算法，并将 NAS 问题转化为多智能体问题以提高计算效率，理论上证明了 O (sqrt (T)) 的消失后悔率，实验结果在多个数据集和网络配置上表现优异，其中包括随机搜索。

    Sep, 2019

  • AttentiveNAS: 通过注意力采样提高神经架构搜索

    本文提出了一种名为 AttentiveNAS 的神经结构搜索算法，通过优化网络搜索策略，实现了更好的性能 Pareto，并成功应用于 ImageNet 上，取得了性能上的巨大提升。

    Nov, 2020

  • 高效渐进式神经结构搜索

    该研究提出了一种名为 EPNAS（高效渐进的神经结构搜索）的神经结构搜索方法，它通过一种新的渐进搜索策略和基于 REINFORCE 的性能预测有效地处理大型搜索空间。EPNAS 被设计成能够在并行系统（如 GPU/TPU 集群）上并行搜索目标网络。该方法还可以推广到具有多个资源限制的体系结构搜索，这对于在移动设备和云平台等广泛平台上进行部署非常重要。在使用 CIFAR10 和 ImageNet 进行图像识别任务时，该方法在架构搜索速度和识别准确性方面均优于先进的网络结构和高效的 NAS 算法。

    Jul, 2019

  • SNAS：随机神经结构搜索

    提出了随机神经架构搜索 (SNAS)，作为一种经济高效的神经架构搜索方案，它在同一次反向传播中训练神经操作参数和架构分布参数，同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS，提出一种全新的搜索梯度，优化效果比基于强化学习的 NAS 更高，同时加入局部可分解奖励，以强制实施资源有效约束，最终在 CIFAR-10 数据集上得到了业界领先的准确性。

    Dec, 2018

  • 无需训练的神经架构搜索

    本研究使用网络激活度重叠的方式实现预测神经网络的训练精度，并将其应用于神经结构搜索，以实现在单个 GPU 上进行快速网络搜索。同时，我们还提出了一种基于正则化进化搜索的适应方法，以进一步提高搜索效率。

    Jun, 2020