Dec, 2018

基于可微分神经架构搜索的硬件感知高效卷积神经网络设计：FBNet

PDF
TL;DR通过使用梯度的基础方法优化 ConvNet 结构，避免像以前的方法一样枚举并分别训练个别结构，我们提出了一个可微分的神经结构搜索（DNAS）框架。FBNets 是通过 DNAS 发现的模型族，其在设计和生成自动模型方面均超过手动设计的最新模型，并在移动设备上获得更高的准确性和更低的延迟。
convnetsneural architecture searchdifferentiablefbnetsmobile devices
发现论文，激发创造
  • MnasNet：面向移动端平台感知的神经结构搜索

    本文提出了一种自动化的移动神经结构搜索（MNAS）方法，该方法将模型延迟明确地纳入主要目标，以便搜索可以识别满足准确性和延迟之间良好平衡的模型， 实验结果表明，该方法在多个视觉任务中始终优于现有的移动卷积神经网络模型，并且实现了更好的 mAP 质量。

    Jul, 2018

  • FBNetV2: 可微分神经结构搜索用于空间和通道维度

    DMaskingNAS 是一种内存和计算效率高的可微神经网络搜索算法，在搜索空间方面比传统算法扩展了 10^14 倍，并利用了特征图重用的掩膜机制以及有效的形状传播，以达到与现有架构相比最优的性能表现。

    Apr, 2020

  • Single-Path NAS: 设备感知高效的 ConvNet 设计

    本文介绍了一种基于 Single-Path NAS 的新型可微分神经架构搜索方法，可以在移动设备延迟限制下设计高效的卷积神经网络，并实现了 Pixel 1 手机上的图像分类，取得了当前最先进的结果。

    May, 2019

  • 更灵活的神经结构搜索：密集连接的搜索空间

    本文提出了一种名为 DenseNAS 的神经架构搜索方法，通过设计一种密集连接的搜索空间，在该空间中搜索最佳路径来获得最终的体系结构，并使用一种链式成本估算算法来近似模型成本，优化准确性和模型成本。实验结果表明，DenseNAS 在 ImageNet 上具有很高的分类准确率，并成功优化了 ResNet 等多个模型的分类性能。

    Jun, 2019

  • 单路径 NAS：在少于 4 小时内设计硬件高效的 ConvNets

    本研究提出了 Single-Path NAS，这是一种新的可微分 NAS 方法，用于在少于 4 小时的时间内设计硬件高效的 ConvNets，并在移动设备下实现最高图像分类准确性。

    Apr, 2019

  • FBNetV5：一次运行多任务神经架构搜索

    FBNetV5 是一种神经架构搜索 (NAS) 框架，旨在为多种视觉任务搜索神经结构，具有更少的计算成本和人力成本。该框架具有包容性和可转移性的简单搜索空间，可独立于目标任务的训练管道进行多任务搜索，并通过单次搜索生成的模型，在图像分类、目标检测和语义分割等三个任务中均超过之前的最新水平。

    Nov, 2021

  • 单路径移动端自动机器学习：高效的卷积神经网络设计和 NAS 超参数优化

    本研究提出了一种新的 differentiable NAS 公式，名为 Single-Path NAS，将所有建筑决策编码为共享卷积核参数的一个单路径超参数卷积神经网络，大大降低了搜索过程的开销，并在移动延迟限制下实现了最新的图像分类结果。在不到 3 小时的时间内将 NAS 搜索成本降低到 8 个时期（24TPU 小时），比以前的工作快了多达 5,000 倍。

    Jul, 2019

  • 快速硬件感知神经网络结构搜索

    本文针对神经架构搜索中硬件多样性挑战和在广泛硬件上设计精确有效的卷积神经体系结构领域的挑战，提出了一种基于自动硬件感知搜索的两阶段搜索算法 HURRICANE。在 ImageNet 上的实验结果表明，该算法在相同延迟限制下，优于现有的基于硬件感知神经架构搜索方法，并且发现的架构比当前最先进的高效模型具有更低的延迟和更高的准确性。

    Oct, 2019

  • GPUNet：基于 GPU 的可部署卷积神经网络搜索

    该论文介绍了一种使用神经架构搜索技术快速定制卷积神经网络模型的方法。该方法构建了一个分布式的神经架构搜索系统，探索一个新的潜在搜索空间，并提出了一种使用 GPU 进行目标推理的优化模型 GPUNet，其推理速度可达 1ms，比现有模型具有更快的速度和更好的准确率，在不同任务和场景中都具有广泛的适应性。

    Apr, 2022

  • 基于元学习内核的高效可微分神经架构搜索

    该研究提出了一种基于元卷积核的高效神经架构搜索策略，通过直接编码超级网络来缩小多个卷积核选项，从而在减少中间特征存储内存和资源预算的同时，实现更精细的搜索。该方法在 ImageNet 基准数据集上以 357M FLOPs 为限制可达到 77.0% 的 top-1 准确率，超过了 EfficientNet 和 MobileNetV3，并且与最先进的 NAS 方法相比，在相同的计算预算下速度还快了三个数量级。

    Dec, 2019