Jun, 2020

FBNetV3: 利用预测器预训练进行联合架构 - 配方搜索

PDF
TL;DR提出了一种同时搜索神经架构和相应的训练参数的新方法 —— 神经架构及训练参数搜索（NARS），其中利用了免费的架构统计信息（如 FLOP 计数）来预先训练准确性预测器，使用受约束的迭代优化方法训练预测器，然后快速进行进化搜索来生成一系列精简的神经网络，称为 FBNetV3，它在资源限制条件下的准确率优于其他自动或手动设计的对手。
neural architecture searchneural architecture-recipe searchfbnetv3flop countstate-of-the-art neural networks
发现论文，激发创造
  • FBNetV5：一次运行多任务神经架构搜索

    FBNetV5 是一种神经架构搜索 (NAS) 框架，旨在为多种视觉任务搜索神经结构，具有更少的计算成本和人力成本。该框架具有包容性和可转移性的简单搜索空间，可独立于目标任务的训练管道进行多任务搜索，并通过单次搜索生成的模型，在图像分类、目标检测和语义分割等三个任务中均超过之前的最新水平。

    Nov, 2021

  • FR-NAS: 前向和后向图预测器用于高效的神经网络架构搜索

    通过使用图神经网络作为性能预测器，将神经架构转化为向量表示，并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明，与其他图神经网络预测器相比，预测准确性显著提高，Kendall-tau 相关性增加了 3% 至 16%。

    Apr, 2024

  • FP-NAS: 快速概率神经架构搜索

    提出了一种自适应于分布熵的采样方法，从而实现快速的多元空间神经体系结构搜索，成为 FP-NAS。通过 FP-NAS，可以使搜索空间变得更大、更深、更准确，速度比其他方法快 2.1 倍 - 3.5 倍，并且可以直接搜索高达 1.0G FLOPS 的大模型，在数字图像分类方面表现出色。

    Nov, 2020

  • 神经体系结构搜索的神经预测器

    该论文提出一种比传统方法简单且更加高效的神经网络结构搜索方法，在 NASBench-101 基准测试上的表现是传统方法的 20 倍，同时还可以像基于权重共享的 ProxylessNAS 一样在 ImageNet 上获得较好的结果。

    Dec, 2019

  • NAS-FCOS：用于目标检测的快速神经架构搜索

    本研究使用增强学习范式，通过对特定搜索空间的精心设计和策略，高效地搜索出网络结构，提出了一种优化目标检测模型的神经网络架构搜索方法，并在四天内使用 8 V100 GPUs 在 COCO 数据集上取得比 Faster R-CNN、RetinaNet 和 FCOS 等模型更好的性能，充分展示了该方法的有效性。

    Jun, 2019

  • FOX-NAS: 快速、设备本地且可解释的神经架构搜索

    FOX-NAS 提出了一种基于模拟退火和多元回归的快速可解释性的预测方法，能较高效地量化并在边缘部署，实验结果显示 FOX-NAS 模型的性能优于其他流行的神经网络架构，获得了 2020 年低功耗计算机视觉挑战赛 (DSP 分类) 第三名。

    Aug, 2021

  • 基于可微分神经架构搜索的硬件感知高效卷积神经网络设计：FBNet

    通过使用梯度的基础方法优化 ConvNet 结构，避免像以前的方法一样枚举并分别训练个别结构，我们提出了一个可微分的神经结构搜索（DNAS）框架。FBNets 是通过 DNAS 发现的模型族，其在设计和生成自动模型方面均超过手动设计的最新模型，并在移动设备上获得更高的准确性和更低的延迟。

    Dec, 2018

  • NAS-FCOS: 目标检测架构的高效搜索

    本研究提出了一种效率高的方法，通过针对自动定位简单无锚对象检测器的 FPN 和预测头部进行搜索，使用定制化的强化学习范式，能够在 4 天内使用 8 个 V100 GPU 找到表现最佳的检测架构，并在 COCO 数据集上超过了 Faster R-CNN，Retina-Net 和 FCOS 等现有模型，AP 提升了 1.0％至 5.4％。

    Oct, 2021

  • NASRec：面向推荐系统的权重共享神经架构搜索

    NASRec 是一种用于优化推荐系统的模型，其使用了深度神经网络，通过单一的 supernet，通过权重共享实现了丰富的模型 / 子架构，克服了数据多模性和架构异质性挑战，并在三个 CTR 预测基准测试中取得了有希望的结果。

    Jul, 2022

  • 无需训练的 RNN 和 Transformer 神经结构搜索

    本文研究了针对语言建模任务的循环神经网络 (RNN) 和基于 BERT 的 transformer 架构的无需训练的 NAS 指标，提出了一种新的指标来预测训练后的 RNN 性能，并发现 transformer 的搜索空间范式不适用于无需训练的神经架构搜索，需要进行优化。

    Jun, 2023