TF-NAS: 重新思考有延迟约束下的可微神经架构搜索的三个搜索自由度

ECCVAug, 2020

TF-NAS: 重新思考有延迟约束下的可微神经架构搜索的三个搜索自由度

TF-NAS: Rethinking Three Search Freedoms of Latency-Constrained Differentiable Neural Architecture Search

Yibo Hu, Xiang Wu, Ran He

TL;DR本文通过重新思考可微分 NAS 的三个自由度：操作级，深度级和宽度级，提出了一种新的方法，名为 Three-Freedom NAS（TF-NAS），以实现良好的分类准确性和精确的延迟约束。该方法还包括双采样搜索算法、汇流连接搜索空间和弹性缩放策略。在 ImageNet 实验中证明了 TF-NAS 的有效性，尤其是 TF-NAS-A 在 1.8 天内只用 1 个 Titan RTX GPU 时间就获得了 76.9％的顶部 1 准确度，实现了最新的成果。

Abstract

With the flourish of differentiable neural architecture search (NAS), automatically searching latency-constrained architectures gives a new perspective to reduce human labor and expertise. However, the searched a

differentiable neural architecture search latency-constrained architectures three-freedom nas operation-level precise latency constraint

发现论文，激发创造

当 NAS 遇上树：一种高效的神经结构搜索算法

TNAS 是新的神经结构搜索方法，它使用架构树和二进制运算树来分解搜索空间并减少探索大小，采用修改后的双层宽度优先搜索在提议的树中发现高性能架构，在四个 GPU 小时内在 NAS-Bench-201 上找到 94.37％的 CIFAR-10 全局最优体系结构和 94.35％的平均测试准确率超过了现有技术水平。

Apr, 2022

AtomNAS：细粒度端到端神经架构搜索

该文章提出了一种细粒度的搜索空间，有效地解决了神经体系结构搜索 (NAS) 中的搜索空间设计问题，其中包括资源感知的架构搜索框架和动态网络收缩技术，可同时进行搜索和训练，并在 ImageNet 上以小的搜索成本取得了最先进的性能。

Dec, 2019

四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

Feb, 2021

GOLD-NAS: 渐进式，单层级，可微分的

本文提出了 Gradual One-Level Differentiable Neural Architecture Search (GOLD-NAS) 算法，采用可变资源约束逐步删除超级网络中弱操作器的方法，在标准的图像分类基准测试中发现了一系列 Pareto 最优体系结构。

Jul, 2020

S3NAS: 快速 NPU 感知的神经网络架构搜索方法

本文提出了一种快速 NPU 感知的 NAS 方法 S3NAS，通过超网设计、单路径 NAS 和扩展这三步实现在给定延迟限制下寻找具有更高准确性的 CNN 结构，通过该方法，在 3 小时内使用 TPUv3 找到了一种具有 82.72％ Top-1 准确度和 11.66 毫秒延迟的网络。

Sep, 2020

面向点云网络的延迟有限神经结构搜索 LC-NAS

本研究提出了一个新的神经网络架构搜索框架 ——LC-NAS，该框架可以在指定延迟内搜索点云网络结构，并平衡了精度和延迟之间的权衡，实验结果表明，该框架在计算成本最小化的同时，能够找到具有最先进性能的点云分类体系结构。

Aug, 2020

多硬件约束下增强神经架构搜索以在微型物联网设备上部署深度学习模型

提出了一种在单个标准训练时间内将用户定义的内存和延迟约束融入不同 iable NAS 优化方法的新方法，该方法在五个物联网相关基准测试中进行了评估，包括 MLPerf Tiny 套件和 Tiny ImageNet，在仅一次搜索中降低了内存和延迟分别达到 87.4% 和 54.2%，同时保证 TinyML 的最新手动调优深度神经网络的非劣性精度。

Oct, 2023

更灵活的神经结构搜索：密集连接的搜索空间

本文提出了一种名为 DenseNAS 的神经架构搜索方法，通过设计一种密集连接的搜索空间，在该空间中搜索最佳路径来获得最终的体系结构，并使用一种链式成本估算算法来近似模型成本，优化准确性和模型成本。实验结果表明，DenseNAS 在 ImageNet 上具有很高的分类准确率，并成功优化了 ResNet 等多个模型的分类性能。

Jun, 2019

SqueezeNAS：用于更快语义分割的快速神经架构搜索

本研究采用无代理的硬件感知搜索方法，针对密集的语义分割任务，实现了特定任务和推理硬件上优化的网络，并在 Cityscapes 语义分割数据集上实现了最先进的网络准确度优化，在 NVIDIA AGX Xavier 上实现了低于 100ms 推理时间的 73.62％的类 mIOU，并与最新的最先进架构进行了详细分析。

Aug, 2019

FP-NAS: 快速概率神经架构搜索

提出了一种自适应于分布熵的采样方法，从而实现快速的多元空间神经体系结构搜索，成为 FP-NAS。通过 FP-NAS，可以使搜索空间变得更大、更深、更准确，速度比其他方法快 2.1 倍 - 3.5 倍，并且可以直接搜索高达 1.0G FLOPS 的大模型，在数字图像分类方面表现出色。

Nov, 2020