单路径 NAS:在少于 4 小时内设计硬件高效的 ConvNets
本文介绍了一种基于 Single-Path NAS 的新型可微分神经架构搜索方法,可以在移动设备延迟限制下设计高效的卷积神经网络,并实现了 Pixel 1 手机上的图像分类,取得了当前最先进的结果。
May, 2019
本研究提出了一种新的 differentiable NAS 公式,名为 Single-Path NAS,将所有建筑决策编码为共享卷积核参数的一个单路径超参数卷积神经网络,大大降低了搜索过程的开销,并在移动延迟限制下实现了最新的图像分类结果。在不到 3 小时的时间内将 NAS 搜索成本降低到 8 个时期(24TPU 小时),比以前的工作快了多达 5,000 倍。
Jul, 2019
本文提出了一种快速 NPU 感知的 NAS 方法 S3NAS,通过超网设计、单路径 NAS 和扩展这三步实现在给定延迟限制下寻找具有更高准确性的 CNN 结构,通过该方法,在 3 小时内使用 TPUv3 找到了一种具有 82.72% Top-1 准确度和 11.66 毫秒延迟的网络。
Sep, 2020
利用神经切向核和输入空间中的线性区域数来排名结构,通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索,使用基于剪枝的 NAS 机制进行灵活且优越的权衡,实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。
Feb, 2021
我们提出了一种基于沙漏启发式方法的神经架构搜索算法,该算法能通过识别关键块并将其优先考虑,从而快速搜索出网络架构,同时保持准确性,并且在计算资源的限制下,进一步缩小了搜索空间,获得了 77.0%的 Top-1 准确率,超过了最先进的方法。
May, 2020
本文提出了一种自动化的移动神经结构搜索(MNAS)方法,该方法将模型延迟明确地纳入主要目标,以便搜索可以识别满足准确性和延迟之间良好平衡的模型, 实验结果表明,该方法在多个视觉任务中始终优于现有的移动卷积神经网络模型,并且实现了更好的 mAP 质量。
Jul, 2018
本文介绍了一种使用简化的超网络进行单路径神经架构搜索的方法,该方法易于训练、快速搜索、灵活支持不同的搜索约束,并在大规模数据集 ImageNet 上实现了最先进的性能。
Mar, 2019
本文研究了基于神经架构搜索(NAS)的自动机器学习(AutoML)在计算机视觉以外的任务上的应用,作者提出了一种名为 DASH 的不同 iable NAS 算法,用于搜索卷积神经网络(CNN)的卷积核,实现了在多种应用领域上最先进的自动化性能。
Apr, 2022
该论文综述了当前关于硬件感知神经架构搜索的研究,包括搜索空间,搜索策略,加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂,导致在 IoT,移动和嵌入式系统等资源受限的平台上部署困难的问题,并讨论了相关算法及策略的挑战和局限性,同时为未来的研究提供参考,这是首篇针对硬件感知神经架构搜索的论文综述。
Jan, 2021