Feb, 2022

一种硬件感知系统，用于加速深度神经网络优化

HTML
PDF
TL;DR本文提出了一个自动且高效地从预训练的超网络中找到针对不同性能度量和硬件配置进行优化的子网络的综合系统，在多个领域中与现有最先进的超网络训练方法无缝配合，展示了如何将新颖的搜索策略与演化算法相结合，加速ResNet50、MobileNetV3和Transformer的搜索过程，并展示了比最先进的贝叶斯优化WeakNAS方法快8倍的搜索结果。
发现论文，激发创造
  • 如何训练超网络：基于权重共享的NAS训练启发式分析

    通过系统评估常用的超网络训练启发式方法和超参数，发现其中一些启发式方法会对超网络和独立性能之间的相关性产生负面影响，并证明了某些超参数和体系结构选择的强烈影响。

    Mar, 2020

  • Supernet 如何帮助神经架构搜索？

    该研究分析了五个搜索空间，研究发现权重共享在某些搜索空间中效果良好但在其他搜索空间中效果不佳，进一步揭示了这种现象的偏见因素和权重共享的能力。

    Oct, 2020

  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • AlphaNet: Alpha-Divergence优化超级网络的改进训练

    研究提出了一种使用更通用的alpha-divergence改进supernet训练的方法，以避免模型不确定性的高估或低估，同时应用于neural architecture search（神经架构搜索），并在不同的FLOPs范围内取得了优异的成果。

    Feb, 2021

  • 四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

    利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在CIFAR-10和ImageNet上只花费0.5和4 GPU小时完成的高质量搜索。

    Feb, 2021

  • 通过生成搜索：具有架构生成器的灵活高效的一次性NAS

    提出一种名为SGNAS的一次搜索神经结构的框架，使用生成器生成子网络以更加高效和灵活地进行搜索，同时还提出了一种名为统一超网络的新单路径超网络以进一步提高搜索效率和减少GPU内存消耗，在ImageNet数据集上仅用5个GPU小时完成$N$个不同硬件限制下的搜索，准确率达77.1%。

    Mar, 2021

  • NetAdaptV2: 带快速超级网络训练和架构优化的高效神经网络架构搜索

    本文提出NetAdaptV2，通过三项创新工作平衡各个步骤的时间并支持非可微分搜索指标，进而加速神经结构搜索并提高神经网络性能。

    Mar, 2021

  • FLASH：具有硬件优化的快速神经架构搜索

    FLASH是一种快速的神经架构搜索方法，它在真实硬件平台上协同优化DNN的准确性和性能，并且该算法比现有最先进的方法具有超过四个数量级的加速，在嵌入式设备上，搜索时间不到3秒。

    Aug, 2021

  • 通往通用超级网络的自动神经架构搜索

    提出第三代“只训练一次（OTOv3）”自动化系统，在不需要人工手工干预的情况下训练通用超级网络，并以单次方式生成高性能子网络，该系统在广泛的超级网络上实现了很好的优化性能，并且相对于超级网络及其他技术水平优越的性能。

    May, 2023

  • 增强神经架构搜索的顺序保持和可传递性：一种联合架构优化搜索和微调方法

    Supernet是许多最新的神经架构搜索（NAS）方法中的核心组件，本文提出了一种改进的搜索策略——Supernet Shifting，以改善局部排序能力和实现模型的迁移学习。

    Mar, 2024