ICMLMay, 2022

ShiftAddNAS: 更准确、更高效的神经网络的硬件启发式搜索

PDF
TL;DR该研究工作介绍一种名为 ShiftAddNAS 的模型搜索算法，倡导用既具有强大计算能力又经济高效的操作符制约神经网络的深度学习，旨在寻找更为准确和高效的混合神经网络。该算法实现了多种操作符的混合和权重共享，并在各个首要指标和场景下均取得了显著优化。
neural networksmultiplication-free networkshybrid nnsefficient operatorsshiftaddnas
发现论文，激发创造
  • ShiftAddNet: 一种受硬件启发的深度网络

    ShiftAddNet 是一种硬件启发式的深度神经网络，通过只使用位移和加权层替代传统的乘法运算来实现深度网络的显式参数化，从而获得与标准深度神经网络相当的表达能力和更加灵活的精度和效率之间的权衡，并且可以与量化和修剪等技术结合，实现在训练和推理中更加节能高效的性能。

    Oct, 2020

  • DeepShift：面向无乘法神经网络

    提出使用卷积位移和完全连接位移加速模型部署到边缘计算平台。在使用 DeepShift 模型转换和训练的预先训练的 ResNet18，ResNet50，VGG16 和 GoogleNet 模型中，可以获得接近甚至更高的准确率，并且 GPU 内核可以减少 25% 的延迟时间，具有较好的应用前景。

    May, 2019

  • 通过概率变化改进一次性 NAS 的 ShiftNAS

    本文提出 ShiftNAS，一种基于子网复杂度调整采样概率的方法，通过训练可以直接获取给定计算复杂度所需的最佳模型架构和参数，实验结果表明 ShiftNAS 可以在不增加额外消耗的情况下提高 One-shot NAS 的性能。

    Jul, 2023

  • DenseShift：面向准确和可迁移的低比特移位网络

    提出了一种名为 DenseShift 的神经网络，在低比特训练和转移学习方面具有优越的性能，通过零 - free 位移机制，新的度量标准和随机初始化策略，有效地简化了推理并提高了模型容量。

    Aug, 2022

  • 一种硬件感知系统，用于加速深度神经网络优化

    本文提出了一个自动且高效地从预训练的超网络中找到针对不同性能度量和硬件配置进行优化的子网络的综合系统，在多个领域中与现有最先进的超网络训练方法无缝配合，展示了如何将新颖的搜索策略与演化算法相结合，加速 ResNet50、MobileNetV3 和 Transformer 的搜索过程，并展示了比最先进的贝叶斯优化 WeakNAS 方法快 8 倍的搜索结果。

    Feb, 2022

  • 多样任务有效的架构搜索

    本文研究了基于神经架构搜索（NAS）的自动机器学习（AutoML）在计算机视觉以外的任务上的应用，作者提出了一种名为 DASH 的不同 iable NAS 算法，用于搜索卷积神经网络（CNN）的卷积核，实现了在多种应用领域上最先进的自动化性能。

    Apr, 2022

  • FLASH：具有硬件优化的快速神经架构搜索

    FLASH 是一种快速的神经架构搜索方法，它在真实硬件平台上协同优化 DNN 的准确性和性能，并且该算法比现有最先进的方法具有超过四个数量级的加速，在嵌入式设备上，搜索时间不到 3 秒。

    Aug, 2021

  • 基于元学习内核的高效可微分神经架构搜索

    该研究提出了一种基于元卷积核的高效神经架构搜索策略，通过直接编码超级网络来缩小多个卷积核选项，从而在减少中间特征存储内存和资源预算的同时，实现更精细的搜索。该方法在 ImageNet 基准数据集上以 357M FLOPs 为限制可达到 77.0% 的 top-1 准确率，超过了 EfficientNet 和 MobileNetV3，并且与最先进的 NAS 方法相比，在相同的计算预算下速度还快了三个数量级。

    Dec, 2019

  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

    提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

    Oct, 2022