ICMLJun, 2021

Auto-NBA：网络、位宽和加速器联合空间的高效搜索

PDF
TL;DR通过 Auto-NBA 框架，我们能够有效地在巨大的联合设计空间中为每个目标数据集和加速器规范定位最佳设计，使用异构采样策略实现无偏搜索，以及配备通用可微加速器搜索引擎的新兼搜寻流程。Auto-NBA 生成的网络和加速器在搜索时间、任务准确性和加速器效率方面都优于现有技术。
发现论文，激发创造
  • DNA: 可微分的网络加速器协同搜索

    DNA 是一个可搜索匹配网络和加速器，以最大化任务准确性和加速效率的不同 iable Network-Accelerator 同步搜索框架，在 FPGA 和 ASIC 合成中以高于 SOTA 的准确性和 FPS 为代价降低搜索时间

    Oct, 2020

  • 多样任务有效的架构搜索

    本文研究了基于神经架构搜索（NAS）的自动机器学习（AutoML）在计算机视觉以外的任务上的应用，作者提出了一种名为 DASH 的不同 iable NAS 算法，用于搜索卷积神经网络（CNN）的卷积核，实现了在多种应用领域上最先进的自动化性能。

    Apr, 2022

  • 最佳结合：CNN 及其硬件加速器的 AutoML 协同设计

    本研究利用神经网络结构搜索技术，并联合考虑卷积神经网络模型和硬件加速器的参数，实现自动化的硬件 - 卷积神经网络代码设计。此方法能有效提高分类精度和效率，显著优于现有设计，本研究着重于在代码设计空间中进行多目标优化问题的定义以及探索使用强化学习的搜索策略，使得在 1000 个 GPU 小时内，相比于 ResNet 在优化硬件加速器情况下在 CIFAR-100 分类准确率上提高了 1.3％，同时提高了 41％的性能 / 面积比。

    Feb, 2020

  • 重新思考神经网络结构与硬件加速器的共同设计

    本研究系统研究了协同设计神经网络架构和硬件加速器的重要性和策略，发现不同的使用场景会导致非常不同的搜索结果，研究表明联合搜索方法在所有延迟目标上始终优于以前的面向平台的神经体系结构搜索、手动设计的模型和最先进的 EfficientNet，可将边缘加速器的能源消耗降低高达 2 倍。

    Feb, 2021

  • 神经加速器的硬件 / 软件学习式协同设计

    本文提出一种基于硬件 / 软件协同设计的新的约束贝叶斯优化框架，可以自动识别联合设计空间中的优化点，应用于各种神经模型，改善能量延迟产品的性能。

    Oct, 2020

  • DANCE: 可微加速器 / 网络共同探索

    本文介绍了 DANCE，它是一种不同 iable 方法，用于硬件加速设计和网络架构设计的共同探索，与现有方法相比，其可以在更短的时间内实现更优秀的准确性和硬件成本度量。

    Sep, 2020

  • 神经加速器的快速和最优硬件软件协同设计的半解耦方法

    本文提出了一种半解耦合的方法，通过对神经架构进行搜索以获得一组最优架构，然后仅对该小组架构与加速器设计的组合进行优化，从而将总设计空间的大小降低数个数量级，而不会失去最优性，通过在多种架构空间上进行实验的验证，表明该方法可以通过在减少的搜索空间上进行优化，获得最佳解决方案。

    Mar, 2022

  • 走向自动化深度学习：高效联合神经网络架构与超参数搜索

    本文提出了一种基于贝叶斯优化和 Hyperband 的联合神经架构和超参数搜索方法，旨在提高搜索效率和处理神经架构和超参数之间相互作用的问题。

    Jul, 2018

  • 一种硬件感知系统，用于加速深度神经网络优化

    本文提出了一个自动且高效地从预训练的超网络中找到针对不同性能度量和硬件配置进行优化的子网络的综合系统，在多个领域中与现有最先进的超网络训练方法无缝配合，展示了如何将新颖的搜索策略与演化算法相结合，加速 ResNet50、MobileNetV3 和 Transformer 的搜索过程，并展示了比最先进的贝叶斯优化 WeakNAS 方法快 8 倍的搜索结果。

    Feb, 2022

  • HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

    提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

    Oct, 2022