Jun, 2024

CE-NAS: 一个端到端的高效碳排放神经架构搜索框架

PDF
TL;DR该论文提出了一种新颖的神经架构搜索（NAS）方法，旨在增加模型设计过程的碳效率。CE-NAS 框架通过探索不同 NAS 算法的碳排放变化和能量差异来解决与 NAS 相关的高碳成本的关键挑战。在高层次上，CE-NAS 利用增强学习代理根据时间序列变压器预测的碳强度动态调整 GPU 资源，以平衡高能效采样和高能耗评估任务。此外，CE-NAS 还利用最近提出的多目标优化器有效减少了 NAS 的搜索空间。我们在降低碳排放的同时，在 NAS 数据集和开放域 NAS 任务上实现了 SOTA 结果的有效性。例如，在 HW-NasBench 数据集上，CE-NAS 将碳排放减少了最多 7.22 倍，同时保持了与原始 NAS 相当的搜索效率。对于开放域 NAS 任务，CE-NAS 在 CIFAR-10 上以仅有 1.68M 参数和 38.53 磅二氧化碳的碳耗的情况下达到了 97.35％ 的 top-1 精度。在 ImageNet 上，我们的搜索模型在 NVIDIA V100 上使用 FP16 和 0.78 毫秒的 TensorRT 延迟，仅消耗 909.86 磅二氧化碳，与其他基于一次性采样的 NAS 基线相当。
发现论文，激发创造
  • 碳效率神经架构搜索

    该研究提出了一种新颖的神经架构搜索（NAS）方法，旨在在模型设计过程中降低能源成本并提高碳效率。所提出的名为碳高效 NAS（CE-NAS）的框架包括具有不同能源需求的 NAS 评估算法、多目标优化器和启发式 GPU 分配策略。CE-NAS 根据当前的碳排放动态平衡能效抽样和耗能评估任务。使用最近的 NAS 基准数据集和两个碳迹，我们的基于追踪的模拟结果表明，CE-NAS 在碳和搜索效率上优于三个基准。

    Jul, 2023

  • 高效资源神经网络架构

    提出了一种使用策略网络进行网络嵌入的强化学习的资源有效型神经架构搜索方法，可以在计算资源受限制的情况下获得高性能的神经网络结构，并在图像识别和关键词识别问题上实现了先进的性能。

    Jun, 2018

  • 增强式进化神经架构搜索

    提出了一种名为 RE-NAS 的神经架构搜索方法，结合了进化算法和强化突变控制，成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet，并在移动 ImageNet 上取得了最新的最高准确率。

    Aug, 2018

  • HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

    提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

    Oct, 2022

  • 当 NAS 遇上树：一种高效的神经结构搜索算法

    TNAS 是新的神经结构搜索方法，它使用架构树和二进制运算树来分解搜索空间并减少探索大小，采用修改后的双层宽度优先搜索在提议的树中发现高性能架构，在四个 GPU 小时内在 NAS-Bench-201 上找到 94.37％的 CIFAR-10 全局最优体系结构和 94.35％的平均测试准确率超过了现有技术水平。

    Apr, 2022

  • 通过参数共享实现高效神经架构搜索

    ENAS 提出了高效神经架构搜索方法，使用控制器在大型计算图中发现神经网络架构，以优化子图为目标进行训练，利用共享子模型参数，使用的 GPU-hours 要比所有现有的自动模型设计方法少 1000 倍，设计出实现最新技术水平的新型结构。

    Feb, 2018

  • 高效渐进式神经结构搜索

    该研究提出了一种名为 EPNAS（高效渐进的神经结构搜索）的神经结构搜索方法，它通过一种新的渐进搜索策略和基于 REINFORCE 的性能预测有效地处理大型搜索空间。EPNAS 被设计成能够在并行系统（如 GPU/TPU 集群）上并行搜索目标网络。该方法还可以推广到具有多个资源限制的体系结构搜索，这对于在移动设备和云平台等广泛平台上进行部署非常重要。在使用 CIFAR10 和 ImageNet 进行图像识别任务时，该方法在架构搜索速度和识别准确性方面均优于先进的网络结构和高效的 NAS 算法。

    Jul, 2019

  • SNAS：随机神经结构搜索

    提出了随机神经架构搜索 (SNAS)，作为一种经济高效的神经架构搜索方案，它在同一次反向传播中训练神经操作参数和架构分布参数，同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS，提出一种全新的搜索梯度，优化效果比基于强化学习的 NAS 更高，同时加入局部可分解奖励，以强制实施资源有效约束，最终在 CIFAR-10 数据集上得到了业界领先的准确性。

    Dec, 2018

  • 四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

    利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

    Feb, 2021

  • U-Boost NAS: 利用率提升的可微神经结构搜索

    本文提出了一种新的硬件感知神经结构搜索框架，旨在优化目标平台上的任务精度、推理延迟和资源利用。通过使用该框架和新的资源利用模型，我们在 CIFAR-10 和 Imagenet-100 数据集上实现了 2.8-4 倍的 DNN 推理加速，并获得了与以往硬件感知神经结构搜索方法相似或更好的图像分类精度。

    Mar, 2022