高效资源神经网络架构
提出了一种名为 RE-NAS 的神经架构搜索方法,结合了进化算法和强化突变控制,成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet,并在移动 ImageNet 上取得了最新的最高准确率。
Aug, 2018
通过引入 HardCoRe-NAS 方法,我们精确地满足了各种资源约束,并在不需要任何调整的情况下生成了具有 state-of-the-art 性能的架构。
Feb, 2021
该论文提出了一种新颖的神经架构搜索(NAS)方法,旨在增加模型设计过程的碳效率。CE-NAS 框架通过探索不同 NAS 算法的碳排放变化和能量差异来解决与 NAS 相关的高碳成本的关键挑战。在高层次上,CE-NAS 利用增强学习代理根据时间序列变压器预测的碳强度动态调整 GPU 资源,以平衡高能效采样和高能耗评估任务。此外,CE-NAS 还利用最近提出的多目标优化器有效减少了 NAS 的搜索空间。我们在降低碳排放的同时,在 NAS 数据集和开放域 NAS 任务上实现了 SOTA 结果的有效性。例如,在 HW-NasBench 数据集上,CE-NAS 将碳排放减少了最多 7.22 倍,同时保持了与原始 NAS 相当的搜索效率。对于开放域 NAS 任务,CE-NAS 在 CIFAR-10 上以仅有 1.68M 参数和 38.53 磅二氧化碳的碳耗的情况下达到了 97.35% 的 top-1 精度。在 ImageNet 上,我们的搜索模型在 NVIDIA V100 上使用 FP16 和 0.78 毫秒的 TensorRT 延迟,仅消耗 909.86 磅二氧化碳,与其他基于一次性采样的 NAS 基线相当。
Jun, 2024
该研究提出了一种新颖的神经架构搜索(NAS)方法,旨在在模型设计过程中降低能源成本并提高碳效率。所提出的名为碳高效 NAS(CE-NAS)的框架包括具有不同能源需求的 NAS 评估算法、多目标优化器和启发式 GPU 分配策略。CE-NAS 根据当前的碳排放动态平衡能效抽样和耗能评估任务。使用最近的 NAS 基准数据集和两个碳迹,我们的基于追踪的模拟结果表明,CE-NAS 在碳和搜索效率上优于三个基准。
Jul, 2023
该研究提出了一种名为 EPNAS(高效渐进的神经结构搜索)的神经结构搜索方法,它通过一种新的渐进搜索策略和基于 REINFORCE 的性能预测有效地处理大型搜索空间。EPNAS 被设计成能够在并行系统(如 GPU/TPU 集群)上并行搜索目标网络。该方法还可以推广到具有多个资源限制的体系结构搜索,这对于在移动设备和云平台等广泛平台上进行部署非常重要。在使用 CIFAR10 和 ImageNet 进行图像识别任务时,该方法在架构搜索速度和识别准确性方面均优于先进的网络结构和高效的 NAS 算法。
Jul, 2019
本研究提出一种基于强化学习的小样本、低计算力的 NAS 方法,优化了宏搜索空间配置,可用于大规模的 3D 医学图像分割,无需微调、训练时间仅为 1.39 天,性能表现优于手动设计的网络及现有 NAS 方法之最佳结果。
Sep, 2019
ENAS 提出了高效神经架构搜索方法,使用控制器在大型计算图中发现神经网络架构,以优化子图为目标进行训练,利用共享子模型参数,使用的 GPU-hours 要比所有现有的自动模型设计方法少 1000 倍,设计出实现最新技术水平的新型结构。
Feb, 2018
该研究论文提出了一种名为 ReNAS 的相对性神经结构性能预测方法,可用于神经结构搜索,通过对数据集的有效采样,实验结果表明该方法相较于现有方法在 NAS-Bench-101 和 NAS-Bench-201 数据集上表现更优。
Sep, 2019
本研究提出一种名为 GraphNAS 的图神经网络结构搜索方法,可用于自动搜索最佳图神经网络架构,通过强化学习训练循环网络,实现生成变长字符串,针对验证数据集的期望准确性最大化,实验结果表明在传导和归纳性学习设置中的节点分类任务中,GraphNAS 具有一致更好的性能,并可设计出一种与最佳人工设计的结构相媲美的新型网络架构。
Apr, 2019
本文提出了一种名为 FreeREA 的算法,利用基于细胞的演化神经网络结构搜索,结合训练 - 免度量化的方式,实现了在几分钟内快速鉴别神经网络模型,同时保留模型大小和计算要求,因此能够适用于在有限资源下使用的应用。实验结果表明,FreeREA 可以在各种数据集和基准测试中优于现有的基于训练 / 免训练技术的技术,并能在约束的情况下扩展到通用神经结构搜索,从而为快速的神经结构搜索提供了一种有竞争力的解决方案。
Jun, 2022