RepNAS:寻找高效的重新参数化模块
本文设计了一种改进的重新参数化搜索空间以及基于神经网络架构搜索的自动重新参数化增强策略,通过搜索优秀的重新参数化架构进一步提高了卷积网络的分类精度。
Apr, 2022
通过提出基于任务的端到端的 NAS 方法定义,我们提出了 DSNAS,一个高效的可微分 NAS 框架,不仅可以同时优化架构和参数,而且还可以减少模型训练时间,并在 ImageNet 数据集上达到了与现有方法同等的准确率。
Feb, 2020
提出了一种名为 RE-NAS 的神经架构搜索方法,结合了进化算法和强化突变控制,成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet,并在移动 ImageNet 上取得了最新的最高准确率。
Aug, 2018
提出了一种自适应于分布熵的采样方法,从而实现快速的多元空间神经体系结构搜索,成为 FP-NAS。通过 FP-NAS,可以使搜索空间变得更大、更深、更准确,速度比其他方法快 2.1 倍 - 3.5 倍,并且可以直接搜索高达 1.0G FLOPS 的大模型,在数字图像分类方面表现出色。
Nov, 2020
该文章提出了一种细粒度的搜索空间,有效地解决了神经体系结构搜索 (NAS) 中的搜索空间设计问题,其中包括资源感知的架构搜索框架和动态网络收缩技术,可同时进行搜索和训练,并在 ImageNet 上以小的搜索成本取得了最先进的性能。
Dec, 2019
本文采用经典的贝叶斯学习方法,利用分层自动相关决策(HARD)先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题,并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构,同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。
May, 2019
该研究提出了一种名为 EPNAS(高效渐进的神经结构搜索)的神经结构搜索方法,它通过一种新的渐进搜索策略和基于 REINFORCE 的性能预测有效地处理大型搜索空间。EPNAS 被设计成能够在并行系统(如 GPU/TPU 集群)上并行搜索目标网络。该方法还可以推广到具有多个资源限制的体系结构搜索,这对于在移动设备和云平台等广泛平台上进行部署非常重要。在使用 CIFAR10 和 ImageNet 进行图像识别任务时,该方法在架构搜索速度和识别准确性方面均优于先进的网络结构和高效的 NAS 算法。
Jul, 2019
本文旨在通过将神经体系结构搜索的大搜索空间模块化为块,以确保潜在的候选架构完全训练,从而降低共享参数引起的表示移位并导致对候选项的正确评级,并且从教师模型中提取体系结构知识来指导我们的块搜索,这显着提高了 NAS 的有效性和效率。
Nov, 2019
提出 NAS-Bench-201,通过设计新的搜索空间和提供多个数据集的结果以及诊断信息,为几乎所有最新的 NAS 算法提供一个统一的基准,从而避免了重复训练,并提高了搜索算法的效率。
Jan, 2020
利用数学规划,MathNAS 提出一种分治策略用于神经架构搜索,通过计算可能模块的表现来直接预测网络性能,从而大幅降低了网络性能评估的复杂性。
Nov, 2023