平衡一次性神经架构优化
本文介绍了一种使用简化的超网络进行单路径神经架构搜索的方法,该方法易于训练、快速搜索、灵活支持不同的搜索约束,并在大规模数据集ImageNet上实现了最先进的性能。
Mar, 2019
本研究从贝叶斯角度出发,提出了一种后验引导的神经结构搜索方法(PGNAS),通过估计网络结构和权重的联合后验分布,减少数据采样与超参数调整,并在图像分类任务上进行验证,证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。
Jun, 2019
本文提出了Self-Evaluated Template Network (SETN)方法,通过共享参数和使用评估器选择竞争性的架构,成功实现了在CIFAR和ImageNet基准测试上以可比的计算成本达到最先进的性能水平。
Oct, 2019
本文提出了一个通用框架,用于一次性神经架构搜索,并引入了一个基于最近推出的大规模表格基准NAS-Bench-101的基准测试框架,以评估一次性NAS方法的廉价性能,并比较了几种最先进的一次性NAS方法,检查它们对超参数的敏感性,以及如何通过调整它们的超参数来改进它们的性能,并将它们的性能与NAS-Bench-101的黑盒优化器进行比较。
Jan, 2020
本文提出一种新方法BigNAS,使用单个共享权重集合无需进行额外的训练或后处理步骤,就可以用于神经结构搜索,该方法的预测准确率优于现有方法。
Mar, 2020
本文提出一种名为GreedyNAS的神经架构搜索方法,通过多路径抽样策略和候选路径池相结合的方法,将超网的负担减少至仅关注可能具有良好性能的路径,从而在ImageNet数据集中实现更好的Top-1准确率,且仅需大约60%的超网训练成本。
Mar, 2020
该研究提出了few-shot NAS,利用多个超级网络(称为子超级网络)覆盖搜索空间的不同区域,以缓解操作之间的不良共适应,并证明其在多项任务中能够显著提高各种一次性方法的准确性,包括在NasBench-201和NasBench1-shot-1上的3个不同任务中的4个基于梯度的和6个基于搜索的方法,并在ImageNet、CIFAR10和Auto-GAN上取得最新水平。
Jun, 2020
通过放宽神经架构搜索领域的范围,本研究提出了一种高效的一次性神经架构搜索方法Bonsai-Net,可同时进行模型搜索和训练,并可显著减少使用更少参数比其他现有方法更好地发现优秀架构的全过程所需的时间。
Jun, 2020
利用神经切向核和输入空间中的线性区域数来排名结构,通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索,使用基于剪枝的 NAS 机制进行灵活且优越的权衡,实现在CIFAR-10和ImageNet上只花费0.5和4 GPU小时完成的高质量搜索。
Feb, 2021
该研究提出了一种基于梯度匹配得分的Few-Shot NAS方法,通过对多个超网进行边级分区来减小权重共享带来的误差,极大地减少了搜索成本,并在各种数据集、搜索算法下展开的广泛实证评估表明,该方法在搜索效果方面有明显的提高。
Mar, 2022