SMASH: 通过超网络进行单次模型架构搜索
本文提出了一种新的神经网络结构搜索方法——Graph HyperNetworks,借助图神经网络来预测网络性能并直接生成权重,从而提高神经网络搜索效率;此外,Graph HyperNetworks 还可在任意预测环境下使用,在 CIFAR-10 和 ImageNet 等数据集上比现有手动设计网络更快且性能更好。
Oct, 2018
借助Differentiable Architecture Search,本研究提出了sharpDARTS搜索方式,该方式在CIFAR-10数据集上取得了相对错误率20-30%的进展,并在模型大小相似的情况下创下了目前最先进的1.93%的验证误差和25.1%的ImageNet top-1误差,同时,通过Differentiable Hyperparameter Grid Search和HyperCuboid搜索空间的设计和优化,本研究也证明了sharpDARTS更具通用性,提出了Max-W正则化以解决DARTS在新领域中的泛化问题。
Mar, 2019
本研究从贝叶斯角度出发,提出了一种后验引导的神经结构搜索方法(PGNAS),通过估计网络结构和权重的联合后验分布,减少数据采样与超参数调整,并在图像分类任务上进行验证,证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。
Jun, 2019
本文提出了一种名为DARTS+的算法,通过设置一个明确的早停策略来避免 Differentiable Architecture Search(DARTS) 在优化时遇到过拟合问题,并将其应用在基准数据集上取得了较好的结果。
Sep, 2019
本文提出一种新方法BigNAS,使用单个共享权重集合无需进行额外的训练或后处理步骤,就可以用于神经结构搜索,该方法的预测准确率优于现有方法。
Mar, 2020
本文提出一种名为GreedyNAS的神经架构搜索方法,通过多路径抽样策略和候选路径池相结合的方法,将超网的负担减少至仅关注可能具有良好性能的路径,从而在ImageNet数据集中实现更好的Top-1准确率,且仅需大约60%的超网训练成本。
Mar, 2020
本文提出了一种统一的管道,AutoHAS,以高效搜索架构和超参数,该管道可以更新共享网络权重和强化学习 (RL) 控制器来学习架构候选项和超参数候选项的概率分布, 可以有效地提高具有不同搜索空间和数据集的网络的准确性。
Jun, 2020
通过提出路径蒸馏方法,从优先路径中提取知识来改善子网络的训练,最终得到的最优路径在性能和复杂度方面具有优异表现,证明了该方法的泛化性和稳健性。
Oct, 2020
利用神经切向核和输入空间中的线性区域数来排名结构,通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索,使用基于剪枝的 NAS 机制进行灵活且优越的权衡,实现在CIFAR-10和ImageNet上只花费0.5和4 GPU小时完成的高质量搜索。
Feb, 2021