该论文提出一种比传统方法简单且更加高效的神经网络结构搜索方法,在 NASBench-101 基准测试上的表现是传统方法的 20 倍,同时还可以像基于权重共享的 ProxylessNAS 一样在 ImageNet 上获得较好的结果。
Dec, 2019
本研究提出了一个新颖的动态集成预测器框架,包括两个步骤,旨在解决基于预测器的神经架构搜索面临的 “冷启动” 问题,它可以从多种低保真信息中提取有益的知识,通过加权求和的方式融合低给定的架构性能预测信息来训练整个预测器。
Feb, 2023
本研究评估了 31 种不同的神经架构搜索性能预测器,测试了多种性能衡量方法以及它们在加速基于预测的 NAS 框架方面的有效性,结果表明有些预测器组合可以实现更好的预测能力,并提供了不同设置下最佳预测器的建议。
Apr, 2021
本文提出了一种名为 AttentiveNAS 的神经结构搜索算法,通过优化网络搜索策略,实现了更好的性能 Pareto,并成功应用于 ImageNet 上,取得了性能上的巨大提升。
Nov, 2020
在本文中,我们提出了用于比较 NAS 方法的基准测试,并对常用的 DARTS search space 进行了进一步的实验。我们发现,手工设计的宏观结构比搜索到的微观结构更重要,并且深度间隔是一个真实的现象,最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。
通过研究公开可用的神经结构搜索基准,我们借鉴元学习的丰富领域,关注任务级相关性和预测器可迁移性的关系,并实验证明我们的元学习方法不仅在交叉验证实验中表现出卓越(或匹配)性能,还成功地在新的搜索空间和任务中展开了推广。
Nov, 2023
本文提出了一种基于零成本代理的搜索空间无关神经网络编码方法,以实现对多个任务、搜索空间和硬件设备的准确性和延迟预测进行多任务、多搜索空间和多硬件的自适应,从而在提高端到端样本效率方面取得了显著的效果。
Jun, 2023
本文提出了一种半监督评估神经架构的方法,使用自编码器发现神经架构的有意义的表示,并利用图卷积神经网络来预测它们的性能,以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验,证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。
May, 2020
提出了一种自适应于分布熵的采样方法,从而实现快速的多元空间神经体系结构搜索,成为 FP-NAS。通过 FP-NAS,可以使搜索空间变得更大、更深、更准确,速度比其他方法快 2.1 倍 - 3.5 倍,并且可以直接搜索高达 1.0G FLOPS 的大模型,在数字图像分类方面表现出色。
通过使用图神经网络作为性能预测器,将神经架构转化为向量表示,并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明,与其他图神经网络预测器相比,预测准确性显著提高,Kendall-tau 相关性增加了 3% 至 16%。
Apr, 2024