零样本神经结构搜索:挑战,解决方案和机会
利用深度学习方法提出了一种新的零样本神经架构搜索方法,该方法使用正弦编码的傅里叶和来构建计算前馈图,并通过伴随的多层感知机对架构进行排序。实验证明,该方法在 NAS-Bench-201 数据集上的相关性和收敛速度均超过了先前使用图卷积网络的方法,并且所提取的特征表示经训练后可迁移到其他 NAS-Benchmark,展现了在多个搜索空间中的潜在普适性。
Aug, 2023
AZ-NAS 是一种新方法,它利用多种零成本代理的集成,显著增强了网络预测排名与性能的真实排名之间的相关性,并引入了一种非线性排名聚合方法,同时在保持合理运行时间成本的基础上,在标准基准测试中优于现有方法。
Mar, 2024
TG-NAS 是一种基于模型的通用代理,利用基于 Transformer 的操作符嵌入生成器和图卷积网络 (GCN) 来预测架构性能,通过对各种 NAS 基准测试进行实验证明了其在搜索效率方面的优势,表明其作为高效架构搜索的基础组成部分的潜力。TG-NAS 与先前的零成本 (ZC) 代理方法相比,搜索效率提高了多达 300 倍,特别地,在 NAS-Bench-201 空间上发现具有 93.75% CIFAR-10 准确度的竞争模型,并在 DARTS 空间上达到了 74.5% 的 ImageNet top-1 准确度。
Mar, 2024
通过引入 “sub-one-shot” 范式,我们介绍了一种新的神经体系结构搜索方法 SiGeo,该方法通过使用一小部分训练数据进行训练来减少计算成本,并在各种已建立的 NAS 基准测试中优于现有的 NAS 代理。
Nov, 2023
本研究提出了一种新的零 - shot 代理模型(ZiCo),它能够通过预测测试性能来设计最佳神经网络架构,不仅比现有模型表现更好,而且不需要训练,可以在进行神经架构搜索时节省大量时间。此外,通过在 NAS-Benchmarks 基准下的对比实验,我们证明了该方法对于多种应用的数据集具有良好的适应性,并且所得到的最佳神经网络架构不仅与传统 NAS 方法相当,而且所需搜索时间更短。
Jan, 2023
本文提出一种迭代学习方法,旨在解决神经架构搜索中的元学习问题。该方法使用参数共享思想,利用代理模型来减少 NAS 运行时间,并在 DARTs 搜索空间和 NAS-Bench-201 上验证了其可行性。此外,作者还提供了理论分析及脱敏研究以进一步深入了解其技术。
Jun, 2019
在这篇文章中,我们提出了一种新颖的轻量级鲁棒性零成本代理,该代理考虑了初始化状态下干净和扰动图像的特征、参数和梯度的一致性,从而实现了能够学习在多种扰动情况下显示出鲁棒性的神经结构的高效快速搜索。 针对多个基准数据集和不同搜索空间,我们的代理能够快速有效地搜索出一致鲁棒的神经结构,大大优于现有的基于清晰无注入 NAS 和基于注入 NAS 减少的搜索成本。
Jun, 2023
该研究提出了 few-shot NAS,利用多个超级网络(称为子超级网络)覆盖搜索空间的不同区域,以缓解操作之间的不良共适应,并证明其在多项任务中能够显著提高各种一次性方法的准确性,包括在 NasBench-201 和 NasBench1-shot-1 上的 3 个不同任务中的 4 个基于梯度的和 6 个基于搜索的方法,并在 ImageNet、CIFAR10 和 Auto-GAN 上取得最新水平。
Jun, 2020
本研究使用网络激活度重叠的方式实现预测神经网络的训练精度,并将其应用于神经结构搜索,以实现在单个 GPU 上进行快速网络搜索。同时,我们还提出了一种基于正则化进化搜索的适应方法,以进一步提高搜索效率。
Jun, 2020
本文采用经典的贝叶斯学习方法,利用分层自动相关决策(HARD)先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题,并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构,同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。
May, 2019