本文提出了一种半监督评估神经架构的方法,使用自编码器发现神经架构的有意义的表示,并利用图卷积神经网络来预测它们的性能,以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验,证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。
May, 2020
本研究提出了一种自监督神经架构搜索 (SSNAS) 方法,使用未标记的数据进行训练,无需使用标签数据即可发现新的网络模型,并在搜索标签数量相对较少时展示了该方法的优势。
Jul, 2020
该文提出了一种基于自监督神经结构搜索技术的框架,用于处理非平衡数据集的情况,每个组件都能在资源受限的设备上(如单个 GPU)运行,实验结果表明该方法在 CIFAR-10 数据集上的性能比标准神经网络更佳,同时使用的参数少 27 倍。
Sep, 2021
本文以深度预训练神经网络为基础,探究如何通过数据恢复技术以及自主生成的语义与多样性丰富的合成数据,实现在保护隐私,避免偏见等现实场景下,无需使用原始训练数据进行神经结构搜索的可行性和效果,并发现合成数据的神经结构搜索表现不亚于以往使用原始数据的搜索结果。
Dec, 2021
本研究使用网络激活度重叠的方式实现预测神经网络的训练精度,并将其应用于神经结构搜索,以实现在单个 GPU 上进行快速网络搜索。同时,我们还提出了一种基于正则化进化搜索的适应方法,以进一步提高搜索效率。
Jun, 2020
本文提出了一种基于实例的神经架构搜索方法 InstaNAS,通过搜索一种 “架构分布” 而不是单一的神经架构,确保难以处理的样本使用复杂的神经架构来减少前处理时间,并在搜索空间中验证表明,与 MobileNetV2 相比,在多个数据集上具有相同的准确性和大约 48.8%的前处理时间减少。
Nov, 2018
本研究采用无代理的硬件感知搜索方法,针对密集的语义分割任务,实现了特定任务和推理硬件上优化的网络,并在 Cityscapes 语义分割数据集上实现了最先进的网络准确度优化,在 NVIDIA AGX Xavier 上实现了低于 100ms 推理时间的 73.62%的类 mIOU,并与最新的最先进架构进行了详细分析。
Aug, 2019
本文提出了基于贝叶斯元学习的 (Meta Architecture Search) 方法,用于加速大量任务的体系结构搜索,通过学习适用于整个任务集的任务不可知表达式,实现对 NAS 的大规模高效搜索,减少计算成本,并在 Imagenet 分类任务中发现了与目前使用更少显卡宽带的超参搜索算法相当的结果
Dec, 2018
本文探讨了一种新的神经架构搜索度量方式,发现损失曲面的平整度可以预测神经网络架构的泛化能力,通过在不同的搜索空间进行评估,提出的方法相对于现有的 NAS 方法表现更好,并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。
May, 2023
本文旨在通过将神经体系结构搜索的大搜索空间模块化为块,以确保潜在的候选架构完全训练,从而降低共享参数引起的表示移位并导致对候选项的正确评级,并且从教师模型中提取体系结构知识来指导我们的块搜索,这显着提高了 NAS 的有效性和效率。
Nov, 2019