后验引导的神经网络结构搜索
本文采用经典的贝叶斯学习方法,利用分层自动相关决策(HARD)先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题,并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构,同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。
May, 2019
本文探讨神经结构搜索 (NAS) 的计算图模型,提出了一种利用图神经网络的深度生成模型 (GraphPNAS),通过学习表现良好的神经结构的分布来比单纯的搜索最佳结构更高效。作者使用 RandWire,ENAS 和 NAS-Bench-101/201 的三个搜索空间对 GraphPNAS 进行了广泛的实验,并且结合强化学习方法生成高质量的神经结构,结果表明其优于传统的基于 RNN 的神经结构生成器及随机搜索方法,并且取得了与当前最先进的 NAS 方法相当甚至更好的性能表现。
Nov, 2022
通过 Bayesian 分析,提出一种可实现后验均衡的神经网络架构搜索方法,该方法引入硬延迟约束,在满足标准 GPU 延迟约束的情况下,在 ImageNet 数据集上取得了最先进的性能,并在其他计算机视觉应用中实现了模型结构迁移。
Oct, 2019
本文介绍一种名为 Prior-Guided One-shot NAS 的神经架构搜索方法,它采用平衡采样策略、FLOPs 和 Zen-Score 等机制来加强超级网络的排名相关性,取得了 CVPR2022 第二轻量化 NAS 挑战赛超级网络轨道的第三名。
Jun, 2022
本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题,同时提出了一种新的、层次化和基于图形的搜索空间,实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略,该方法有效地扩展了有效架构的范围,促进了多目标学习方法的发展, 并在六个基准数据集上进行了验证,在生成轻量级且高度竞争的模型方面表现出了有效性。
Apr, 2020
GPT-NAS 是一种基于预训练模型的神经结构搜索算法,通过引入先验知识来大大减少搜索空间,从而优化神经网络架构,并在实验中取得了比其他七个手动设计的神经结构和竞争 NAS 方法提供的 13 个神经结构的好结果,并提高了经过精细调整的神经结构的性能。
May, 2023
本篇论文介绍了一种名为 BONAS 的基于贝叶斯优化的神经架构搜索框架,该框架使用图卷积网络预测器作为代理模型以在每次迭代中选择多个相关的候选模型,并采用权重共享方法来同时训练多个候选模型。该方法不仅可以显著加速传统的基于采样的方法,而且可以保持其可靠性。
Nov, 2019
本文提出了具有可证明收敛保证的生成式对抗网络 NAS (GA-NAS),并基于权重的鉴别器提供的奖励,采用增强学习训练生成器,探索搜寻空间而无需评估大量体系结构,通过三个公共 NAS 基准测试,在多个情况下 GA-NAS 都能打败已发布的最佳结果,同时 GA-NAS 可以处理特定搜寻约束和空间,能用于改进其他 NAS 方法找到的优化基线的 ImageNet 准确性或参数数量。
May, 2021
提出了随机神经架构搜索 (SNAS),作为一种经济高效的神经架构搜索方案,它在同一次反向传播中训练神经操作参数和架构分布参数,同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS,提出一种全新的搜索梯度,优化效果比基于强化学习的 NAS 更高,同时加入局部可分解奖励,以强制实施资源有效约束,最终在 CIFAR-10 数据集上得到了业界领先的准确性。
Dec, 2018
本文介绍一种基于神经预测器的进化算法(NPENAS)用于增强 NAS 的探索能力,设计了两种神经预测器,其中一种是基于贝叶斯优化的不确定性估计网络,另一种是直接输出输入神经结构性能预测的基于图的神经网络。大量实验表明,使用这种方法的 NPENAS 优于大多数现有的 NAS 算法.
Mar, 2020