Oct, 2019

抑制后验衰减，提升一次性神经架构搜索

PDF
TL;DR通过 Bayesian 分析，提出一种可实现后验均衡的神经网络架构搜索方法，该方法引入硬延迟约束，在满足标准 GPU 延迟约束的情况下，在 ImageNet 数据集上取得了最先进的性能，并在其他计算机视觉应用中实现了模型结构迁移。
neural architecture searchweigh sharing methodbayesian analysislatency constraintposterior convergent nas
发现论文，激发创造
  • 后验引导的神经网络结构搜索

    本研究从贝叶斯角度出发，提出了一种后验引导的神经结构搜索方法（PGNAS），通过估计网络结构和权重的联合后验分布，减少数据采样与超参数调整，并在图像分类任务上进行验证，证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。

    Jun, 2019

  • BayesNAS: 一种用于神经结构搜索的贝叶斯方法

    本文采用经典的贝叶斯学习方法，利用分层自动相关决策（HARD）先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题，并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构，同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。

    May, 2019

  • BigNAS：利用大型单级模型扩展神经架构搜索

    本文提出一种新方法 BigNAS，使用单个共享权重集合无需进行额外的训练或后处理步骤，就可以用于神经结构搜索，该方法的预测准确率优于现有方法。

    Mar, 2020

  • 共享权重神经架构搜索：缩小优化差距的战斗

    本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

    Aug, 2020

  • 利用 BONAS 缩小基于样本和一次通的神经架构搜索之间的差距

    本篇论文介绍了一种名为 BONAS 的基于贝叶斯优化的神经架构搜索框架，该框架使用图卷积网络预测器作为代理模型以在每次迭代中选择多个相关的候选模型，并采用权重共享方法来同时训练多个候选模型。该方法不仅可以显著加速传统的基于采样的方法，而且可以保持其可靠性。

    Nov, 2019

  • NAS-Bench-1Shot1: 一次性神经架构搜索的基准测试和解剖

    本文提出了一个通用框架，用于一次性神经架构搜索，并引入了一个基于最近推出的大规模表格基准 NAS-Bench-101 的基准测试框架，以评估一次性 NAS 方法的廉价性能，并比较了几种最先进的一次性 NAS 方法，检查它们对超参数的敏感性，以及如何通过调整它们的超参数来改进它们的性能，并将它们的性能与 NAS-Bench-101 的黑盒优化器进行比较。

    Jan, 2020

  • 通过压缩感知的单次神经架构搜索

    本文提出一种迭代学习方法，旨在解决神经架构搜索中的元学习问题。该方法使用参数共享思想，利用代理模型来减少 NAS 运行时间，并在 DARTs 搜索空间和 NAS-Bench-201 上验证了其可行性。此外，作者还提供了理论分析及脱敏研究以进一步深入了解其技术。

    Jun, 2019

  • 少样本神经架构搜索

    该研究提出了 few-shot NAS，利用多个超级网络（称为子超级网络）覆盖搜索空间的不同区域，以缓解操作之间的不良共适应，并证明其在多项任务中能够显著提高各种一次性方法的准确性，包括在 NasBench-201 和 NasBench1-shot-1 上的 3 个不同任务中的 4 个基于梯度的和 6 个基于搜索的方法，并在 ImageNet、CIFAR10 和 Auto-GAN 上取得最新水平。

    Jun, 2020

  • Single-Path NAS: 设备感知高效的 ConvNet 设计

    本文介绍了一种基于 Single-Path NAS 的新型可微分神经架构搜索方法，可以在移动设备延迟限制下设计高效的卷积神经网络，并实现了 Pixel 1 手机上的图像分类，取得了当前最先进的结果。

    May, 2019

  • 基于神经预测的 NAS 在零样本 NAS 范式中的有效性

    利用深度学习方法提出了一种新的零样本神经架构搜索方法，该方法使用正弦编码的傅里叶和来构建计算前馈图，并通过伴随的多层感知机对架构进行排序。实验证明，该方法在 NAS-Bench-201 数据集上的相关性和收敛速度均超过了先前使用图卷积网络的方法，并且所提取的特征表示经训练后可迁移到其他 NAS-Benchmark，展现了在多个搜索空间中的潜在普适性。

    Aug, 2023