CVPRFeb, 2023

PA&DA: 为一致的 NAS 联合采样路径和数据

PDF
TL;DR借助权重共享机制，一次性 NAS 方法训练超级网络，然后继承预训练权重以评估子模型，这在很大程度上降低了搜索成本。然而，我们发现，在超级网络训练期间，权重共享会导致梯度下降方向不同，并且存在较大的梯度方差，该论文的方法旨在通过联合优化 PAth 和 DAta 的采样分布，明确最小化超级网络训练的梯度方差，使用梯度范数进行路径和训练数据的重要性采样策略，从而实现更加一致的 NAS。
one-shot nassupernetgradient varianceimportance samplingnormalization
发现论文，激发创造
  • Pi-NAS: 减少超级网络训练一致性偏移，提高神经结构搜索效率

    Pi-NAS 是一种非平凡的超网 - Pi 模型，利用跨路径学习减少不同路径之间特征的一致性移位并采用新颖的平均教师包含负样本克服参数移位和模型冲突，在不监督的情况下搜索可转移架构，并在 ImageNet 和一系列下游任务上展示了其相对于受监督的 NAS 的有效性和普适性。

    Aug, 2021

  • 基于先验指导的一次性神经架构搜索

    本文介绍一种名为 Prior-Guided One-shot NAS 的神经架构搜索方法，它采用平衡采样策略、FLOPs 和 Zen-Score 等机制来加强超级网络的排名相关性，取得了 CVPR2022 第二轻量化 NAS 挑战赛超级网络轨道的第三名。

    Jun, 2022

  • GreedyNAS: 基于贪心超网络的快速一次性神经架构搜索

    本文提出一种名为 GreedyNAS 的神经架构搜索方法，通过多路径抽样策略和候选路径池相结合的方法，将超网的负担减少至仅关注可能具有良好性能的路径，从而在 ImageNet 数据集中实现更好的 Top-1 准确率，且仅需大约 60％的超网训练成本。

    Mar, 2020

  • 后验引导的神经网络结构搜索

    本研究从贝叶斯角度出发，提出了一种后验引导的神经结构搜索方法（PGNAS），通过估计网络结构和权重的联合后验分布，减少数据采样与超参数调整，并在图像分类任务上进行验证，证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。

    Jun, 2019

  • 利用图卷积网络匹配权重共享 NAS 的搜索空间

    本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。

    Apr, 2020

  • 通过概率变化改进一次性 NAS 的 ShiftNAS

    本文提出 ShiftNAS，一种基于子网复杂度调整采样概率的方法，通过训练可以直接获取给定计算复杂度所需的最佳模型架构和参数，实验结果表明 ShiftNAS 可以在不增加额外消耗的情况下提高 One-shot NAS 的性能。

    Jul, 2023

  • 对抗自适应采样：统一 PINN 和最优输运用于 PDE 近似

    本文提出了一种新的最小最大 (PDEs) 方程求解方法，通过使用神经网络模型和深度生成模型来同时优化近似解及数据集，从而减少最终逼近的统计误差，此方法称为对抗性自适应采样 (adversarial adaptive sampling)，并是将两个组件融合的第一次的尝试。

    May, 2023

  • 基于梯度匹配的 Few-Shot NAS 泛化

    该研究提出了一种基于梯度匹配得分的 Few-Shot NAS 方法，通过对多个超网进行边级分区来减小权重共享带来的误差，极大地减少了搜索成本，并在各种数据集、搜索算法下展开的广泛实证评估表明，该方法在搜索效果方面有明显的提高。

    Mar, 2022

  • 通过候选增强和渐进式训练来改善超网的排名相关性

    通过重新设计超网络的子网络，逐步添加窄分支以减少权重共享的程度并提高排名相关性，可以有效减轻不同候选网络之间的相互干扰，从而提高了神经结构搜索的自动化设计效率。该方法在 CVPR2021 轻量级 NAS 挑战赛超级网络赛道中获得了第一名。

    Aug, 2021

  • AlphaNet: Alpha-Divergence 优化超级网络的改进训练

    研究提出了一种使用更通用的 alpha-divergence 改进 supernet 训练的方法，以避免模型不确定性的高估或低估，同时应用于 neural architecture search（神经架构搜索），并在不同的 FLOPs 范围内取得了优异的成果。

    Feb, 2021