CVPRAug, 2021

通过候选增强和渐进式训练来改善超网的排名相关性

PDF
TL;DR通过重新设计超网络的子网络，逐步添加窄分支以减少权重共享的程度并提高排名相关性，可以有效减轻不同候选网络之间的相互干扰，从而提高了神经结构搜索的自动化设计效率。该方法在 CVPR2021 轻量级 NAS 挑战赛超级网络赛道中获得了第一名。
发现论文，激发创造
  • Supernet 如何帮助神经架构搜索？

    该研究分析了五个搜索空间，研究发现权重共享在某些搜索空间中效果良好但在其他搜索空间中效果不佳，进一步揭示了这种现象的偏见因素和权重共享的能力。

    Oct, 2020

  • Pi-NAS: 减少超级网络训练一致性偏移，提高神经结构搜索效率

    Pi-NAS 是一种非平凡的超网 - Pi 模型，利用跨路径学习减少不同路径之间特征的一致性移位并采用新颖的平均教师包含负样本克服参数移位和模型冲突，在不监督的情况下搜索可转移架构，并在 ImageNet 和一系列下游任务上展示了其相对于受监督的 NAS 的有效性和普适性。

    Aug, 2021

  • 增强神经架构搜索的顺序保持和可传递性：一种联合架构优化搜索和微调方法

    Supernet 是许多最新的神经架构搜索（NAS）方法中的核心组件，本文提出了一种改进的搜索策略 ——Supernet Shifting，以改善局部排序能力和实现模型的迁移学习。

    Mar, 2024

  • FairNAS: 重新思考共享权重神经架构搜索的评估公正性

    探究神经网络结构搜索中候选模型评估的公平性问题，提出预期公平和严格公平两种约束方法，其通过公平的训练方式得到的一次性神经网络与多目标进化搜索算法相结合，可以获得最先进的模型。其中 FairNAS-A 模型在 ImageNet 数据集上获得了 77.5% 的 top-1 验证准确率。

    Jul, 2019

  • 混合超网络：通过架构路由的专家混合改进权重共享超网络训练

    本文提出一种新的神经结构搜索方法，即混合超网，通过引入专家混合，提供了更加专业的模型选择，并通过路由机制调整各子网络的权重，有效提高了超网模型的性能，实验表明该方法在机器翻译和 BERT 模型中均取得了优异的性能。

    Jun, 2023

  • 基于先验指导的一次性神经架构搜索

    本文介绍一种名为 Prior-Guided One-shot NAS 的神经架构搜索方法，它采用平衡采样策略、FLOPs 和 Zen-Score 等机制来加强超级网络的排名相关性，取得了 CVPR2022 第二轻量化 NAS 挑战赛超级网络轨道的第三名。

    Jun, 2022

  • 稀疏超网络下的神经架构搜索

    本论文旨在将神经架构搜索的问题从单路径和多路径搜索扩大到自动混合路径搜索。我们提出了一种新的连续架构表示方法，利用稀疏超网络和稀疏性约束来实现自动混合路径搜索。同时，我们采用了分层加速的近端梯度算法来优化所提出的稀疏超网络，并在卷积神经网络和循环神经网络搜索中进行了广泛的实验，证明了该方法能够搜索到紧凑、通用和强大的神经结构。

    Jul, 2020

  • NASRec：面向推荐系统的权重共享神经架构搜索

    NASRec 是一种用于优化推荐系统的模型，其使用了深度神经网络，通过单一的 supernet，通过权重共享实现了丰富的模型 / 子架构，克服了数据多模性和架构异质性挑战，并在三个 CTR 预测基准测试中取得了有希望的结果。

    Jul, 2022

  • 共享权重神经架构搜索：缩小优化差距的战斗

    本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

    Aug, 2020

  • 利用图卷积网络匹配权重共享 NAS 的搜索空间

    本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。

    Apr, 2020