ICCVAug, 2019

SCARLET-NAS: 在权值共享神经架构搜索中实现稳定性和可伸缩性的平衡

PDF
TL;DR本文研究如何通过引入等变可学习的稳定器来解决跳跃连接引起的特征不一致性问题，从而提高神经架构搜索的效率和准确性，最终设计出了一系列表现优异的神经网络结构。
neural architecture searchskip connectionsequivariant stabilizersupernet convergencescarlet series
发现论文，激发创造
  • Pi-NAS: 减少超级网络训练一致性偏移，提高神经结构搜索效率

    Pi-NAS 是一种非平凡的超网 - Pi 模型，利用跨路径学习减少不同路径之间特征的一致性移位并采用新颖的平均教师包含负样本克服参数移位和模型冲突，在不监督的情况下搜索可转移架构，并在 ImageNet 和一系列下游任务上展示了其相对于受监督的 NAS 的有效性和普适性。

    Aug, 2021

  • 稀疏超网络下的神经架构搜索

    本论文旨在将神经架构搜索的问题从单路径和多路径搜索扩大到自动混合路径搜索。我们提出了一种新的连续架构表示方法，利用稀疏超网络和稀疏性约束来实现自动混合路径搜索。同时，我们采用了分层加速的近端梯度算法来优化所提出的稀疏超网络，并在卷积神经网络和循环神经网络搜索中进行了广泛的实验，证明了该方法能够搜索到紧凑、通用和强大的神经结构。

    Jul, 2020

  • 共享权重神经架构搜索：缩小优化差距的战斗

    本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

    Aug, 2020

  • 通过候选增强和渐进式训练来改善超网的排名相关性

    通过重新设计超网络的子网络，逐步添加窄分支以减少权重共享的程度并提高排名相关性，可以有效减轻不同候选网络之间的相互干扰，从而提高了神经结构搜索的自动化设计效率。该方法在 CVPR2021 轻量级 NAS 挑战赛超级网络赛道中获得了第一名。

    Aug, 2021

  • Supernet 如何帮助神经架构搜索？

    该研究分析了五个搜索空间，研究发现权重共享在某些搜索空间中效果良好但在其他搜索空间中效果不佳，进一步揭示了这种现象的偏见因素和权重共享的能力。

    Oct, 2020

  • NetAdaptV2: 带快速超级网络训练和架构优化的高效神经网络架构搜索

    本文提出 NetAdaptV2，通过三项创新工作平衡各个步骤的时间并支持非可微分搜索指标，进而加速神经结构搜索并提高神经网络性能。

    Mar, 2021

  • 地标正则化：在神经架构搜索中使用排名引导超级网络训练

    本研究提出一种正则化项，通过一小组标志性架构来最大化共享权重网络和独立体系结构性能排名之间的相关性，在三种不同的 NAS 算法中应用并证明其能够提高算法的性能。

    Apr, 2021

  • 基于梯度匹配的 Few-Shot NAS 泛化

    该研究提出了一种基于梯度匹配得分的 Few-Shot NAS 方法，通过对多个超网进行边级分区来减小权重共享带来的误差，极大地减少了搜索成本，并在各种数据集、搜索算法下展开的广泛实证评估表明，该方法在搜索效果方面有明显的提高。

    Mar, 2022

  • FairNAS: 重新思考共享权重神经架构搜索的评估公正性

    探究神经网络结构搜索中候选模型评估的公平性问题，提出预期公平和严格公平两种约束方法，其通过公平的训练方式得到的一次性神经网络与多目标进化搜索算法相结合，可以获得最先进的模型。其中 FairNAS-A 模型在 ImageNet 数据集上获得了 77.5% 的 top-1 验证准确率。

    Jul, 2019

  • 渐进可微分架构搜索：弥合搜索和评估之间的深度鸿沟

    论文使用渐进式搜索算法，通过解决搜索深度过大和计算资源消耗等问题，实现对神经架构搜索的优化，获得了在 CIFAR10 和 ImageNet 数据集上的最先进表现。

    Apr, 2019