本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

Aug, 2020

本文研究神经架构搜索中的优化问题，提出一种基于单层经验风险最小化的几何感知框架，结合梯度下降和正则化的优化器，通过基于连续优化的松弛方法实现对离散寻找空间的搜索，成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。

Apr, 2020

该研究分析了五个搜索空间，研究发现权重共享在某些搜索空间中效果良好但在其他搜索空间中效果不佳，进一步揭示了这种现象的偏见因素和权重共享的能力。

Oct, 2020

本文探究权重共享对神经架构搜索的影响，发现权重共享导致模型表现差异显著，同时也可以从共享权重的超级神经网络中提取有价值的信息，并提出适度减少权重共享的方法来减少差异性并提高性能。

Jan, 2020

本文探讨神经体系结构搜索中的权重共享问题并提出了 MAGIC-T 和 MAGIC-A 两种方法来缓解共享运算符之间的干扰。实验证明，我们的方法能够提高超级神经网络的排序相关性，并在各种任务中验证了其有效性和普适性。

Aug, 2021

本研究采用 NASbench 数据集来测试 Weight-sharing 算法在搜索空间上的效率，通过与随机搜索的比较，我们发现虽然两种方式的结果具有一定的相关性，但 Weight-sharing 算法并不能显著提高了神经架构搜索的效率，且我们强调搜索空间本身的影响。

Feb, 2020

本研究提出一种正则化项，通过一小组标志性架构来最大化共享权重网络和独立体系结构性能排名之间的相关性，在三种不同的 NAS 算法中应用并证明其能够提高算法的性能。

Apr, 2021

通过将大的搜索空间模块化为小的搜索空间，并利用 DNA 技术开发了一系列模型，我们解决了 weight-sharing NAS 中的多个困境，如可扩展性、效率和多模态兼容性，并在一定计算复杂度约束下寻求不同深度和宽度的架构。广泛的实验评估表明，我们的模型分别在移动卷积网络和小型视觉变换器上实现了 78.9％和 83.6％的 ImageNet 最高准确率。

Mar, 2024

本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。

Apr, 2020

神经参数分配搜索（NPAS）通过在给定任意固定参数预算的情况下获取网络权重来自动化参数共享。我们改进了先前工作中的两个主要缺点，首先是在搜索和训练步骤之间共享模式的不一致性，其在搜索期间对不同大小的层进行权重变形以衡量相似性，但在训练期间不进行变形，从而导致性能降低。其次，我们改进了共享参数之间相似性的测量方法，我们认为之前的方法仅比较权重本身，而未考虑共享权重之间的冲突程度。相反，我们利用梯度信息识别希望在共享权重之间发生分歧的层。我们证明了我们的超重网络在 NPAS 设置中在 ImageNet 和 CIFAR 数据集上始终提升性能。此外，我们还展示了我们的方法可以使用相同的权重为许多网络架构生成参数。这使我们能够支持高效集成和任意时间预测等任务，并且相比完全参数化的集成方法，我们的方法可以使用更少 17％的参数取得更好的性能。

Dec, 2023