本文探究权重共享对神经架构搜索的影响，发现权重共享导致模型表现差异显著，同时也可以从共享权重的超级神经网络中提取有价值的信息，并提出适度减少权重共享的方法来减少差异性并提高性能。

Jan, 2020

本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

Aug, 2020

通过重新设计超网络的子网络，逐步添加窄分支以减少权重共享的程度并提高排名相关性，可以有效减轻不同候选网络之间的相互干扰，从而提高了神经结构搜索的自动化设计效率。该方法在 CVPR2021 轻量级 NAS 挑战赛超级网络赛道中获得了第一名。

Aug, 2021

通过系统评估常用的超网络训练启发式方法和超参数，发现其中一些启发式方法会对超网络和独立性能之间的相关性产生负面影响，并证明了某些超参数和体系结构选择的强烈影响。

Mar, 2020

通过将大的搜索空间模块化为小的搜索空间，并利用 DNA 技术开发了一系列模型，我们解决了 weight-sharing NAS 中的多个困境，如可扩展性、效率和多模态兼容性，并在一定计算复杂度约束下寻求不同深度和宽度的架构。广泛的实验评估表明，我们的模型分别在移动卷积网络和小型视觉变换器上实现了 78.9％和 83.6％的 ImageNet 最高准确率。

Mar, 2024

本研究采用 NASbench 数据集来测试 Weight-sharing 算法在搜索空间上的效率，通过与随机搜索的比较，我们发现虽然两种方式的结果具有一定的相关性，但 Weight-sharing 算法并不能显著提高了神经架构搜索的效率，且我们强调搜索空间本身的影响。

Feb, 2020

本文提出一种新的神经结构搜索方法，即混合超网，通过引入专家混合，提供了更加专业的模型选择，并通过路由机制调整各子网络的权重，有效提高了超网模型的性能，实验表明该方法在机器翻译和 BERT 模型中均取得了优异的性能。

Jun, 2023

探究神经网络结构搜索中候选模型评估的公平性问题，提出预期公平和严格公平两种约束方法，其通过公平的训练方式得到的一次性神经网络与多目标进化搜索算法相结合，可以获得最先进的模型。其中 FairNAS-A 模型在 ImageNet 数据集上获得了 77.5% 的 top-1 验证准确率。

Jul, 2019

研究提出了一种使用更通用的 alpha-divergence 改进 supernet 训练的方法，以避免模型不确定性的高估或低估，同时应用于 neural architecture search（神经架构搜索），并在不同的 FLOPs 范围内取得了优异的成果。

Feb, 2021

NASRec 是一种用于优化推荐系统的模型，其使用了深度神经网络，通过单一的 supernet，通过权重共享实现了丰富的模型 / 子架构，克服了数据多模性和架构异质性挑战，并在三个 CTR 预测基准测试中取得了有希望的结果。

Jul, 2022