神经参数分配搜索（NPAS）通过在给定任意固定参数预算的情况下获取网络权重来自动化参数共享。我们改进了先前工作中的两个主要缺点，首先是在搜索和训练步骤之间共享模式的不一致性，其在搜索期间对不同大小的层进行权重变形以衡量相似性，但在训练期间不进行变形，从而导致性能降低。其次，我们改进了共享参数之间相似性的测量方法，我们认为之前的方法仅比较权重本身，而未考虑共享权重之间的冲突程度。相反，我们利用梯度信息识别希望在共享权重之间发生分歧的层。我们证明了我们的超重网络在 NPAS 设置中在 ImageNet 和 CIFAR 数据集上始终提升性能。此外，我们还展示了我们的方法可以使用相同的权重为许多网络架构生成参数。这使我们能够支持高效集成和任意时间预测等任务，并且相比完全参数化的集成方法，我们的方法可以使用更少 17％的参数取得更好的性能。

Dec, 2023

本文提出了一种新颖的多任务学习方法，其中借助了多任务神经网络的参数共享，通过学习精细的参数共享模式来提高模型性能，该模式通过二进制变量实现，与模型参数共同反向传播学习，并在 Omniglot 基准测试中实现了 17％相对误差减小。

Oct, 2019

ENAS 提出了高效神经架构搜索方法，使用控制器在大型计算图中发现神经网络架构，以优化子图为目标进行训练，利用共享子模型参数，使用的 GPU-hours 要比所有现有的自动模型设计方法少 1000 倍，设计出实现最新技术水平的新型结构。

Feb, 2018

该研究提出了一种针对各种 DNN 层的精细结构修剪通用类别，并支持不同 DNN 和不同修剪方案的综合编译自动代码生成框架，进一步提出了一个编译器感知的网络修剪与架构搜索（NPAS) 方法，利用基于强化学习的元模型过程解决大规模搜索空间问题，以获得比先前工作更好的手机图像分类性能。

Dec, 2020

提出了随机神经架构搜索 (SNAS)，作为一种经济高效的神经架构搜索方案，它在同一次反向传播中训练神经操作参数和架构分布参数，同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS，提出一种全新的搜索梯度，优化效果比基于强化学习的 NAS 更高，同时加入局部可分解奖励，以强制实施资源有效约束，最终在 CIFAR-10 数据集上得到了业界领先的准确性。

Dec, 2018

Pi-NAS 是一种非平凡的超网 - Pi 模型，利用跨路径学习减少不同路径之间特征的一致性移位并采用新颖的平均教师包含负样本克服参数移位和模型冲突，在不监督的情况下搜索可转移架构，并在 ImageNet 和一系列下游任务上展示了其相对于受监督的 NAS 的有效性和普适性。

Aug, 2021

通过提出基于任务的端到端的 NAS 方法定义，我们提出了 DSNAS，一个高效的可微分 NAS 框架，不仅可以同时优化架构和参数，而且还可以减少模型训练时间，并在 ImageNet 数据集上达到了与现有方法同等的准确率。

Feb, 2020

本文提出了一种并行的图神经网络架构搜索框架 (GraphPAS)，采用分享式进化学习并动态采用架构信息熵进行变异选择概率，从而提高搜索效率和准确性。实验结果表明，GraphPAS 在效率和准确性上都优于现有技术。

Dec, 2021

使用安全多方计算方法构建隐私保护的神经架构搜索框架，其中使用重新设计的 ReLU 和 Max-pooling 保混乱电路以及对秘密共享的 Softmax 函数的新替代方法，分析和实验表明其在安全性，效率和准确性方面具有优越性。

Apr, 2022

本文介绍一种基于神经预测器的进化算法（NPENAS）用于增强 NAS 的探索能力，设计了两种神经预测器，其中一种是基于贝叶斯优化的不确定性估计网络，另一种是直接输出输入神经结构性能预测的基于图的神经网络。大量实验表明，使用这种方法的 NPENAS 优于大多数现有的 NAS 算法.

Mar, 2020