本文研究了基于神经架构搜索（NAS）的自动机器学习（AutoML）在计算机视觉以外的任务上的应用，作者提出了一种名为 DASH 的不同 iable NAS 算法，用于搜索卷积神经网络（CNN）的卷积核，实现了在多种应用领域上最先进的自动化性能。

Apr, 2022

本文提出了一种基于可微搜索框架的不同 iable 网络拓扑搜索方案，以支持快速梯度搜索，同时遵循高度灵活的多路径网络拓扑结构，高度减少了搜索的 GPU 内存使用，此模型在医学分割竞赛中成为了最具有竞争力的方法。

Mar, 2021

神经架构搜索被广泛应用于各种计算机视觉任务，其中不可微分神经架构搜索是其中一个有前景的子领域。然而，基于梯度的方法受到离散化误差的影响，从而严重损害了获取最终架构的过程。我们的工作首次研究了离散化误差的风险，并展示了如何影响非规则化超网络。为了增强 DNAS 框架的鲁棒性，我们引入了一种新的单阶段搜索协议，不依赖于解码连续架构。我们的结果表明，这种方法在 Cityscapes 验证数据集的搜索阶段达到了 75.3% 的性能，并且在包含短连接的非稠密搜索空间上比 DCNAS 的最佳网络性能高 1.1%。整个训练过程只需 5.5 个 GPU 天，由于权重重用，获得了计算效率高的架构。此外，我们提出了一种新的数据集分割过程，大大提高了结果并防止了 DARTS 中架构退化。

May, 2024

基于第二阶损失景观信息的自动缩放方法，以灵活适应视觉变换器中的跳跃连接；在 DeiT-S 与 ImageNet100 上广泛评估，相较于传统缩放，准确率提高 2.5%，参数效率提高 10%；缩放网络在从头训练小规模数据集时表现出卓越性能，是视觉变换器的首个完整缩放机制，实现高效模型缩放的一步。

Feb, 2024

多粒度架构搜索（MGAS）是一个统一框架，旨在全面且高效地探索多粒度搜索空间以发现既有效又高效的神经网络，并在模型性能和模型大小之间取得更好的平衡。

Oct, 2023

本文提出了一种 Multi-Scale NAS 框架，具有从网络主干到单元操作的多尺度搜索空间和多尺度融合能力，采用部分通道连接方案和两步解码方法来提高计算效率，实验结果表明，MS-NAS 在各种分割数据集上优于现有方法，并实现了 0.6-5.4% mIOU 和 0.4-3.5% DSC 的提高，计算资源消耗减少了 18.0-24.9%。

Jul, 2020

通过提出基于任务的端到端的 NAS 方法定义，我们提出了 DSNAS，一个高效的可微分 NAS 框架，不仅可以同时优化架构和参数，而且还可以减少模型训练时间，并在 ImageNet 数据集上达到了与现有方法同等的准确率。

Feb, 2020

该论文提出了一种名为 DSO-NAS 的神经架构搜索方法，采用基于稀疏正则化的模型修剪视角，利用逐步引入稀疏网络的方法来解决搜索空间庞大且不连续的问题，在 CIFAR-10 数据集上达到了 2.84％的平均测试误差，在 ImageNet 数据集上，仅使用 8 块 GPU 600M FLOPs 进行 18 小时的训练可以达到 25.4％的测试误差。

Nov, 2018

该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

Jun, 2020

通过基于双层优化的稀疏概率生成方法，Z0-DARTS + 提高了搜索效率，与最先进的解决方案相比，匹配了状态技术的准确性，并将搜索时间缩短了三倍。

May, 2024