该研究提出了一种基于元卷积核的高效神经架构搜索策略，通过直接编码超级网络来缩小多个卷积核选项，从而在减少中间特征存储内存和资源预算的同时，实现更精细的搜索。该方法在 ImageNet 基准数据集上以 357M FLOPs 为限制可达到 77.0% 的 top-1 准确率，超过了 EfficientNet 和 MobileNetV3，并且与最先进的 NAS 方法相比，在相同的计算预算下速度还快了三个数量级。

Dec, 2019

本文提出了 Block-wisely Self-supervised Neural Architecture Search (BossNAS) 方法，包括定义可搜索的 CNN-transformer 混合结构搜索空间 HyTra、以及新型自监督训练策略 ensemble bootstrapping。在此挑战性的搜索空间上，作者搜索得到的模型 BossNet-T 在 ImageNet 上可达到 82.5% 的准确率，且在 MBConv 和 NATS-Bench 大小的搜索空间上均有较高的最优架构效果。

Mar, 2021

提出了一种分级三元搜索框架，以同时发现物体检测器的所有组件（即主干，neck 和 head）的有效体系结构，在每个对应的子搜索空间上进行端到端的搜索，其中不同的子搜索空间适合不同的组件。

Mar, 2020

该文章提出了一种细粒度的搜索空间，有效地解决了神经体系结构搜索 (NAS) 中的搜索空间设计问题，其中包括资源感知的架构搜索框架和动态网络收缩技术，可同时进行搜索和训练，并在 ImageNet 上以小的搜索成本取得了最先进的性能。

Dec, 2019

利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

Feb, 2021

本文采用神经架构搜索技术，提出了一种优化 Transformer 架构的新框架，以增强其效率，并通过机器翻译和图像分类任务进行验证。实验表明，优化后的 Transformer 架构在计算效率方面得到提升，但与标准 Transformer 相比，其整体精度略有下降，这表明了深度学习模型的精确性和效率之间的平衡问题。因此，本文提出了将 Softmax attention 和 efficient attention 混合使用的方法以达到平衡性。

Jul, 2022

在这篇论文中，我们提出了一种新颖的基于细胞的分层搜索空间，易于理解和操作，旨在优化搜索时间并且足够通用，可以处理大多数卷积神经网络的最先进架构。

Oct, 2023

该论文提出了一种基于 Transformer 的新型代理，支持多个搜索空间和任务之间的联合训练和高效先前知识的传输。

Jun, 2019

本文介绍了使用神经架构搜索来自动化提高 Vision Transformer 架构和搜索空间的过程，以及设计指南和分析。通过使用 E-T Error 来逐步演化不同的搜索维度。此外，从所搜索的空间中得到的模型，名为 S3，评估在 ImageNet 上表现比最近提出的模型（如 Swin、DeiT 和 ViT）更出色，并在目标检测、语义分割和视觉问答等任务中展示了其普适性。

Nov, 2021

通过局部模块来提高图像转换器的视觉表示能力，建立搜索空间和搜索算法体系，提出分层神经架构搜索方法并证明其在 ImageNet 数据集上对于图像分类比 ResNet 和 ViT 机型更优。

Jul, 2021