GPipe是一种管道并行库，它提供了一种高效进行模型并行化的方式，可以将不同子层序列分别放在不同的加速器上，因此可以有效地将各种不同的网络扩展到巨大的规模，并且能够实现快速的线性加速，通过对两个不同任务的训练，证明了GPipe的优势。

Nov, 2018

该论文提出了一种不同iable的搜索空间方法，可以通过逐渐修剪较差的操作，实现体系结构权重的退火，从而以连续的方式收敛到单个输出网络，实验表明该方法在视觉数据集上具有较高的准确性和较低的搜索成本。

Apr, 2019

本文提出了一种基于进化的神经架构搜索方法，利用基因表达式编程来进行卷积神经网络结构的发现，获得了良好的结果，同时也鼓励在进化的神经架构搜索中进行更多的实验。

May, 2020

本文提出了一种基于现代GPU设计GPU高效网络的通用原则，通过简单且轻量级的方法搜索GPU高效网络结构，相较于大多数神经体系结构搜索方法（NAS），该结构具有简单且低计算开销的优势。通过该原则，我们设计出了一系列GPU高效网络，称为GENets，该结构在ImageNet上获得了81.3 %的top-1准确率，比EfficienNet在GPU上快6.4倍。

Jun, 2020

本文介绍了一个新的神经架构搜索算法，该算法使用零取样指数Zen-Score代替了传统的精度预测器，并且只需要少量前向推断即可计算Zen-Score。建立在Zen-Score基础上，提出了Zen-NAS算法，能够在不使用数据的情况下，直接搜索高性能的架构。Zen-NAS在多个服务器和移动GPU平台表现出卓越的性能和精度。

Feb, 2021

本文提出了一个基于数据中心加速器优化的神经网络架构搜索空间，并探讨了新型的复合比例尺度方法，提出了一种称为 EfficientNet-X 的新型模型系列，该模型在 TPUv3 和 GPUv100 上比现有的 RegNet 和 ResNeSt 速度均快至少 2 倍，同时具有可与其相媲美的准确性。

Feb, 2021

利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在CIFAR-10和ImageNet上只花费0.5和4 GPU小时完成的高质量搜索。

Feb, 2021

FBNetV5是一种神经架构搜索 (NAS) 框架，旨在为多种视觉任务搜索神经结构，具有更少的计算成本和人力成本。该框架具有包容性和可转移性的简单搜索空间，可独立于目标任务的训练管道进行多任务搜索，并通过单次搜索生成的模型，在图像分类、目标检测和语义分割等三个任务中均超过之前的最新水平。

Nov, 2021

本文提出了一种新的硬件感知神经结构搜索框架，旨在优化目标平台上的任务精度、推理延迟和资源利用。通过使用该框架和新的资源利用模型，我们在CIFAR-10和Imagenet-100数据集上实现了 2.8-4倍的DNN推理加速，并获得了与以往硬件感知神经结构搜索方法相似或更好的图像分类精度。

Mar, 2022

GPT-NAS是一种基于预训练模型的神经结构搜索算法，通过引入先验知识来大大减少搜索空间，从而优化神经网络架构，并在实验中取得了比其他七个手动设计的神经结构和竞争NAS方法提供的13个神经结构的好结果，并提高了经过精细调整的神经结构的性能。

May, 2023