基于元学习内核的高效可微分神经架构搜索

Dec, 2019

基于元学习内核的高效可微分神经架构搜索

Efficient Differentiable Neural Architecture Search with Meta Kernels

Shoufa Chen, Yunpeng Chen, Shuicheng Yan, Jiashi Feng

TL;DR该研究提出了一种基于元卷积核的高效神经架构搜索策略，通过直接编码超级网络来缩小多个卷积核选项，从而在减少中间特征存储内存和资源预算的同时，实现更精细的搜索。该方法在 ImageNet 基准数据集上以 357M FLOPs 为限制可达到 77.0% 的 top-1 准确率，超过了 EfficientNet 和 MobileNetV3，并且与最先进的 NAS 方法相比，在相同的计算预算下速度还快了三个数量级。

Abstract

The searching procedure of neural architecture search (NAS) is notoriously time consuming and cost prohibitive.To make the search space continuous, most existing gradient-based NAS methods relax the categorical choice of a particular operation to a softmax over all possible operations

neural architecture search meta kernels supernet convolution kernels efficiency

发现论文，激发创造

多样任务有效的架构搜索

本文研究了基于神经架构搜索（NAS）的自动机器学习（AutoML）在计算机视觉以外的任务上的应用，作者提出了一种名为 DASH 的不同 iable NAS 算法，用于搜索卷积神经网络（CNN）的卷积核，实现了在多种应用领域上最先进的自动化性能。

Apr, 2022

四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

Feb, 2021

稀疏超网络下的神经架构搜索

本论文旨在将神经架构搜索的问题从单路径和多路径搜索扩大到自动混合路径搜索。我们提出了一种新的连续架构表示方法，利用稀疏超网络和稀疏性约束来实现自动混合路径搜索。同时，我们采用了分层加速的近端梯度算法来优化所提出的稀疏超网络，并在卷积神经网络和循环神经网络搜索中进行了广泛的实验，证明了该方法能够搜索到紧凑、通用和强大的神经结构。

Jul, 2020

单路径移动端自动机器学习：高效的卷积神经网络设计和 NAS 超参数优化

本研究提出了一种新的 differentiable NAS 公式，名为 Single-Path NAS，将所有建筑决策编码为共享卷积核参数的一个单路径超参数卷积神经网络，大大降低了搜索过程的开销，并在移动延迟限制下实现了最新的图像分类结果。在不到 3 小时的时间内将 NAS 搜索成本降低到 8 个时期（24TPU 小时），比以前的工作快了多达 5,000 倍。

Jul, 2019

AtomNAS：细粒度端到端神经架构搜索

该文章提出了一种细粒度的搜索空间，有效地解决了神经体系结构搜索 (NAS) 中的搜索空间设计问题，其中包括资源感知的架构搜索框架和动态网络收缩技术，可同时进行搜索和训练，并在 ImageNet 上以小的搜索成本取得了最先进的性能。

Dec, 2019

元架构搜索

本文提出了基于贝叶斯元学习的 (Meta Architecture Search) 方法，用于加速大量任务的体系结构搜索，通过学习适用于整个任务集的任务不可知表达式，实现对 NAS 的大规模高效搜索，减少计算成本，并在 Imagenet 分类任务中发现了与目前使用更少显卡宽带的超参搜索算法相当的结果

Dec, 2018

ISTA-NAS：通过稀疏编码实现高效、一致的神经架构搜索

通过稀疏编码的方法，进行可微的搜索及网络结构恢复，以满足稀疏性约束，提高了神经结构搜索的效率和性能。

Oct, 2020

CARS：高效神经结构搜索的不间断进化

本论文提出一种高效的连续演化方法用于搜索神经网络，该方法在优化神经网络的同时，使用优化后的神经网络在下一次的演化中，大大地加速了网络生成的效率。实验表明，该方法产生的神经网络在 mobile 设置下，参数数量在 3.7M 到 5.1M 之间不等，在 ImageNet 数据集上的表现超过了目前已有的先进方法。

Sep, 2019

带有集成 Gumbel-Softmax 的可微架构搜索

本文提出一种可微分的网络架构搜索方法，使用集成 Gumbel-Softmax 估算器优化深度网络的构架和参数以实现同时保证高效和有效性的目标。实验证明，该方法可以高效地发现高性能架构。

May, 2019

用于内存计算的多目标神经架构搜索

我们使用神经架构搜索（NAS）方法，通过贝叶斯优化构建卷积神经网络（CNN）模型，以灵活适配的深度增强内存计算（IMC）架构上的多样机器学习（ML）任务的效率。通过在超过 6.4 亿网络配置的庞大搜索空间中探索贝叶斯搜索算法，我们验证了我们的 NAS 方法在 IMC 架构部署中取得高准确性、低延迟和能量消耗的平衡解的有效性，涵盖了三个不同的图像分类数据集。

Jun, 2024