基于层次空间的高效 NAS 与 FaDE

Apr, 2024

Efficient NAS with FaDE on Hierarchical Spaces

Simon Neumeyer, Julian Stier, Michael Granitzer

TL;DRFaDE 使用可微分的架构搜索方法，在有限的分层搜索空间上获取相对性能预测，在完整的神经架构搜索空间上实现一个批量式外部搜索算法，实验结果表明 FaDE 在分层和多细胞搜索空间中展开线性探索，消除了代理搜索空间的需要。

Abstract

neural architecture search (NAS) is a challenging problem. Hierarchical search spaces allow for cheap evaluations of neural network sub modules to serve as surrogate for architecture evaluations. Yet, sometimes the hierarchy is too restrictive or the surrogate fails to generalize. We p

neural architecture search hierarchical search spaces differentiable architecture search relative performance predictions evolutionary algorithm

发现论文，激发创造

NAS 评估非常困难

在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

Dec, 2019

联邦神经结构搜索

通过局限的客户端计算和通信资源，实现有效的分布式神经网络训练与搜索，从而降低客户端成本。

Feb, 2020

AtomNAS：细粒度端到端神经架构搜索

该文章提出了一种细粒度的搜索空间，有效地解决了神经体系结构搜索 (NAS) 中的搜索空间设计问题，其中包括资源感知的架构搜索框架和动态网络收缩技术，可同时进行搜索和训练，并在 ImageNet 上以小的搜索成本取得了最先进的性能。

Dec, 2019

准确性与效率：通过 FPGA-Aware 神经架构搜索实现双赢

本文提出了一种新的硬件感知的神经架构搜索框架，名为 FNAS，使用 Field Programmable Gate Arrays 作为车辆，通过性能抽象模型对神经架构进行快速剪枝，以保证满足实现规范的延迟，并在精度下降少于 1% 的情况下快速搜索到有效的架构。

Jan, 2019

引导进化神经网络架构搜索与高效性能估计

该论文提出了一种名为 GEA 的新型引导神经结构搜索方法，该方法使用零代理估计器在每个代际初始化阶段生成和评估多个架构，然后从现有架构生成多个后代并同时驱动探索和剪枝，结果表明 GEA 在多个数据集上都取得了最先进的结果。

Jul, 2022

FP-NAS: 快速概率神经架构搜索

提出了一种自适应于分布熵的采样方法，从而实现快速的多元空间神经体系结构搜索，成为 FP-NAS。通过 FP-NAS，可以使搜索空间变得更大、更深、更准确，速度比其他方法快 2.1 倍 - 3.5 倍，并且可以直接搜索高达 1.0G FLOPS 的大模型，在数字图像分类方面表现出色。

Nov, 2020

GeNAS: 具有更好泛化性能的神经架构搜索

本文探讨了一种新的神经架构搜索度量方式，发现损失曲面的平整度可以预测神经网络架构的泛化能力，通过在不同的搜索空间进行评估，提出的方法相对于现有的 NAS 方法表现更好，并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。

May, 2023

神经网络结构生成器优化

本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展，并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

Apr, 2020

神经架构搜索的几何感知梯度算法

本文研究神经架构搜索中的优化问题，提出一种基于单层经验风险最小化的几何感知框架，结合梯度下降和正则化的优化器，通过基于连续优化的松弛方法实现对离散寻找空间的搜索，成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。

Apr, 2020

当 NAS 遇上树：一种高效的神经结构搜索算法

TNAS 是新的神经结构搜索方法，它使用架构树和二进制运算树来分解搜索空间并减少探索大小，采用修改后的双层宽度优先搜索在提议的树中发现高性能架构，在四个 GPU 小时内在 NAS-Bench-201 上找到 94.37％的 CIFAR-10 全局最优体系结构和 94.35％的平均测试准确率超过了现有技术水平。

Apr, 2022