Nov, 2019

细粒度神经架构搜索

PDF
TL;DR利用神经架构搜索和细粒化技术提出了一个可以在单个层内使用多种异构操作，甚至可以使用多种基本操作生成组合特征映射的框架。该框架可以通过随机梯度下降方法端到端地训练网络，并优化网络的资源利用效率。在大规模图像分类和图像超分辨率等计算机视觉任务中，该框架通过灵活的操作搜索和通道剪枝实现了最先进的性能。
neural architecture searchfine-grainedcomputer visionend-to-end trainingresource optimization
发现论文，激发创造
  • AtomNAS：细粒度端到端神经架构搜索

    该文章提出了一种细粒度的搜索空间，有效地解决了神经体系结构搜索 (NAS) 中的搜索空间设计问题，其中包括资源感知的架构搜索框架和动态网络收缩技术，可同时进行搜索和训练，并在 ImageNet 上以小的搜索成本取得了最先进的性能。

    Dec, 2019

  • MGAS：用于高效和有效的神经网络的多粒度架构搜索

    多粒度架构搜索（MGAS）是一个统一框架，旨在全面且高效地探索多粒度搜索空间以发现既有效又高效的神经网络，并在模型性能和模型大小之间取得更好的平衡。

    Oct, 2023

  • SGAS: 顺序贪心架构搜索

    本文介绍了一种名为 SGAS 的神经架构搜索方法，该方法可用于搜索卷积神经网络和图卷积网络的最新结构，且具有最小的计算成本。

    Nov, 2019

  • C2FNAS: 用于 3D 医学图像分割的粗到细神经架构搜索

    本论文提出了一种从零开始自动搜索 3D 医学图像分割网络的方法 —— 粗 - 细神经网络结构搜索（C2FNAS），该方法通过将搜索过程分解为宏观拓扑和微观细胞操作两个阶段来规避搜索和部署阶段之间的不一致，最后将该方法应用于 10 个公共数据集上获得了最新的实验结果。

    Dec, 2019

  • 从消息传递重新思考图神经架构搜索

    本文提出的 Graph Neural Architecture Search 可以自动化搜索图神经网络的最佳深度和最佳的消息传递机制，以达到优越的图任务结果。

    Mar, 2021

  • 简化图神经网络架构搜索

    本文介绍了一种名为 SNAG 的框架，通过一种基于强化学习的搜索算法和一个新颖的搜索空间，用于寻找适合于图神经网络的架构，并与其他方法进行了广泛实验。结果表明，SNAG 框架比人工设计的 GNN 和其他 NAS 方法，包括 GraphNAS 和 Auto-GNN 方法更加有效。

    Aug, 2020

  • 通过生成搜索：具有架构生成器的灵活高效的一次性 NAS

    提出一种名为 SGNAS 的一次搜索神经结构的框架，使用生成器生成子网络以更加高效和灵活地进行搜索，同时还提出了一种名为统一超网络的新单路径超网络以进一步提高搜索效率和减少 GPU 内存消耗，在 ImageNet 数据集上仅用 5 个 GPU 小时完成 $N$ 个不同硬件限制下的搜索，准确率达 77.1%。

    Mar, 2021

  • GeNAS: 具有更好泛化性能的神经架构搜索

    本文探讨了一种新的神经架构搜索度量方式，发现损失曲面的平整度可以预测神经网络架构的泛化能力，通过在不同的搜索空间进行评估，提出的方法相对于现有的 NAS 方法表现更好，并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。

    May, 2023

  • 图神经网络中的神经结构搜索

    本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

    Jul, 2020

  • 准确性与效率：通过 FPGA-Aware 神经架构搜索实现双赢

    本文提出了一种新的硬件感知的神经架构搜索框架，名为 FNAS，使用 Field Programmable Gate Arrays 作为车辆，通过性能抽象模型对神经架构进行快速剪枝，以保证满足实现规范的延迟，并在精度下降少于 1% 的情况下快速搜索到有效的架构。

    Jan, 2019