May, 2020

神经架构迁移

PDF
TL;DR本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在 11 项基准图像分类任务中证明了其有效性。
neural architecture searchneural architecture transfersupernetsmany-objective evolutionary searchimage classification
发现论文，激发创造
  • 神经结构迁移 2：提高多目标神经结构搜索效率的范式

    本文提出了 NATv2，它是一种改进的神经结构搜索算法，能够改善超网络结构的生成和抽取子网络的性能，并引入精调的后处理流水线，成功地提高了 NAT 的质量，因此在使用最少的参数研究高性能结构时是高度推荐的。

    Jul, 2023

  • NAT：准确紧凑神经架构转换器

    通过在深度神经网络内使用 Markov 决策过程和强化学习，我们提出了神经架构转换器，能够替换无意义或冗余的操作以提高性能并减少计算成本。我们的实验在 CIFAR-10 和 ImageNet 数据集上验证了此方法的有效性。

    Oct, 2019

  • 可扩展图像识别的可传递架构学习

    本文提出了一种在小数据集上搜索神经网络模型结构并将其转移至大数据集的方法，称为 NASNet，通过设计新的搜索空间并使用调度 DropPath 技术提高了模型在 ImageNet 等数据集上的分类正确率。

    Jul, 2017

  • TransNAS-Bench-101: 改进跨任务神经架构搜索的可转移性和泛化性

    本文提出了 TransNAS-Bench-101，这是一个包含七个视觉任务的基准数据集，旨在鼓励研究跨任务搜索效率和通用性的顶尖神经结构搜索算法，同时提供两种不同类型的搜索空间。

    May, 2021

  • 四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

    利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

    Feb, 2021

  • 无需训练的神经架构搜索

    本研究使用网络激活度重叠的方式实现预测神经网络的训练精度，并将其应用于神经结构搜索，以实现在单个 GPU 上进行快速网络搜索。同时，我们还提出了一种基于正则化进化搜索的适应方法，以进一步提高搜索效率。

    Jun, 2020

  • NSGANetV2: 进化多目标代理辅助神经架构搜索

    本文提出了一种高效的 NAS 算法，用于生成具有多个竞争目标的任务特定模型，在标准基准数据集上表现优异，且搜索效率大幅提高，并在六个不同的非标准数据集上证明了该方法的有效性和多样性。

    Jul, 2020

  • 使用以前未见的神经架构搜索数据集的洞察

    神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

    Apr, 2024

  • 少样本神经架构搜索

    该研究提出了 few-shot NAS，利用多个超级网络（称为子超级网络）覆盖搜索空间的不同区域，以缓解操作之间的不良共适应，并证明其在多项任务中能够显著提高各种一次性方法的准确性，包括在 NasBench-201 和 NasBench1-shot-1 上的 3 个不同任务中的 4 个基于梯度的和 6 个基于搜索的方法，并在 ImageNet、CIFAR10 和 Auto-GAN 上取得最新水平。

    Jun, 2020

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020