Jan, 2020

MixPath: 一种统一的一次性神经架构搜索方法

PDF
TL;DR本研究针对神经结构搜索方法目前只局限于单路径搜索空间这一问题，提出了一种名为 MixPath 的新型多路径一次探索方法，并引入影子批量归一化机制来规范不同路径特征统计的差异，实现了更稳定的训练和性能提升，达到了在 ImageNet 上最先进的结果（如 NAS-Bench-101 测试中的 Kendall Tau 0.597）的目标。
发现论文，激发创造
  • 单路径统一采样一次性神经网络结构搜索

    本文介绍了一种使用简化的超网络进行单路径神经架构搜索的方法，该方法易于训练、快速搜索、灵活支持不同的搜索约束，并在大规模数据集 ImageNet 上实现了最先进的性能。

    Mar, 2019

  • 稀疏超网络下的神经架构搜索

    本论文旨在将神经架构搜索的问题从单路径和多路径搜索扩大到自动混合路径搜索。我们提出了一种新的连续架构表示方法，利用稀疏超网络和稀疏性约束来实现自动混合路径搜索。同时，我们采用了分层加速的近端梯度算法来优化所提出的稀疏超网络，并在卷积神经网络和循环神经网络搜索中进行了广泛的实验，证明了该方法能够搜索到紧凑、通用和强大的神经结构。

    Jul, 2020

  • 通过深度子网络混合多个输入生成多个输出的 MixMo

    本文提出了 MixMo 框架，通过二元混合的方式，使用 rectangular patches from CutMix 增强特征，在 CIFAR-100 和 Tiny ImageNet 数据集上，在不需要推理和内存开销的情况下，显著优于数据增强深度集成，并提高了图像分类的最新水平。

    Mar, 2021

  • 一杯香浓之选：基于路径优先级的单阶段神经架构搜索压缩

    通过提出路径蒸馏方法，从优先路径中提取知识来改善子网络的训练，最终得到的最优路径在性能和复杂度方面具有优异表现，证明了该方法的泛化性和稳健性。

    Oct, 2020

  • 混合超网络：通过架构路由的专家混合改进权重共享超网络训练

    本文提出一种新的神经结构搜索方法，即混合超网，通过引入专家混合，提供了更加专业的模型选择，并通过路由机制调整各子网络的权重，有效提高了超网模型的性能，实验表明该方法在机器翻译和 BERT 模型中均取得了优异的性能。

    Jun, 2023

  • 基于梯度匹配的 Few-Shot NAS 泛化

    该研究提出了一种基于梯度匹配得分的 Few-Shot NAS 方法，通过对多个超网进行边级分区来减小权重共享带来的误差，极大地减少了搜索成本，并在各种数据集、搜索算法下展开的广泛实证评估表明，该方法在搜索效果方面有明显的提高。

    Mar, 2022

  • GreedyNAS: 基于贪心超网络的快速一次性神经架构搜索

    本文提出一种名为 GreedyNAS 的神经架构搜索方法，通过多路径抽样策略和候选路径池相结合的方法，将超网的负担减少至仅关注可能具有良好性能的路径，从而在 ImageNet 数据集中实现更好的 Top-1 准确率，且仅需大约 60％的超网训练成本。

    Mar, 2020

  • 少样本学习的交叉调制网络

    本文介绍了一种名为交叉调制网络的架构，可以利用特征调制机制在多个层次上实现支持示例和查询示例之间的交互，这种架构为少样本学习提供了一种新的方法。在 miniImageNet 的 5 路 1-shot 场景中，本文关键字提到的模型表现也达到最先进水平。

    Dec, 2018

  • 少样本神经架构搜索

    该研究提出了 few-shot NAS，利用多个超级网络（称为子超级网络）覆盖搜索空间的不同区域，以缓解操作之间的不良共适应，并证明其在多项任务中能够显著提高各种一次性方法的准确性，包括在 NasBench-201 和 NasBench1-shot-1 上的 3 个不同任务中的 4 个基于梯度的和 6 个基于搜索的方法，并在 ImageNet、CIFAR10 和 Auto-GAN 上取得最新水平。

    Jun, 2020

  • Co-Mixup: 基于显著性引导的超模复合联合 Mixup

    本文提出了通过优化构建 mixup 数据的最佳方法以获得更好的神经网络推广性能和对数据干扰的鲁棒性，特别是使用基于模块化近似的迭代次模最小化算法来实现有效的 mixup 计算。

    Feb, 2021