Dec, 2023

通过双层数据修剪实现高效的架构搜索

PDF
TL;DR提出一种基于 Bi-level Data Pruning (BDP) 范式的新型神经架构搜索优化方法，通过逐步修剪不适合的样本来降低搜索成本，并实现超过 50% 的性能提升。
neural architecture searchdifferentiable architecture searchbi-level data pruningsearch efficiencydata reduction
发现论文，激发创造
  • Progressive DARTS: 在野外框架中弥合 NAS 的优化差距

    本篇论文提出了一种名为 P-DARTS 的算法来解决神经网络架构搜索中的 transfer learning 问题，并在 CIFAR10 数据集以及几个目标问题（包括 ImageNet 分类，COCO 检测和三个 ReID benchmarks）上实现了更好的性能。

    Dec, 2019

  • Single-DARTS: 实现稳定体系结构搜索

    本文提出 Single-DARTS，通过使用单级优化替换双级优化，显著减轻了性能坍塌，提高了体系结构搜索的稳定性，并在主流搜索空间上实现了最先进的性能。

    Aug, 2021

  • 让可微架构搜索更少局部化

    本研究针对 DARTS 的性能崩溃问题，提出采用更全局的优化方案，以更好地探索神经结构搜索空间，从而发现测试性能更佳、参数更少的神经网络架构。

    Apr, 2021

  • 通过近端迭代实现高效神经网络架构搜索

    本文提出了一种基于纵向梯度下降的可微分神经结构搜索方法（称为 NASP），其通过将搜索过程重新构成为一个优化问题，并在前向和反向传播期间仅允许更新一个操作的约束条件下，以 10 倍于 DARTS 方法的计算时间加速获得高性能的架构。

    May, 2019

  • β-DARTS++：双层正则化用于抗代理不稳定可微架构搜索

    通过提出一种简单但有效的正则化方法，称为 Beta-Decay，以解决 DARTS（可微架构搜索算法）的弱稳定性和泛化能力差的问题。同时，该方法具备较强的代理鲁棒性和竞争性，能够使搜索结果更具可移植性。

    Jan, 2023

  • $eta$-DARTS: 不同可微结构搜索的 Beta 衰变正则化

    提出一个简单而有效的正则化方法，称为 Beta-Decay，对基于 DARTS 的 NAS 搜索过程进行约束，以解决两个主要问题：性能崩溃的脆弱性和搜索到的结构的普适性能力。对 Beta-Decay 正则化进行了深入的理论分析和实验验证，结果表明，该方法能够稳定搜索过程，使搜索到的网络在不同数据集之间具有更好的可迁移性。

    Mar, 2022

  • 医学图像分类的轻量级神经架构搜索模型

    通过基于双层优化的稀疏概率生成方法，Z0-DARTS + 提高了搜索效率，与最先进的解决方案相比，匹配了状态技术的准确性，并将搜索时间缩短了三倍。

    May, 2024

  • 通过自蒸馏改进可微分架构搜索

    本篇论文提出了一种基于自蒸馏不同的神经网络结构搜索方法，通过投票教师的方式引导折叠网络的训练，并且与现有最先进的神经网络结构搜索方法相比，实验结果表明了它的优越性。

    Feb, 2023

  • 可微分 NAS 中的架构选择再思考

    本文介绍了一种替代基于权重参数选择最大操作的 NAS 体系结构选择方法，并通过实验证明这种方法可以提取出更好的架构，并且可以纠正 DARTS 中部分失败模式。

    Aug, 2021

  • sharpDARTS: 更快更准确的可微架构搜索

    借助 Differentiable Architecture Search，本研究提出了 sharpDARTS 搜索方式，该方式在 CIFAR-10 数据集上取得了相对错误率 20-30% 的进展，并在模型大小相似的情况下创下了目前最先进的 1.93% 的验证误差和 25.1% 的 ImageNet top-1 误差，同时，通过 Differentiable Hyperparameter Grid Search 和 HyperCuboid 搜索空间的设计和优化，本研究也证明了 sharpDARTS 更具通用性，提出了 Max-W 正则化以解决 DARTS 在新领域中的泛化问题。

    Mar, 2019