AAAIJun, 2021

可微架构搜索中的零成本操作评分

PDF
TL;DR本文介绍了一种基于零成本代理的操作评分方法（Zero-Cost-PT），并在多个 NAS 基准测试和大型搜索空间上进行了全面的实证评估。结果表明，该方法在搜索时间和准确性方面都有显著改善。
neural architecture searchoperation scoringzero-cost-ptnas benchmarkssearch time
发现论文，激发创造
  • 轻量级 NAS 的零成本代理

    本文研究了神经网络模型设计中的计算问题，提出使用零成本代理来提高搜索效率和减少计算成本，实验结果表明新的代理方法比传统方法更加有效。

    Jan, 2021

  • ParZC: 高效 NAS 的参数化零成本代理

    提出了一种新颖的 Parametric Zero-Cost Proxies (ParZC) 框架，通过参数化来增强零成本代理的适应性，在节点的零成本统计中探索并估计节点特定的不确定性，并提出了 DiffKendall 作为一种损失函数，以不可微分的方式直接优化 Kendall's Tau 系数，从而更好地处理架构排名中的差异。在 NAS-Bench-101、201 和 NDS 上的综合实验证明了我们提出的 ParZC 相对于现有的零成本 NAS 方法的优越性，并通过将其应用于 Vision Transformer 搜索空间展示了 ParZC 的多功能性和适应性。

    Feb, 2024

  • 轻量化且准确：通过两个常数共享权重初始化的神经架构搜索

    该研究提出了一种与训练集准确度高度相关的零成本度量标准 epsilon，使用零成本代理来加速神经架构搜索，省去了计算负载和梯度计算、标签、损失度量等依赖于人工标注数据的环节。

    Feb, 2023

  • 可微分 NAS 中的架构选择再思考

    本文介绍了一种替代基于权重参数选择最大操作的 NAS 体系结构选择方法，并通过实验证明这种方法可以提取出更好的架构，并且可以纠正 DARTS 中部分失败模式。

    Aug, 2021

  • 通过近端迭代实现高效神经网络架构搜索

    本文提出了一种基于纵向梯度下降的可微分神经结构搜索方法（称为 NASP），其通过将搜索过程重新构成为一个优化问题，并在前向和反向传播期间仅允许更新一个操作的约束条件下，以 10 倍于 DARTS 方法的计算时间加速获得高性能的架构。

    May, 2019

  • 操作级渐进可微架构搜索

    本文介绍了一种名为 OPP-DARTS 的操作级渐进可微分神经结构搜索算法，通过逐步增加候选操作来有效地避免跳跃连接聚合，并同时探索更好的架构。实验结果表明，我们的方法在 CIFAR-10 上的性能优于标准 DARTS，迁移性能也超越了标准 DARTS。此外，我们进一步展示了我们的方法在三个简单搜索空间上的鲁棒性优于标准 DARTS。

    Feb, 2023

  • 神经架构搜索基准是否设计良好？深入探讨操作的重要性

    本文通过对 NAS-Benchmark 的分析，证明了通过直接在 NAS-Bench-201，ImageNet16-120 和 TransNAS-Bench-101 上搜索可以产生更可靠的结果，找到了卷积层对体系结构性能的影响，为评估和比较 NAS 方法提供了建议。

    Mar, 2023

  • 四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

    利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

    Feb, 2021

  • sharpDARTS: 更快更准确的可微架构搜索

    借助 Differentiable Architecture Search，本研究提出了 sharpDARTS 搜索方式，该方式在 CIFAR-10 数据集上取得了相对错误率 20-30% 的进展，并在模型大小相似的情况下创下了目前最先进的 1.93% 的验证误差和 25.1% 的 ImageNet top-1 误差，同时，通过 Differentiable Hyperparameter Grid Search 和 HyperCuboid 搜索空间的设计和优化，本研究也证明了 sharpDARTS 更具通用性，提出了 Max-W 正则化以解决 DARTS 在新领域中的泛化问题。

    Mar, 2019

  • NAS 评估非常困难

    在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

    Dec, 2019