Feb, 2024

ParZC: 高效 NAS 的参数化零成本代理

PDF
TL;DR提出了一种新颖的 Parametric Zero-Cost Proxies (ParZC) 框架，通过参数化来增强零成本代理的适应性，在节点的零成本统计中探索并估计节点特定的不确定性，并提出了 DiffKendall 作为一种损失函数，以不可微分的方式直接优化 Kendall's Tau 系数，从而更好地处理架构排名中的差异。在 NAS-Bench-101、201 和 NDS 上的综合实验证明了我们提出的 ParZC 相对于现有的零成本 NAS 方法的优越性，并通过将其应用于 Vision Transformer 搜索空间展示了 ParZC 的多功能性和适应性。
发现论文，激发创造
  • NAS-Bench-Suite-Zero：加速无成本代理研究

    本文介绍了 “Zero-cost proxies”（零成本代理）的性能预测技术，计划显着加快神经架构搜索算法，并创建了 NAS-Bench-Suite，结合 13 个零成本代理模型用于更快的实验，同时提高了预测性能。

    Oct, 2022

  • 轻量级 NAS 的零成本代理

    本文研究了神经网络模型设计中的计算问题，提出使用零成本代理来提高搜索效率和减少计算成本，实验结果表明新的代理方法比传统方法更加有效。

    Jan, 2021

  • AZ-NAS：构建零成本代理以进行网络架构搜索

    AZ-NAS 是一种新方法，它利用多种零成本代理的集成，显著增强了网络预测排名与性能的真实排名之间的相关性，并引入了一种非线性排名聚合方法，同时在保持合理运行时间成本的基础上，在标准基准测试中优于现有方法。

    Mar, 2024

  • ZiCo: 基于梯度变异反比的零样本 NAS

    本研究提出了一种新的零 - shot 代理模型（ZiCo），它能够通过预测测试性能来设计最佳神经网络架构，不仅比现有模型表现更好，而且不需要训练，可以在进行神经架构搜索时节省大量时间。此外，通过在 NAS-Benchmarks 基准下的对比实验，我们证明了该方法对于多种应用的数据集具有良好的适应性，并且所得到的最佳神经网络架构不仅与传统 NAS 方法相当，而且所需搜索时间更短。

    Jan, 2023

  • 零成本代理的评估 -- 从神经架构性能到模型鲁棒性

    本研究分析了常见的零成本代理在 NAS-Bench-201 搜索空间中作为鲁棒性性能预测器的能力，发现预测鲁棒性使得现有的零成本代理预测任务更具挑战性，需要联合考虑多个代理才能预测模型的鲁棒性。

    Jul, 2023

  • TG-NAS: 使用 Transformer 和图卷积网络利用零成本的代理进行高效神经架构搜索

    TG-NAS 是一种基于模型的通用代理，利用基于 Transformer 的操作符嵌入生成器和图卷积网络 (GCN) 来预测架构性能，通过对各种 NAS 基准测试进行实验证明了其在搜索效率方面的优势，表明其作为高效架构搜索的基础组成部分的潜力。TG-NAS 与先前的零成本 (ZC) 代理方法相比，搜索效率提高了多达 300 倍，特别地，在 NAS-Bench-201 空间上发现具有 93.75% CIFAR-10 准确度的竞争模型，并在 DARTS 空间上达到了 74.5% 的 ImageNet top-1 准确度。

    Mar, 2024

  • ProxyBO: 通过零成本代理加速贝叶斯优化的神经结构搜索

    本论文提出了 ProxyBO，一种利用零成本代理加速神经架构搜索的高效贝叶斯优化（BO）框架，通过我们设计的新颖获取函数结合动态影响的零成本代理，以及利用一般化能力测量估计代理在每个迭代期间的适应性，ProxyBO 在三个公共基准测试任务中的五个任务上持续超越竞争对手 REA 和 BRP-NAS，达到了 5.41x 和 3.86x 的加速。

    Oct, 2021

  • 可微架构搜索中的零成本操作评分

    本文介绍了一种基于零成本代理的操作评分方法（Zero-Cost-PT），并在多个 NAS 基准测试和大型搜索空间上进行了全面的实证评估。结果表明，该方法在搜索时间和准确性方面都有显著改善。

    Jun, 2021

  • 轻量化且准确：通过两个常数共享权重初始化的神经架构搜索

    该研究提出了一种与训练集准确度高度相关的零成本度量标准 epsilon，使用零成本代理来加速神经架构搜索，省去了计算负载和梯度计算、标签、损失度量等依赖于人工标注数据的环节。

    Feb, 2023

  • 针对多样性扰动的鲁棒 NAS 通用轻量级代理

    在这篇文章中，我们提出了一种新颖的轻量级鲁棒性零成本代理，该代理考虑了初始化状态下干净和扰动图像的特征、参数和梯度的一致性，从而实现了能够学习在多种扰动情况下显示出鲁棒性的神经结构的高效快速搜索。 针对多个基准数据集和不同搜索空间，我们的代理能够快速有效地搜索出一致鲁棒的神经结构，大大优于现有的基于清晰无注入 NAS 和基于注入 NAS 减少的搜索成本。

    Jun, 2023