AAAIDec, 2023

Auto-Prox: 通过自动代理发现的无需训练的视觉 Transformer 架构搜索

PDF
TL;DR通过自动代理发现框架 Auto-Prox，我们介绍了一种训练免费的方法来进行 Vision Transformer（ViT）的体系结构搜索。广泛的实验表明，我们的方法在不同数据集上都具有很好的泛化能力，并在排名相关性和最终准确性方面取得了最先进的结果。
发现论文，激发创造
  • TVT: 在小数据集上无需训练的视觉 Transformer 搜索

    本文提出了一种无需训练的视觉 Transformer（ViT）架构搜索方法，通过使用教师模型，利用具有零成本代理的方式搜索更好的 ViT，并在各种小型数据集和搜索空间上展开了大量实验，证明了该方法优于现有的无训练搜索方法。

    Nov, 2023

  • 无需训练的 Transformer 架构搜索

    本文提出了一种训练无需的 Transformer 架构搜索方法，使用 DSS 指标评估 ViT 架构的突触多样性和突触显著性，从而大大提高了在 ViT 搜索空间的效率，并取得了与手动设计和自动设计的 ViT 架构一样好的性能表现。

    Mar, 2022

  • 零成本代理的评估 -- 从神经架构性能到模型鲁棒性

    本研究分析了常见的零成本代理在 NAS-Bench-201 搜索空间中作为鲁棒性性能预测器的能力，发现预测鲁棒性使得现有的零成本代理预测任务更具挑战性，需要联合考虑多个代理才能预测模型的鲁棒性。

    Jul, 2023

  • ProxyBO: 通过零成本代理加速贝叶斯优化的神经结构搜索

    本论文提出了 ProxyBO，一种利用零成本代理加速神经架构搜索的高效贝叶斯优化（BO）框架，通过我们设计的新颖获取函数结合动态影响的零成本代理，以及利用一般化能力测量估计代理在每个迭代期间的适应性，ProxyBO 在三个公共基准测试任务中的五个任务上持续超越竞争对手 REA 和 BRP-NAS，达到了 5.41x 和 3.86x 的加速。

    Oct, 2021

  • 无需训练的自适应视觉 Transformer

    提出了一种名为 As-ViT 的自动缩放框架，用于设计和扩展 Vision Transformers (ViT)，并在分类和检测任务上获得了强大的性能，其模型设计和缩放过程仅需 12 小时的训练。

    Feb, 2022

  • 轻量级 NAS 的零成本代理

    本文研究了神经网络模型设计中的计算问题，提出使用零成本代理来提高搜索效率和减少计算成本，实验结果表明新的代理方法比传统方法更加有效。

    Jan, 2021

  • AZ-NAS：构建零成本代理以进行网络架构搜索

    AZ-NAS 是一种新方法，它利用多种零成本代理的集成，显著增强了网络预测排名与性能的真实排名之间的相关性，并引入了一种非线性排名聚合方法，同时在保持合理运行时间成本的基础上，在标准基准测试中优于现有方法。

    Mar, 2024

  • 零样本神经结构搜索：挑战，解决方案和机会

    本文全面回顾和比较最新的零样本神经架构搜索方法，重点在于它们的硬件感知能力。作者首先回顾了主流的零样本代理，并比较了这些零样本代理，在大规模实验中证明了它们在硬件感知和硬件无关的 NAS 场景中的有效性，并指出了设计更好代理的几个有前途的想法。

    Jul, 2023

  • TG-NAS: 使用 Transformer 和图卷积网络利用零成本的代理进行高效神经架构搜索

    TG-NAS 是一种基于模型的通用代理，利用基于 Transformer 的操作符嵌入生成器和图卷积网络 (GCN) 来预测架构性能，通过对各种 NAS 基准测试进行实验证明了其在搜索效率方面的优势，表明其作为高效架构搜索的基础组成部分的潜力。TG-NAS 与先前的零成本 (ZC) 代理方法相比，搜索效率提高了多达 300 倍，特别地，在 NAS-Bench-201 空间上发现具有 93.75% CIFAR-10 准确度的竞争模型，并在 DARTS 空间上达到了 74.5% 的 ImageNet top-1 准确度。

    Mar, 2024

  • 视觉 Transformer 的自动渐进式学习，用于高效训练

    该论文提出一种自适应的进阶学习自动化方案 (AutoProg)，通过在训练过程中自适应决定模型的生长量、生长位置以及生长方式等策略，从而使得模型的训练能够快速加速，且不会出现性能下降。通过 DeiT 和 VOLO 等模型在 ImageNet 上的大量实验表明，AutoProg 能够将模型的训练加速高达 85.1%。

    Mar, 2022