Feb, 2023

动态低保真度专家合成：缓解 NAS 的 " 冷启动

PDF
TL;DR本研究提出了一个新颖的动态集成预测器框架，包括两个步骤，旨在解决基于预测器的神经架构搜索面临的 “冷启动” 问题，它可以从多种低保真信息中提取有益的知识，通过加权求和的方式融合低给定的架构性能预测信息来训练整个预测器。
neural architecture searchpredictor-based naslow-fidelity informationdynamic ensemble predictor frameworkarchitecture-performance data
发现论文，激发创造
  • 弱预测器强化 NAS

    本研究提出了一种名为 WeakNAS 的方法，使用一连串较弱的预测器，以逐步精细搜索到高性能神经网络结构子空间，与现有技术相比，仅使用更少样本就可发现全局最优结构。

    Feb, 2021

  • 一种半监督的神经架构评估器

    本文提出了一种半监督评估神经架构的方法，使用自编码器发现神经架构的有意义的表示，并利用图卷积神经网络来预测它们的性能，以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验，证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。

    May, 2020

  • 神经架构搜索中性能预测器有多强大？

    本研究评估了 31 种不同的神经架构搜索性能预测器，测试了多种性能衡量方法以及它们在加速基于预测的 NAS 框架方面的有效性，结果表明有些预测器组合可以实现更好的预测能力，并提供了不同设置下最佳预测器的建议。

    Apr, 2021

  • 多预测：用于高效神经架构搜索的少样本预测器

    本文提出了一种基于零成本代理的搜索空间无关神经网络编码方法，以实现对多个任务、搜索空间和硬件设备的准确性和延迟预测进行多任务、多搜索空间和多硬件的自适应，从而在提高端到端样本效率方面取得了显著的效果。

    Jun, 2023

  • FR-NAS: 前向和后向图预测器用于高效的神经网络架构搜索

    通过使用图神经网络作为性能预测器，将神经架构转化为向量表示，并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明，与其他图神经网络预测器相比，预测准确性显著提高，Kendall-tau 相关性增加了 3% 至 16%。

    Apr, 2024

  • 基于神经预测的 NAS 在零样本 NAS 范式中的有效性

    利用深度学习方法提出了一种新的零样本神经架构搜索方法，该方法使用正弦编码的傅里叶和来构建计算前馈图，并通过伴随的多层感知机对架构进行排序。实验证明，该方法在 NAS-Bench-201 数据集上的相关性和收敛速度均超过了先前使用图卷积网络的方法，并且所提取的特征表示经训练后可迁移到其他 NAS-Benchmark，展现了在多个搜索空间中的潜在普适性。

    Aug, 2023

  • NAS 基准测试中隐藏了多少内容？NAS 预测器的少样本适应

    通过研究公开可用的神经结构搜索基准，我们借鉴元学习的丰富领域，关注任务级相关性和预测器可迁移性的关系，并实验证明我们的元学习方法不仅在交叉验证实验中表现出卓越（或匹配）性能，还成功地在新的搜索空间和任务中展开了推广。

    Nov, 2023

  • FOX-NAS: 快速、设备本地且可解释的神经架构搜索

    FOX-NAS 提出了一种基于模拟退火和多元回归的快速可解释性的预测方法，能较高效地量化并在边缘部署，实验结果显示 FOX-NAS 模型的性能优于其他流行的神经网络架构，获得了 2020 年低功耗计算机视觉挑战赛 (DSP 分类) 第三名。

    Aug, 2021

  • ReNAS：神经架构搜索的相对论评估

    该研究论文提出了一种名为 ReNAS 的相对性神经结构性能预测方法，可用于神经结构搜索，通过对数据集的有效采样，实验结果表明该方法相较于现有方法在 NAS-Bench-101 和 NAS-Bench-201 数据集上表现更优。

    Sep, 2019

  • 神经体系结构搜索的神经预测器

    该论文提出一种比传统方法简单且更加高效的神经网络结构搜索方法，在 NASBench-101 基准测试上的表现是传统方法的 20 倍，同时还可以像基于权重共享的 ProxylessNAS 一样在 ImageNet 上获得较好的结果。

    Dec, 2019