Jun, 2023

无需训练的 RNN 和 Transformer 神经结构搜索

PDF
TL;DR本文研究了针对语言建模任务的循环神经网络 (RNN) 和基于 BERT 的 transformer 架构的无需训练的 NAS 指标，提出了一种新的指标来预测训练后的 RNN 性能，并发现 transformer 的搜索空间范式不适用于无需训练的神经架构搜索，需要进行优化。
neural architecture searchtraining-free metricsrecurrent neural networkbert-based transformerlanguage modeling
发现论文，激发创造
  • 稳健并提升免训练神经架构搜索

    提出了 RoBoT 算法，该算法通过优化组合已有的基于贝叶斯优化的训练免费度量标准，开发出在多样任务上具有强健性和一致更优性能的度量标准，并在新开发的度量标准上应用贪婪搜索以提高标准训练免费 NAS 的搜索性能。在多个 NAS 基准任务的广泛实验中，我们的 RoBoT 算法在理论结果支持下取得了实质性的经验证据。

    Mar, 2024

  • 基于渐变的训练免费神经结构搜索的统一和增强

    本文提出了一个统一的理论分析框架来研究基于梯度的免训练神经构架搜索方法，从而理论上研究它们之间的关系、保证它们的泛化性能并开发一种名为 Hybrid NAS (HNAS) 的新框架，它在原则上可以持续提高训练免费 NAS 的效果。

    Jan, 2022

  • 无需训练的神经架构搜索

    本研究使用网络激活度重叠的方式实现预测神经网络的训练精度，并将其应用于神经结构搜索，以实现在单个 GPU 上进行快速网络搜索。同时，我们还提出了一种基于正则化进化搜索的适应方法，以进一步提高搜索效率。

    Jun, 2020

  • 四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

    利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

    Feb, 2021

  • NAS-Bench-NLP: 自然语言处理神经架构搜索基准

    本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。

    Jun, 2020

  • FR-NAS: 前向和后向图预测器用于高效的神经网络架构搜索

    通过使用图神经网络作为性能预测器，将神经架构转化为向量表示，并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明，与其他图神经网络预测器相比，预测准确性显著提高，Kendall-tau 相关性增加了 3% 至 16%。

    Apr, 2024

  • 仅需图表？无需训练的轻量级数据不可知神经架构搜索

    通过将神经结构转换为图形并使用平均度量作为代理评估指标，我们的 nasgraph 方法显著降低了训练自动设计的神经网络模型候选的计算成本，实现在 217 CPU 秒内从 NAS-Bench201 的 200 个随机采样架构中找到最佳架构，并在不同数据集上实现有竞争力的性能，包括 NASBench-101、NASBench-201 和 NDS 搜索空间。我们还展示了 nasgraph 在 Micro TransNAS-Bench-101 上可以推广至更具挑战性的任务。

    May, 2024

  • 递归标签校准实现无数据神经架构搜索

    本文以深度预训练神经网络为基础，探究如何通过数据恢复技术以及自主生成的语义与多样性丰富的合成数据，实现在保护隐私，避免偏见等现实场景下，无需使用原始训练数据进行神经结构搜索的可行性和效果，并发现合成数据的神经结构搜索表现不亚于以往使用原始数据的搜索结果。

    Dec, 2021

  • 一种半监督的神经架构评估器

    本文提出了一种半监督评估神经架构的方法，使用自编码器发现神经架构的有意义的表示，并利用图卷积神经网络来预测它们的性能，以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验，证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。

    May, 2020

  • 基于神经预测的 NAS 在零样本 NAS 范式中的有效性

    利用深度学习方法提出了一种新的零样本神经架构搜索方法，该方法使用正弦编码的傅里叶和来构建计算前馈图，并通过伴随的多层感知机对架构进行排序。实验证明，该方法在 NAS-Bench-201 数据集上的相关性和收敛速度均超过了先前使用图卷积网络的方法，并且所提取的特征表示经训练后可迁移到其他 NAS-Benchmark，展现了在多个搜索空间中的潜在普适性。

    Aug, 2023