Aug, 2021

通过回归实现通用神经体系结构搜索

PDF
TL;DR本文提出了一种名为 “Generic NAS” 的通用 NAS 框架，该框架采用自监督回归任务来评估架构的内在能力，并且在 13 个 CNN 搜索空间和一个 NLP 空间上进行了广泛的实验，展示了 GenNAS 的显着高效性（通过 Spearman 的 rho 度量的排名相关性和训练的收敛速度都得到了提升），并回答了两个与 NAS 相关的基本问题。
neural architecture searchgeneric nasdownstream taskregressionspearman's rho
发现论文，激发创造
  • GeNAS: 具有更好泛化性能的神经架构搜索

    本文探讨了一种新的神经架构搜索度量方式，发现损失曲面的平整度可以预测神经网络架构的泛化能力，通过在不同的搜索空间进行评估，提出的方法相对于现有的 NAS 方法表现更好，并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。

    May, 2023

  • 图神经网络中的神经结构搜索

    本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

    Jul, 2020

  • GPT-NAS: 采用生成式预训练模型进行神经架构搜索

    GPT-NAS 是一种基于预训练模型的神经结构搜索算法，通过引入先验知识来大大减少搜索空间，从而优化神经网络架构，并在实验中取得了比其他七个手动设计的神经结构和竞争 NAS 方法提供的 13 个神经结构的好结果，并提高了经过精细调整的神经结构的性能。

    May, 2023

  • NAS-Bench-NLP: 自然语言处理神经架构搜索基准

    本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。

    Jun, 2020

  • 面向不同计算平台的无回归神经网络

    这篇研究论文介绍了 REG-NAS (基于回归约束的神经架构搜索)，通过增加网络中的权重共享，将 Neural Architecture Search 中出现的样本级预测不确定性偏差降至最低，通过 Top-1 准确性和负翻转这一构架搜索度量标准，我们证明了 egnas 可以在三个流行的建筑搜索空间中成功地找到合适的架构。与现有的技术相比，REG-NAS 能够使负翻转相对减少 33-48％。

    Sep, 2022

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020

  • 生成对抗神经架构搜索

    本文提出了具有可证明收敛保证的生成式对抗网络 NAS (GA-NAS)，并基于权重的鉴别器提供的奖励，采用增强学习训练生成器，探索搜寻空间而无需评估大量体系结构，通过三个公共 NAS 基准测试，在多个情况下 GA-NAS 都能打败已发布的最佳结果，同时 GA-NAS 可以处理特定搜寻约束和空间，能用于改进其他 NAS 方法找到的优化基线的 ImageNet 准确性或参数数量。

    May, 2021

  • 一种半监督的神经架构评估器

    本文提出了一种半监督评估神经架构的方法，使用自编码器发现神经架构的有意义的表示，并利用图卷积神经网络来预测它们的性能，以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验，证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。

    May, 2020

  • 1000 篇论文中的神经架构搜索 Insights

    过去十年，深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向，已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术，并介绍了基准、最佳实践、其他综述和开放源代码库。

    Jan, 2023

  • 神经架构迁移

    本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在 11 项基准图像分类任务中证明了其有效性。

    May, 2020