May, 2020

一种半监督的神经架构评估器

PDF
TL;DR本文提出了一种半监督评估神经架构的方法，使用自编码器发现神经架构的有意义的表示，并利用图卷积神经网络来预测它们的性能，以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验，证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。
neural architecture searchperformance predictorsemi-supervised assessorgraph convolutional neural networknas-benchmark-101
发现论文，激发创造
  • 半监督神经架构搜索

    提出了 SemiNAS，这是一种半监督神经架构搜索方法，利用没有评估的架构进行训练，通过训练一个准确性预测器来减少计算成本，同时在相同的计算成本下获得更高的准确度。

    Feb, 2020

  • 自监督神经架构搜索

    本研究提出了一种自监督神经架构搜索 (SSNAS) 方法，使用未标记的数据进行训练，无需使用标签数据即可发现新的网络模型，并在搜索标签数量相对较少时展示了该方法的优势。

    Jul, 2020

  • 无需训练的神经架构搜索

    本研究使用网络激活度重叠的方式实现预测神经网络的训练精度，并将其应用于神经结构搜索，以实现在单个 GPU 上进行快速网络搜索。同时，我们还提出了一种基于正则化进化搜索的适应方法，以进一步提高搜索效率。

    Jun, 2020

  • FR-NAS: 前向和后向图预测器用于高效的神经网络架构搜索

    通过使用图神经网络作为性能预测器，将神经架构转化为向量表示，并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明，与其他图神经网络预测器相比，预测准确性显著提高，Kendall-tau 相关性增加了 3% 至 16%。

    Apr, 2024

  • 神经体系结构搜索的神经预测器

    该论文提出一种比传统方法简单且更加高效的神经网络结构搜索方法，在 NASBench-101 基准测试上的表现是传统方法的 20 倍，同时还可以像基于权重共享的 ProxylessNAS 一样在 ImageNet 上获得较好的结果。

    Dec, 2019

  • 1000 篇论文中的神经架构搜索 Insights

    过去十年，深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向，已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术，并介绍了基准、最佳实践、其他综述和开放源代码库。

    Jan, 2023

  • NAS-Bench-NLP: 自然语言处理神经架构搜索基准

    本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。

    Jun, 2020

  • 卷积网络的神经结构搜索简介

    本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

    May, 2020

  • ReNAS：神经架构搜索的相对论评估

    该研究论文提出了一种名为 ReNAS 的相对性神经结构性能预测方法，可用于神经结构搜索，通过对数据集的有效采样，实验结果表明该方法相较于现有方法在 NAS-Bench-101 和 NAS-Bench-201 数据集上表现更优。

    Sep, 2019

  • 带有神经架构比较器的对比神经架构搜索

    本文提出了一种基于 Contrastive Neural Architecture Search (CTNAS) 的方法，通过比较不同网络结构的性能，使用神经架构比较器来计算基线结构的概率，并且在课程学习方式下不断优化基线结构，来优化神经架构搜索。

    Mar, 2021