Jun, 2020

NAS-Bench-NLP: 自然语言处理神经架构搜索基准

PDF
TL;DR本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。
neural architecture searchcomputational powerlanguage modelingrecurrent neural networksnlp
发现论文，激发创造
  • NAS-Bench-101：面向可重复的神经网络架构搜索

    本文介绍了 NAS-Bench-101，这是第一个公开的神经架构搜索数据集，并描述了它是如何通过在 CIFAR-10 上训练和评估超过 423k 个卷积架构来构建的，旨在帮助研究者在毫秒内查询预计算的数据集来评估各种模型的质量。此外，作者还展示了该数据集作为整体的可用性以及对一系列架构优化算法进行基准测试的实用性。

    Feb, 2019

  • NAS-Bench-Suite: NAS 评估 (现在) 非常简单

    本文分析了 25 种不同的搜索空间和数据集中流行的 NAS 算法和性能预测方法，发现从少数 NAS 基准得出的许多结论不适用于其他基准。因此，我们推出了 NAS-Bench-Suite，这是一套全面可扩展的 NAS 基准，通过统一接口访问，旨在促进可重现、可推广和快速的 NAS 研究。

    Jan, 2022

  • 1000 篇论文中的神经架构搜索 Insights

    过去十年，深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向，已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术，并介绍了基准、最佳实践、其他综述和开放源代码库。

    Jan, 2023

  • 使用以前未见的神经架构搜索数据集的洞察

    神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

    Apr, 2024

  • NAS-Bench-201: 扩展可复现神经架构搜索的范围

    提出 NAS-Bench-201，通过设计新的搜索空间和提供多个数据集的结果以及诊断信息，为几乎所有最新的 NAS 算法提供一个统一的基准，从而避免了重复训练，并提高了搜索算法的效率。

    Jan, 2020

  • NAS 评估非常困难

    在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

    Dec, 2019

  • 神经架构搜索基准是否设计良好？深入探讨操作的重要性

    本文通过对 NAS-Benchmark 的分析，证明了通过直接在 NAS-Bench-201，ImageNet16-120 和 TransNAS-Bench-101 上搜索可以产生更可靠的结果，找到了卷积层对体系结构性能的影响，为评估和比较 NAS 方法提供了建议。

    Mar, 2023

  • 卷积网络的神经结构搜索简介

    本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

    May, 2020

  • NATS-Bench：评估 NAS 算法，针对架构拓扑和大小

    本文提出了一个统一的基准模型 NATS-Bench 用于 Neural architecture search 领域中的拓扑结构与模型大小寻优，该模型具有可比性且可以更加节省计算成本，为研究者提供了更广阔的发展空间。

    Aug, 2020

  • 神经网络结构搜索的综合调查：挑战与解决方案

    本文对神经网络结构自动设计的算法 —— 神经架构搜索进行了全面的综述与研究，提出了对早期算法的问题的总结和解决方案，并对这些工作进行了详细的比较和总结。文章最后给出了可能的未来研究方向。

    Jun, 2020