ICLRSep, 2019

基于单元神经网络结构搜索的架构学习理解

PDF
TL;DR研究使用神经结构搜索（NAS）算法通过对 loss landscape 以及 gradient information 的分析，发现其倾向于选择使用 wide and shallow cell structures 的架构，虽然这些架构具有快速收敛的优势，但不一定能获得比其他架构更好的泛化性能。因此，有必要修正现有的 NAS 算法。
neural architecture searchnas algorithmscell structuresgradient informationgeneralization performance
发现论文，激发创造
  • 1000 篇论文中的神经架构搜索 Insights

    过去十年，深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向，已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术，并介绍了基准、最佳实践、其他综述和开放源代码库。

    Jan, 2023

  • NAS 评估非常困难

    在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

    Dec, 2019

  • 从扩展搜索空间学习语言建模的架构

    本论文提出了一种名为 ESS 的神经网络结构搜索算法，它拥有更广泛的搜索空间，不仅可以学习循环或卷积细胞内的体系架构，还可以学习单元格之间的体系架构，并使用联合学习方法同时进行单元内和单元间的架构优化，在递归神经语言模型任务上取得了最新的最佳效果，并表现出优秀的泛化性能，对于大规模预学习体系结构的研究具有很大的潜力。

    May, 2020

  • 使用以前未见的神经架构搜索数据集的洞察

    神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

    Apr, 2024

  • 基于细胞的神经架构搜索中的冗余和多样性

    本文在对流行的基于单元的搜索空间进行后期经验分析后发现，现有的搜索空间具有很高的冗余性，而单元中对性能影响最大的部分往往遵循类似的简单模式，并通过限制单元来包括这些模式，从而能找到一些能够匹配或胜过现有最先进模型的模型。

    Mar, 2022

  • GeNAS: 具有更好泛化性能的神经架构搜索

    本文探讨了一种新的神经架构搜索度量方式，发现损失曲面的平整度可以预测神经网络架构的泛化能力，通过在不同的搜索空间进行评估，提出的方法相对于现有的 NAS 方法表现更好，并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。

    May, 2023

  • 卷积网络的神经结构搜索简介

    本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

    May, 2020

  • 神经网络结构搜索的综合调查：挑战与解决方案

    本文对神经网络结构自动设计的算法 —— 神经架构搜索进行了全面的综述与研究，提出了对早期算法的问题的总结和解决方案，并对这些工作进行了详细的比较和总结。文章最后给出了可能的未来研究方向。

    Jun, 2020

  • 通过集成学习提高神经架构搜索图像分类器的性能

    本文提出了 AdaNAS 算法，利用集成技术将神经网络组合成一组小型神经网络集合，并采用基于知识蒸馏的新技术，迭代地训练小型神经网络，取得了 CIFAR-10 数据集中可比较的结果和 CIFAR-100 数据集中的最佳结果。

    Mar, 2019

  • 高效神经网络架构搜索空间定义的方法

    在这篇论文中，我们提出了一种新颖的基于细胞的分层搜索空间，易于理解和操作，旨在优化搜索时间并且足够通用，可以处理大多数卷积神经网络的最先进架构。

    Oct, 2023