Apr, 2023

神经网络设计的高效自动化：可微分神经架构搜索综述

PDF
TL;DR该论文综述了 Differentiable Neural Architecture Search (DNAS) 领域的最新进展，提出了一种基于挑战的分类方法，并探讨了 DNAS 对全局神经架构搜索领域的影响和未来研究方向。
differentiable neural architecture searchdnasdartsreinforcement learningevolutionary algorithms
发现论文，激发创造
  • 让可微架构搜索更少局部化

    本研究针对 DARTS 的性能崩溃问题，提出采用更全局的优化方案，以更好地探索神经结构搜索空间，从而发现测试性能更佳、参数更少的神经网络架构。

    Apr, 2021

  • 演化神经架构搜索综述

    本文系统地综述了 200 多篇最新基于进化计算的 NAS 算法，分析了其设计原理和未来研究方向。

    Aug, 2020

  • Differentiable NAS 框架及其在广告 CTR 预测中的应用

    本研究提供一个可扩展且模块化的框架，用于 Differentiable Neural Architecture Search 的自动深度神经网络架构搜索，并应用于广告点击率预测领域，取得了该领域内最优结果。

    Oct, 2021

  • DDNAS: 文本分类离散可微神经构架搜索

    本文提出了离散可微分神经架构搜索新方法（DDNAS）进行文本表示和分类的优化，并采用互信息最大化的离散化层来对文本表示中的潜在分层进行建模。实验证明，DDNAS 可显著优于现有的最先进的 NAS 方法。

    Jul, 2023

  • DSNAS: 无需参数微调的直接神经结构搜索

    通过提出基于任务的端到端的 NAS 方法定义，我们提出了 DSNAS，一个高效的可微分 NAS 框架，不仅可以同时优化架构和参数，而且还可以减少模型训练时间，并在 ImageNet 数据集上达到了与现有方法同等的准确率。

    Feb, 2020

  • UNAS: 可微分结构搜索遇上强化学习

    UNAS 是一个统一的框架，将最新的 DNAS 和 RL 方法封装在一个框架中，在维持较低的搜索成本的同时，能够在一个统一的框架中搜索具有可微和不可微标准的架构。通过 CIFAR-10、CIFAR-100 和 ImageNet 数据集的广泛实验，我们展示了 UNAS 在所有三个数据集上的平均精度与在 DARTS 空间中搜索的架构相比具有最先进的表现，并且在 ProxylessNAS 搜索空间中可以找到一个高效而准确的架构，超越了现有的基于 MobileNetV2 的架构。

    Dec, 2019

  • 神经网络结构搜索的综合调查：挑战与解决方案

    本文对神经网络结构自动设计的算法 —— 神经架构搜索进行了全面的综述与研究，提出了对早期算法的问题的总结和解决方案，并对这些工作进行了详细的比较和总结。文章最后给出了可能的未来研究方向。

    Jun, 2020

  • 神经架构搜索综述

    本文综述了现有的方法，囊括了计算机领域中的神经体系结构搜索、自动化方法和深度学习等方面，内容包括常用的体系结构搜索空间和基于强化学习和进化算法的体系结构优化算法、模拟模型和单次模型。同时，文章对新的研究方向进行了探讨。

    May, 2019

  • 神经架构搜索中的进化与效率：专家设计和自动优化之间的桥梁

    神经架构搜索（NAS）从手动设计到自动化，提供了全面的概述，强调其在不同领域中的应用，包括医学成像和自然语言处理。该文档详细介绍了从专家驱动设计到算法驱动过程的转变，探索了初步的方法，例如强化学习和进化算法。还讨论了计算需求和高效 NAS 方法的挑战，如可微分架构搜索和硬件感知 NAS。本文进一步阐述了 NAS 在计算机视觉、自然语言处理等领域的应用，展示了其在不同任务中优化神经网络架构的多样性和潜力。未来的方向和挑战包括计算效率和与新兴 AI 领域的整合，展示了 NAS 的动态特性和其朝着更复杂、高效的架构搜索方法的持续演化。

    Feb, 2024

  • 通过近端迭代实现高效神经网络架构搜索

    本文提出了一种基于纵向梯度下降的可微分神经结构搜索方法（称为 NASP），其通过将搜索过程重新构成为一个优化问题，并在前向和反向传播期间仅允许更新一个操作的约束条件下，以 10 倍于 DARTS 方法的计算时间加速获得高性能的架构。

    May, 2019