Feb, 2019

神经架构搜索的搜索阶段评估

PDF
TL;DR本篇论文研究了神经架构搜索中搜索策略的有效性，并比较了 NAS 搜索策略与随机体系结构选择的质量，发现当前优秀的 NAS 算法与随机策略表现相似，并且广泛使用的权重共享策略降低了 NAS 候选项的排名。通过该研究，期望设计出更为优越的 NAS 策略和创造一一种新的评估框架。
neural architecture searchdeep networkssearch strategiesnas algorithmsweight sharing
发现论文，激发创造
  • NAS 评估非常困难

    在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

    Dec, 2019

  • 卷积网络的神经结构搜索简介

    本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

    May, 2020

  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020

  • 神经网络结构搜索的综合调查：挑战与解决方案

    本文对神经网络结构自动设计的算法 —— 神经架构搜索进行了全面的综述与研究，提出了对早期算法的问题的总结和解决方案，并对这些工作进行了详细的比较和总结。文章最后给出了可能的未来研究方向。

    Jun, 2020

  • 神经架构搜索的随机搜索与可复现性

    本文介绍了一种基于随机搜索和超参数优化的神经架构搜索方法，并探讨了该领域中已有的研究成果的可重复性问题。研究结果表明，该方法在两个标准的 NAS 基准测试中表现出色，并且可以复现。

    Feb, 2019

  • 神经架构搜索的科学研究最佳实践

    介绍了一系列可能出现的问题和避免它们的方法，从而制定出一份最佳实践清单，以提高神经结构搜索的科学实证评估水平。

    Sep, 2019

  • 共享权重神经架构搜索：缩小优化差距的战斗

    本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

    Aug, 2020

  • RankNAS: 基于成对排名的高效神经网络架构搜索

    本文提出一种称之为 RankNAS 的性能排名方法，通过配对排名是为了提高神经架构搜索（NAS）的效率，并在机器翻译和语言建模任务中进行了广泛实验，结果表明 RankNAS 可以设计出高性能的架构，同时速度比现有的 NAS 系统快几个数量级。

    Sep, 2021

  • 无需训练的神经架构搜索

    本研究使用网络激活度重叠的方式实现预测神经网络的训练精度，并将其应用于神经结构搜索，以实现在单个 GPU 上进行快速网络搜索。同时，我们还提出了一种基于正则化进化搜索的适应方法，以进一步提高搜索效率。

    Jun, 2020