CVPRAug, 2020

权重共享能否优于随机架构搜索？一项基于 TuNAS 的研究

PDF
TL;DR本文比较了基于权重共享的高效神经结构搜索算法和随机搜索方法在不同问题领域下的性能表现；同时，该文提出并评估了一些技术手段可用于改进搜索到的结构的质量，进一步降低人工超参数调参的需求。
neural architecture searchweight sharingcomputer visionefficient methodsrandom search
发现论文，激发创造
  • 共享权重神经架构搜索：缩小优化差距的战斗

    本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

    Aug, 2020

  • 深入探究神经架构搜索中的权重共享

    本文探究权重共享对神经架构搜索的影响，发现权重共享导致模型表现差异显著，同时也可以从共享权重的超级神经网络中提取有价值的信息，并提出适度减少权重共享的方法来减少差异性并提高性能。

    Jan, 2020

  • 分享还是不分享：对共享权重的全面评估

    本研究采用 NASbench 数据集来测试 Weight-sharing 算法在搜索空间上的效率，通过与随机搜索的比较，我们发现虽然两种方式的结果具有一定的相关性，但 Weight-sharing 算法并不能显著提高了神经架构搜索的效率，且我们强调搜索空间本身的影响。

    Feb, 2020

  • 神经架构搜索的随机搜索与可复现性

    本文介绍了一种基于随机搜索和超参数优化的神经架构搜索方法，并探讨了该领域中已有的研究成果的可重复性问题。研究结果表明，该方法在两个标准的 NAS 基准测试中表现出色，并且可以复现。

    Feb, 2019

  • Supernet 如何帮助神经架构搜索？

    该研究分析了五个搜索空间，研究发现权重共享在某些搜索空间中效果良好但在其他搜索空间中效果不佳，进一步揭示了这种现象的偏见因素和权重共享的能力。

    Oct, 2020

  • 神经架构搜索的搜索阶段评估

    本篇论文研究了神经架构搜索中搜索策略的有效性，并比较了 NAS 搜索策略与随机体系结构选择的质量，发现当前优秀的 NAS 算法与随机策略表现相似，并且广泛使用的权重共享策略降低了 NAS 候选项的排名。通过该研究，期望设计出更为优越的 NAS 策略和创造一一种新的评估框架。

    Feb, 2019

  • DNA Family：使用区块级别监督增强权重共享的 NAS

    通过将大的搜索空间模块化为小的搜索空间，并利用 DNA 技术开发了一系列模型，我们解决了 weight-sharing NAS 中的多个困境，如可扩展性、效率和多模态兼容性，并在一定计算复杂度约束下寻求不同深度和宽度的架构。广泛的实验评估表明，我们的模型分别在移动卷积网络和小型视觉变换器上实现了 78.9％和 83.6％的 ImageNet 最高准确率。

    Mar, 2024

  • 通过网络转换实现高效架构搜索

    本文提出了一种基于深度神经网络的自动化设计架构的新框架，该框架使用强化学习代理作为元控制器，通过功能保持变换在当前网络的基础上，尝试增加网络深度或层宽。在 CIFAR-10 和 SVHN 基准数据集上的测试表明，该方法在受限的计算资源下可以设计出具有高竞争力的网络，并在不使用跨层连接的条件下实现了 4.23％的测试误差率。

    Jul, 2017

  • 高效渐进式神经架构搜索

    本文提出了一种称为 Efficient progressive neural architecture search (EPNAS) 的方法，将全新的序贯模型优化方法与权重共享结合，成功地提高了神经结构搜索的效率。

    Aug, 2018

  • 利用图卷积网络匹配权重共享 NAS 的搜索空间

    本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。

    Apr, 2020