Jan, 2020

深入探究神经架构搜索中的权重共享

PDF
TL;DR本文探究权重共享对神经架构搜索的影响，发现权重共享导致模型表现差异显著，同时也可以从共享权重的超级神经网络中提取有价值的信息，并提出适度减少权重共享的方法来减少差异性并提高性能。
neural architecture searchmodel designweight-sharingsuper-netvariance
发现论文，激发创造
  • 共享权重神经架构搜索：缩小优化差距的战斗

    本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

    Aug, 2020

  • Supernet 如何帮助神经架构搜索？

    该研究分析了五个搜索空间，研究发现权重共享在某些搜索空间中效果良好但在其他搜索空间中效果不佳，进一步揭示了这种现象的偏见因素和权重共享的能力。

    Oct, 2020

  • 分享还是不分享：对共享权重的全面评估

    本研究采用 NASbench 数据集来测试 Weight-sharing 算法在搜索空间上的效率，通过与随机搜索的比较，我们发现虽然两种方式的结果具有一定的相关性，但 Weight-sharing 算法并不能显著提高了神经架构搜索的效率，且我们强调搜索空间本身的影响。

    Feb, 2020

  • 如何训练超网络：基于权重共享的 NAS 训练启发式分析

    通过系统评估常用的超网络训练启发式方法和超参数，发现其中一些启发式方法会对超网络和独立性能之间的相关性产生负面影响，并证明了某些超参数和体系结构选择的强烈影响。

    Mar, 2020

  • 神经结构搜索中的干扰分析与缓解

    本文探讨神经体系结构搜索中的权重共享问题并提出了 MAGIC-T 和 MAGIC-A 两种方法来缓解共享运算符之间的干扰。实验证明，我们的方法能够提高超级神经网络的排序相关性，并在各种任务中验证了其有效性和普适性。

    Aug, 2021

  • DNA Family：使用区块级别监督增强权重共享的 NAS

    通过将大的搜索空间模块化为小的搜索空间，并利用 DNA 技术开发了一系列模型，我们解决了 weight-sharing NAS 中的多个困境，如可扩展性、效率和多模态兼容性，并在一定计算复杂度约束下寻求不同深度和宽度的架构。广泛的实验评估表明，我们的模型分别在移动卷积网络和小型视觉变换器上实现了 78.9％和 83.6％的 ImageNet 最高准确率。

    Mar, 2024

  • 共享权重对于成功的优化至关重要

    本文研究卷积神经网络体系结构中共享权重对优化的重要性，探索不同目标函数频率的不同概念，并证明其必要性。研究结果表明，使用共享权重的体系结构与其他不使用共享权重的体系结构在优化方面存在理论差异。

    Jun, 2017

  • 平衡和确定性权值共享促进网络性能

    使用权重共享（weight-sharing）的方法研究了神经网络（neural network）中的不同哈希函数以及它们对神经网络性能的影响。

    Dec, 2023

  • 权重共享能否优于随机架构搜索？一项基于 TuNAS 的研究

    本文比较了基于权重共享的高效神经结构搜索算法和随机搜索方法在不同问题领域下的性能表现；同时，该文提出并评估了一些技术手段可用于改进搜索到的结构的质量，进一步降低人工超参数调参的需求。

    Aug, 2020

  • 利用图卷积网络匹配权重共享 NAS 的搜索空间

    本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。

    Apr, 2020