ICMLAug, 2021

神经结构搜索中的干扰分析与缓解

PDF
TL;DR本文探讨神经体系结构搜索中的权重共享问题并提出了 MAGIC-T 和 MAGIC-A 两种方法来缓解共享运算符之间的干扰。实验证明，我们的方法能够提高超级神经网络的排序相关性，并在各种任务中验证了其有效性和普适性。
neural architecture searchweight sharinginterferencemagic-tmagic-a
发现论文，激发创造
  • 深入探究神经架构搜索中的权重共享

    本文探究权重共享对神经架构搜索的影响，发现权重共享导致模型表现差异显著，同时也可以从共享权重的超级神经网络中提取有价值的信息，并提出适度减少权重共享的方法来减少差异性并提高性能。

    Jan, 2020

  • 共享权重神经架构搜索：缩小优化差距的战斗

    本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

    Aug, 2020

  • 权重纠缠与基于梯度的神经架构搜索

    本文旨在通过提出一种新的方案，将基于梯度的方法适应于权重相互关联的空间，从而弥合这两个子社区之间的差距，并深入比较评估梯度优化方法在权重相互关联的搜索空间中的性能，结果发现这种权重相互关联和基于梯度的 NAS 的整合带来了增强性能、改善超网训练性质以及出色的任意时间性能等各种优势，同时保持了权重相互关联空间的内存效率。

    Dec, 2023

  • 利用图卷积网络匹配权重共享 NAS 的搜索空间

    本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。

    Apr, 2020

  • 分享还是不分享：对共享权重的全面评估

    本研究采用 NASbench 数据集来测试 Weight-sharing 算法在搜索空间上的效率，通过与随机搜索的比较，我们发现虽然两种方式的结果具有一定的相关性，但 Weight-sharing 算法并不能显著提高了神经架构搜索的效率，且我们强调搜索空间本身的影响。

    Feb, 2020

  • 轻量化且准确：通过两个常数共享权重初始化的神经架构搜索

    该研究提出了一种与训练集准确度高度相关的零成本度量标准 epsilon，使用零成本代理来加速神经架构搜索，省去了计算负载和梯度计算、标签、损失度量等依赖于人工标注数据的环节。

    Feb, 2023

  • Supernet 如何帮助神经架构搜索？

    该研究分析了五个搜索空间，研究发现权重共享在某些搜索空间中效果良好但在其他搜索空间中效果不佳，进一步揭示了这种现象的偏见因素和权重共享的能力。

    Oct, 2020

  • 地标正则化：在神经架构搜索中使用排名引导超级网络训练

    本研究提出一种正则化项，通过一小组标志性架构来最大化共享权重网络和独立体系结构性能排名之间的相关性，在三种不同的 NAS 算法中应用并证明其能够提高算法的性能。

    Apr, 2021

  • 权重共享能否优于随机架构搜索？一项基于 TuNAS 的研究

    本文比较了基于权重共享的高效神经结构搜索算法和随机搜索方法在不同问题领域下的性能表现；同时，该文提出并评估了一些技术手段可用于改进搜索到的结构的质量，进一步降低人工超参数调参的需求。

    Aug, 2020

  • 抑制后验衰减，提升一次性神经架构搜索

    通过 Bayesian 分析，提出一种可实现后验均衡的神经网络架构搜索方法，该方法引入硬延迟约束，在满足标准 GPU 延迟约束的情况下，在 ImageNet 数据集上取得了最先进的性能，并在其他计算机视觉应用中实现了模型结构迁移。

    Oct, 2019