Dec, 2023

学习为神经参数分配搜索编写超参数

PDF
TL;DR神经参数分配搜索（NPAS）通过在给定任意固定参数预算的情况下获取网络权重来自动化参数共享。我们改进了先前工作中的两个主要缺点，首先是在搜索和训练步骤之间共享模式的不一致性，其在搜索期间对不同大小的层进行权重变形以衡量相似性，但在训练期间不进行变形，从而导致性能降低。其次，我们改进了共享参数之间相似性的测量方法，我们认为之前的方法仅比较权重本身，而未考虑共享权重之间的冲突程度。相反，我们利用梯度信息识别希望在共享权重之间发生分歧的层。我们证明了我们的超重网络在 NPAS 设置中在 ImageNet 和 CIFAR 数据集上始终提升性能。此外，我们还展示了我们的方法可以使用相同的权重为许多网络架构生成参数。这使我们能够支持高效集成和任意时间预测等任务，并且相比完全参数化的集成方法，我们的方法可以使用更少 17％的参数取得更好的性能。
neural parameter allocation searchweightssuperweightssimilarityperformance
发现论文，激发创造
  • 神经参数分配搜索

    本文提出神经参数分配搜索 (NPAS) 以及 Shapeshifter Networks (SSNs) 算法，通过自动学习神经网络中参数的共享，从而达到内存优化和性能优化的目的。这一方法在多项任务和网络结构中取得良好的效果。

    Jun, 2020

  • 共享权重神经架构搜索：缩小优化差距的战斗

    本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

    Aug, 2020

  • 深入探究神经架构搜索中的权重共享

    本文探究权重共享对神经架构搜索的影响，发现权重共享导致模型表现差异显著，同时也可以从共享权重的超级神经网络中提取有价值的信息，并提出适度减少权重共享的方法来减少差异性并提高性能。

    Jan, 2020

  • Supernet 如何帮助神经架构搜索？

    该研究分析了五个搜索空间，研究发现权重共享在某些搜索空间中效果良好但在其他搜索空间中效果不佳，进一步揭示了这种现象的偏见因素和权重共享的能力。

    Oct, 2020

  • 如何训练超网络：基于权重共享的 NAS 训练启发式分析

    通过系统评估常用的超网络训练启发式方法和超参数，发现其中一些启发式方法会对超网络和独立性能之间的相关性产生负面影响，并证明了某些超参数和体系结构选择的强烈影响。

    Mar, 2020

  • 利用图卷积网络匹配权重共享 NAS 的搜索空间

    本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。

    Apr, 2020

  • 基于先验指导的一次性神经架构搜索

    本文介绍一种名为 Prior-Guided One-shot NAS 的神经架构搜索方法，它采用平衡采样策略、FLOPs 和 Zen-Score 等机制来加强超级网络的排名相关性，取得了 CVPR2022 第二轻量化 NAS 挑战赛超级网络轨道的第三名。

    Jun, 2022

  • 分享还是不分享：对共享权重的全面评估

    本研究采用 NASbench 数据集来测试 Weight-sharing 算法在搜索空间上的效率，通过与随机搜索的比较，我们发现虽然两种方式的结果具有一定的相关性，但 Weight-sharing 算法并不能显著提高了神经架构搜索的效率，且我们强调搜索空间本身的影响。

    Feb, 2020

  • 地标正则化：在神经架构搜索中使用排名引导超级网络训练

    本研究提出一种正则化项，通过一小组标志性架构来最大化共享权重网络和独立体系结构性能排名之间的相关性，在三种不同的 NAS 算法中应用并证明其能够提高算法的性能。

    Apr, 2021

  • 轻量化且准确：通过两个常数共享权重初始化的神经架构搜索

    该研究提出了一种与训练集准确度高度相关的零成本度量标准 epsilon，使用零成本代理来加速神经架构搜索，省去了计算负载和梯度计算、标签、损失度量等依赖于人工标注数据的环节。

    Feb, 2023