ICLRFeb, 2021

局部自由重参数共享用于网络宽度搜索

PDF
TL;DR本文提出了一种自由权重共享的策略 CafeNet 和一种减小搜索空间的方法来更好地评估每个网络宽度，该方法可以在 ImageNet、CIFAR-10、CelebA 和 MS COCO 数据集上进行验证，并被证明优于其他最先进的基线模型，特别是通过更精细地搜索其宽度，我们的方法可以进一步提高基准 NAS 网络 EfficientNet-B0 的性能 0.41%。
deep neural networksnetwork widthcafenetweight sharingflops-sensitive bins
发现论文，激发创造
  • 双侧耦合网络中的网络宽度搜索

    该论文提出一种双向耦合网络（BCNet）来解决现有方法在超网络中存在的训练不公平问题，同时通过优化搜索空间和采用新的训练策略来实现更精确的网络宽度评估。通过实验证明，该方法可以获得良好的效果，并在网络结构的优化中进一步提升性能表现。

    Mar, 2022

  • BCNet: 双向耦合网络搜索网络宽度

    本文提出了双向耦合网络 (BCNet) 的概念，使用随机补充和先验采样技术来训练 BCNet，能够更准确地评估每个网络宽度。在 CIFAR-10 和 ImageNet 数据集上的实验表明，该方法在性能上超越了其他基线方法，并通过对 NAS 模型的网络宽度进行优化，进一步提高了性能。

    May, 2021

  • 利用图卷积网络匹配权重共享 NAS 的搜索空间

    本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。

    Apr, 2020

  • Supernet 如何帮助神经架构搜索？

    该研究分析了五个搜索空间，研究发现权重共享在某些搜索空间中效果良好但在其他搜索空间中效果不佳，进一步揭示了这种现象的偏见因素和权重共享的能力。

    Oct, 2020

  • 深入探究神经架构搜索中的权重共享

    本文探究权重共享对神经架构搜索的影响，发现权重共享导致模型表现差异显著，同时也可以从共享权重的超级神经网络中提取有价值的信息，并提出适度减少权重共享的方法来减少差异性并提高性能。

    Jan, 2020

  • 宽度转移：宽度优化的（不）变异性

    本研究提出了一种名为宽度转移的技术，旨在实现 CNN 的宽度优化，并在不影响训练成本的情况下，取得高于 ImageNet 的 top-1 精度，并显著减少优化宽度的计算开销，同时发现更好准确率的宽度在网络结构和训练数据的各个方面都与不变。

    Apr, 2021

  • FairNAS: 重新思考共享权重神经架构搜索的评估公正性

    探究神经网络结构搜索中候选模型评估的公平性问题，提出预期公平和严格公平两种约束方法，其通过公平的训练方式得到的一次性神经网络与多目标进化搜索算法相结合，可以获得最先进的模型。其中 FairNAS-A 模型在 ImageNet 数据集上获得了 77.5% 的 top-1 验证准确率。

    Jul, 2019

  • Joslim: 用于可变宽度神经网络的联合宽度和权重优化

    提出了一种通用框架来在宽度配置和权重优化方面实现可配宽度网络的联合优化，并引入了一种名为 Joslim 的算法，该算法在各种网络、数据集和目标优化中均优于现有方法，最大化提高了各种配置下的效率和准确率。

    Jul, 2020

  • 共享权重神经架构搜索：缩小优化差距的战斗

    本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

    Aug, 2020

  • WSNet: 通过权重采样实现紧凑高效的神经网络

    WSNet 是一种用于学习紧凑高效的深度神经网络的新方法和新架构，其通过采样可学习参数的紧凑集合来促进参数共享，并考虑应用在音频分类方面，实验证明此方法可以更有效地学习与基准相比卷积滤波器数量相等但更小的网络，并且在权重量化的情况下，所得模型的尺寸理论上可缩小至 16 倍，速度可提升至 180 倍，但无明显性能降低。

    Nov, 2017