AAAIApr, 2020

利用图卷积网络匹配权重共享 NAS 的搜索空间

PDF
TL;DR本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。
neural architecture searchweight-sharing methodssub-networksgraph convolutional networkperformance
发现论文，激发创造
  • 共享权重神经架构搜索：缩小优化差距的战斗

    本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

    Aug, 2020

  • 深入探究神经架构搜索中的权重共享

    本文探究权重共享对神经架构搜索的影响，发现权重共享导致模型表现差异显著，同时也可以从共享权重的超级神经网络中提取有价值的信息，并提出适度减少权重共享的方法来减少差异性并提高性能。

    Jan, 2020

  • Supernet 如何帮助神经架构搜索？

    该研究分析了五个搜索空间，研究发现权重共享在某些搜索空间中效果良好但在其他搜索空间中效果不佳，进一步揭示了这种现象的偏见因素和权重共享的能力。

    Oct, 2020

  • 通过候选增强和渐进式训练来改善超网的排名相关性

    通过重新设计超网络的子网络，逐步添加窄分支以减少权重共享的程度并提高排名相关性，可以有效减轻不同候选网络之间的相互干扰，从而提高了神经结构搜索的自动化设计效率。该方法在 CVPR2021 轻量级 NAS 挑战赛超级网络赛道中获得了第一名。

    Aug, 2021

  • 利用 BONAS 缩小基于样本和一次通的神经架构搜索之间的差距

    本篇论文介绍了一种名为 BONAS 的基于贝叶斯优化的神经架构搜索框架，该框架使用图卷积网络预测器作为代理模型以在每次迭代中选择多个相关的候选模型，并采用权重共享方法来同时训练多个候选模型。该方法不仅可以显著加速传统的基于采样的方法，而且可以保持其可靠性。

    Nov, 2019

  • NASRec：面向推荐系统的权重共享神经架构搜索

    NASRec 是一种用于优化推荐系统的模型，其使用了深度神经网络，通过单一的 supernet，通过权重共享实现了丰富的模型 / 子架构，克服了数据多模性和架构异质性挑战，并在三个 CTR 预测基准测试中取得了有希望的结果。

    Jul, 2022

  • 通过概率变化改进一次性 NAS 的 ShiftNAS

    本文提出 ShiftNAS，一种基于子网复杂度调整采样概率的方法，通过训练可以直接获取给定计算复杂度所需的最佳模型架构和参数，实验结果表明 ShiftNAS 可以在不增加额外消耗的情况下提高 One-shot NAS 的性能。

    Jul, 2023

  • 图神经网络中的神经结构搜索

    本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

    Jul, 2020

  • DNA Family：使用区块级别监督增强权重共享的 NAS

    通过将大的搜索空间模块化为小的搜索空间，并利用 DNA 技术开发了一系列模型，我们解决了 weight-sharing NAS 中的多个困境，如可扩展性、效率和多模态兼容性，并在一定计算复杂度约束下寻求不同深度和宽度的架构。广泛的实验评估表明，我们的模型分别在移动卷积网络和小型视觉变换器上实现了 78.9％和 83.6％的 ImageNet 最高准确率。

    Mar, 2024

  • WSNet: 通过权重采样实现紧凑高效的神经网络

    WSNet 是一种用于学习紧凑高效的深度神经网络的新方法和新架构，其通过采样可学习参数的紧凑集合来促进参数共享，并考虑应用在音频分类方面，实验证明此方法可以更有效地学习与基准相比卷积滤波器数量相等但更小的网络，并且在权重量化的情况下，所得模型的尺寸理论上可缩小至 16 倍，速度可提升至 180 倍，但无明显性能降低。

    Nov, 2017