WWWJul, 2022

NASRec：面向推荐系统的权重共享神经架构搜索

PDF
TL;DRNASRec 是一种用于优化推荐系统的模型，其使用了深度神经网络，通过单一的 supernet，通过权重共享实现了丰富的模型 / 子架构，克服了数据多模性和架构异质性挑战，并在三个 CTR 预测基准测试中取得了有希望的结果。
deep neural networksoptimizing recommender systemsnasrecdata multi-modalityclick-through rates (ctr) prediction
发现论文，激发创造
  • DNA Family：使用区块级别监督增强权重共享的 NAS

    通过将大的搜索空间模块化为小的搜索空间，并利用 DNA 技术开发了一系列模型，我们解决了 weight-sharing NAS 中的多个困境，如可扩展性、效率和多模态兼容性，并在一定计算复杂度约束下寻求不同深度和宽度的架构。广泛的实验评估表明，我们的模型分别在移动卷积网络和小型视觉变换器上实现了 78.9％和 83.6％的 ImageNet 最高准确率。

    Mar, 2024

  • 共享权重神经架构搜索：缩小优化差距的战斗

    本文介绍了神经体系结构搜索中的共享权重方法，并提出了其最大的挑战在于超网络与子体系结构之间的优化差距。同时，根据不同的方法来弥合这个差距，分析了这些方法的优劣。最后，就 NAS 和 AutoML 的未来方向提出了作者的观点。

    Aug, 2020

  • Supernet 如何帮助神经架构搜索？

    该研究分析了五个搜索空间，研究发现权重共享在某些搜索空间中效果良好但在其他搜索空间中效果不佳，进一步揭示了这种现象的偏见因素和权重共享的能力。

    Oct, 2020

  • 通过候选增强和渐进式训练来改善超网的排名相关性

    通过重新设计超网络的子网络，逐步添加窄分支以减少权重共享的程度并提高排名相关性，可以有效减轻不同候选网络之间的相互干扰，从而提高了神经结构搜索的自动化设计效率。该方法在 CVPR2021 轻量级 NAS 挑战赛超级网络赛道中获得了第一名。

    Aug, 2021

  • 稀疏超网络下的神经架构搜索

    本论文旨在将神经架构搜索的问题从单路径和多路径搜索扩大到自动混合路径搜索。我们提出了一种新的连续架构表示方法，利用稀疏超网络和稀疏性约束来实现自动混合路径搜索。同时，我们采用了分层加速的近端梯度算法来优化所提出的稀疏超网络，并在卷积神经网络和循环神经网络搜索中进行了广泛的实验，证明了该方法能够搜索到紧凑、通用和强大的神经结构。

    Jul, 2020

  • 神经架构迁移

    本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在 11 项基准图像分类任务中证明了其有效性。

    May, 2020

  • BigNAS：利用大型单级模型扩展神经架构搜索

    本文提出一种新方法 BigNAS，使用单个共享权重集合无需进行额外的训练或后处理步骤，就可以用于神经结构搜索，该方法的预测准确率优于现有方法。

    Mar, 2020

  • 利用图卷积网络匹配权重共享 NAS 的搜索空间

    本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。

    Apr, 2020

  • 一种半监督的神经架构评估器

    本文提出了一种半监督评估神经架构的方法，使用自编码器发现神经架构的有意义的表示，并利用图卷积神经网络来预测它们的性能，以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验，证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。

    May, 2020

  • ReNAS：神经架构搜索的相对论评估

    该研究论文提出了一种名为 ReNAS 的相对性神经结构性能预测方法，可用于神经结构搜索，通过对数据集的有效采样，实验结果表明该方法相较于现有方法在 NAS-Bench-101 和 NAS-Bench-201 数据集上表现更优。

    Sep, 2019