Oct, 2021

Differentiable NAS 框架及其在广告 CTR 预测中的应用

PDF
TL;DR本研究提供一个可扩展且模块化的框架，用于 Differentiable Neural Architecture Search 的自动深度神经网络架构搜索，并应用于广告点击率预测领域，取得了该领域内最优结果。
neural architecture searchdeep neural networkdifferentiable neural architecture searchads click-through rate predictiondeep learning recommendation model
发现论文，激发创造
  • 神经网络设计的高效自动化：可微分神经架构搜索综述

    该论文综述了 Differentiable Neural Architecture Search (DNAS) 领域的最新进展，提出了一种基于挑战的分类方法，并探讨了 DNAS 对全局神经架构搜索领域的影响和未来研究方向。

    Apr, 2023

  • UNAS: 可微分结构搜索遇上强化学习

    UNAS 是一个统一的框架，将最新的 DNAS 和 RL 方法封装在一个框架中，在维持较低的搜索成本的同时，能够在一个统一的框架中搜索具有可微和不可微标准的架构。通过 CIFAR-10、CIFAR-100 和 ImageNet 数据集的广泛实验，我们展示了 UNAS 在所有三个数据集上的平均精度与在 DARTS 空间中搜索的架构相比具有最先进的表现，并且在 ProxylessNAS 搜索空间中可以找到一个高效而准确的架构，超越了现有的基于 MobileNetV2 的架构。

    Dec, 2019

  • DDNAS: 文本分类离散可微神经构架搜索

    本文提出了离散可微分神经架构搜索新方法（DDNAS）进行文本表示和分类的优化，并采用互信息最大化的离散化层来对文本表示中的潜在分层进行建模。实验证明，DDNAS 可显著优于现有的最先进的 NAS 方法。

    Jul, 2023

  • DSNAS: 无需参数微调的直接神经结构搜索

    通过提出基于任务的端到端的 NAS 方法定义，我们提出了 DSNAS，一个高效的可微分 NAS 框架，不仅可以同时优化架构和参数，而且还可以减少模型训练时间，并在 ImageNet 数据集上达到了与现有方法同等的准确率。

    Feb, 2020

  • DCNAS：用于语义图像分割的密集连接神经架构搜索

    本研究提出一种名为 Densely Connected NAS (DCNAS) 的神经架构搜索框架，通过连接细胞并使用可学习的权重来引入密集连接的搜索空间，并通过路径和通道级别的抽样策略设计一个融合模块来降低搜索空间的内存消耗。DCNAS 搜索算法得到的体系结构在公共语义图像分割基准测试中的表现显著优于先前算法。

    Mar, 2020

  • DrNAS: Dirichlet 神经架构搜索

    该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

    Jun, 2020

  • FR-NAS: 前向和后向图预测器用于高效的神经网络架构搜索

    通过使用图神经网络作为性能预测器，将神经架构转化为向量表示，并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明，与其他图神经网络预测器相比，预测准确性显著提高，Kendall-tau 相关性增加了 3% 至 16%。

    Apr, 2024

  • 面向点击率预测的自动神经交互发现

    本文提出了一种基于自动交互架构发现的 CTR 预测框架 AutoCTR，使用神经架构搜索技术探索了不同数据集的 CTR 预测模型，取得了在不同数据集上的预测效果和泛化性能的成功。

    Jun, 2020

  • 可微分 NAS 中的架构选择再思考

    本文介绍了一种替代基于权重参数选择最大操作的 NAS 体系结构选择方法，并通过实验证明这种方法可以提取出更好的架构，并且可以纠正 DARTS 中部分失败模式。

    Aug, 2021

  • 离散化差异的魔鬼：用单阶段搜索协议来强化可微 NAS

    神经架构搜索被广泛应用于各种计算机视觉任务，其中不可微分神经架构搜索是其中一个有前景的子领域。然而，基于梯度的方法受到离散化误差的影响，从而严重损害了获取最终架构的过程。我们的工作首次研究了离散化误差的风险，并展示了如何影响非规则化超网络。为了增强 DNAS 框架的鲁棒性，我们引入了一种新的单阶段搜索协议，不依赖于解码连续架构。我们的结果表明，这种方法在 Cityscapes 验证数据集的搜索阶段达到了 75.3% 的性能，并且在包含短连接的非稠密搜索空间上比 DCNAS 的最佳网络性能高 1.1%。整个训练过程只需 5.5 个 GPU 天，由于权重重用，获得了计算效率高的架构。此外，我们提出了一种新的数据集分割过程，大大提高了结果并防止了 DARTS 中架构退化。

    May, 2024