Oct, 2022

AutoAttention: 用户行为建模中自动选择注意力字段对

PDF
TL;DR提出了一种名为 AutoAttention 的模型，该模型使用可学习的权重对所有 item/user/context 字段进行查询，以及在行为字段和查询字段之间为每个字段对分配一个可学习的权重对这些字段对进行修剪，从而实现自动字段对选择，以去除噪声字段。
ctr prediction modelsuser behaviorweighted sum poolingautoattentionfield pair selection
发现论文，激发创造
  • AutoInt: 基于自注意力神经网络的自动特征交互学习

    本文提出了一种称为 AutoInt 的方法，通过多头自注意力神经网络和残差连接，自动学习输入特征的高阶特征交互，共同应用于 CTR 预测、在线广告和推荐系统，并展示了好的解释性和结果。

    Oct, 2018

  • FAT-DeepFFM: 域注意力深度场感知因子分解机

    本文提出了一种新的神经点击率模型 FAT-DeepFFM，该模型通过将 DeepFFM 与 CENet 场注意力机制结合起来以突出特征重要性，并在真实世界数据集上的实验结果表明，FAT-DeepFFM 在 CTR 预测任务方面的性能最好，并获得不同于现有方法的改进。

    May, 2019

  • 再看 CTR 预测：关注全部需求吗？

    本文旨在使用经济学中的离散选择模型对点击率 (CTR) 预测问题进行重新定义，并提出了一种使用自注意力机制构建的通用神经网络框架，该框架与现有的大多数 CTR 预测模型相一致，同时还考虑了模型的表达能力和复杂性，最后通过一些公共数据集上的实验结果证明了我们提出的见解。

    May, 2021

  • 基于混合卷积神经网络和类别先验的用户图像行为建模注意力机制

    本文介绍了如何通过混合 CNN 技术和类别先验信息，在 CTR 预测中提高广告点击率，取得了显著的后验实验结果和在线实验结果。

    May, 2022

  • 多交互注意力网络用于 CTR 预测中细粒度特征学习

    通过提出一种 Multi-Interactive Attention Network (MIAN) 方法，结合多种精细特征以及性别、年龄、职业等用户个人信息，从多个方面综合提取用户偏好，同时设计全局交互模块 (GIM) 学习高阶交互和平衡多个特征的影响，能够有效地预测用户点击率 (CTR)。

    Dec, 2020

  • 基于场权重因子分解机的展示广告点击率预测

    该论文提出了一种称为 Field-weighted Factorization Machines 的算法，以更加内存高效的方式建模不同领域之间的不同特征交互，实现点击率预测，并与其他算法进行了比较。

    Jun, 2018

  • Tri-Attention：自然语言处理中的显式上下文感知注意机制

    该研究提出了一种新的三元注意力机制来更好地捕捉自然语言处理中的上下文信息并在三个 NLP 任务中实现了比 30 种非注意、标准 Bi-Attention、上下文 Bi-Attention 方法和预训练神经语言模型更好的效果。

    Nov, 2022

  • 点击率预测模型中的用户行为端到端检索

    该研究提出了一种叫做 ETA 的局部敏感哈希方法，可以大大降低训练和推理成本，并使得可以使用长期用户行为序列进行端到端训练，以实现更好的点击率预测表现。

    Aug, 2021

  • Meta-Wrapper: CTR 预测中用户兴趣选择的可微分 Wrapping 算子

    本文提出了一种名为 Meta-Wrapper 的深度学习框架，在 CTR 预测中用于用户兴趣筛选，该方法采用了注意力机制和元学习算法以实现包装器方法的特征选择，并在三个公共数据集上进行了广泛实验验证。

    Jun, 2022

  • 视觉语言任务的因果关注

    本文提出了一种新颖的注意力机制 Causal Attention (CATT)，用于消除现有基于注意力的视觉语言模型中一直存在的混淆效应，CATT 可替换任何注意力模块，可大幅提高各种流行的注意力模型的性能，尤其在大规模预训练中具有潜力。

    Mar, 2021