Apr, 2024

HMAR：多行为推荐的分层掩码注意力

PDF
TL;DR在推荐系统的背景下，处理多行为用户交互对于理解不断演变的用户行为变得至关重要。最近的模型利用图神经网络和注意机制等技术来建模多样的行为，但是捕捉历史交互中的顺序模式仍然具有挑战性。为了解决这个问题，我们引入了基于层次掩码注意力的多行为推荐模型 (HMAR)。具体而言，我们的方法对相同行为的项目应用掩码自注意力，然后在所有行为之间进行自注意力。另外，我们还提出了历史行为指标来编码输入序列中每个项目行为的历史频率。此外，HMAR 模型在多任务设置中运作，可以同时学习项目行为及其相关的排序分数。在四个真实世界数据集上进行广泛的实验结果表明，我们提出的模型优于最先进的方法。我们的代码和数据集可在此处获得 (this https URL)。
recommendation systemsuser interactionsgraph neural networksattention mechanismssequential patterns
发现论文，激发创造
  • 基于印象信息的多行为推荐系统：一种层次图注意力方法

    该研究介绍了一种在推荐系统中处理多种行为交互的层次多行为图注意力网络 (HMGN)，该网络通过注意机制从不同行为中获取信息，并采用多任务的层次贝叶斯个性化排序进行优化，结果显示性能提升了 64%。

    Sep, 2023

  • 用于序列推荐的多行为超图增强变压器

    设计了一种多行为超图增强 Transformer 框架（MBHT），用于捕获基于多个交互类型的短期和长期行为依赖关系，该框架通过低秩自注意力和超图神经网络结构实现。

    Jul, 2022

  • 用于提升机器理解口语内容的分层注意力模型

    提出了一项新的任务 —— 自动理解口语内容，本文通过构造多层注意力机制的分层注意力模型（HAM）来提高自动理解口语内容任务的表现，并且通过考虑树状结构而不是顺序结构的表示方法，使得模型对 ASR 错误更加鲁棒。

    Aug, 2016

  • ATRank: 一种基于注意力机制的用户行为建模框架用于推荐

    本文提出了一种名为 ATRank 的基于注意力机制的用户行为建模框架，主要用于推荐系统，通过将异构用户行为投影到多个潜在语义空间中，使用自注意力在行为之间进行影响，并通过 vanilla attention 提供给下游应用程序使用，实验证明 ATRank 具有更好的性能和更快的训练速度，进一步探索 ATRank 使用一种统一模型同时预测不同类型的用户行为，显示出与高度优化的单独模型相当的性能。

    Nov, 2017

  • 基于多尺度层级注意力网络的动作识别

    本文提出了一种称为 Hierarchical Multi-scale Attention Network (HM-AN) 的多层次自然渐变神经网络，融合 Hierarchical Multi-scale RNN 和注意机制来处理动作识别问题，并且采用 Gumbel-softmax 梯度估计方法来优化网络表现。实验证明，HM-AN 在视觉任务上优于使用注意机制的 LSTM 网络，而通过网络学习的可视化，可以观察到 HM-AN 具有较好的注意力区域和分层次的时序结构。

    Aug, 2017

  • 基于交叉交互式协作关系建模的多行为增强推荐

    该研究提出了一种 Graph Neural Multi-Behavior Enhanced Recommendation (GNMR) 框架，它在图形消息传递架构下显式地建模了用户 - 物品不同类型交互之间的依赖关系，以更好地捕捉用户多行为数据的异构协作信号。

    Jan, 2022

  • 混合关联模型用于序列推荐

    本文提出了基于混合关联模型的顺序推荐方法，利用用户长期偏好、近期评价的高阶 - 低阶关联模式和物品之间的协同作用生成推荐结果，明确实验结果表明这种方法在效率和精度上都超过了最新的状态 - of-the-art 方法，具有较高潜力。

    Feb, 2020

  • HAM：面向 3D 视觉定位的高性能分层注意力模型

    本文主要介绍了针对 3D 点云的视觉定位问题，提出了基于 Transformer 和 Hierarchical Attention Model 的端到端模型，通过对三个基本问题的解决来提高模型性能，实验结果表明 HAM 模型能够在多模态视觉输入下取得领先的结果。

    Oct, 2022

  • UniAR：统一人类视觉内容中的注意力与反应预测

    人类行为建模方面取得的进展涉及对隐含的、早期的感知行为（如注意力）以及明确的、后期的行为（如主观评分 / 喜好）的理解。然而，大部分先前的研究都集中在隔离地建模隐含和明确的人类行为上。我们能否建立一个统一的人类注意力和偏好行为模型，可在各种类型的视觉内容中可靠地工作？这样的模型将能够预测主观反馈，如整体满意度或审美质量评级，以及潜在的人类注意力或互动热图和浏览顺序，从而使设计师和内容创作模型能够优化其创作以实现以人为中心的改进。在本文中，我们提出了 UniAR - 一个统一的模型，可以在不同类型的视觉内容上预测隐含和明确的人类行为。UniAR 利用了一种多模态变换器，具有每个方面的不同预测头，并预测注意力热图、扫描路径或浏览顺序，以及主观评级 / 喜好。我们在涵盖自然图像、网页和图形设计的多样公共数据集上训练 UniAR，并在不同图像领域和各种行为建模任务上取得了领先的性能。潜在应用包括即时提供对界面 / UI 设计 / 图像有效性的反馈，并作为奖励模型进一步优化设计 / 图像创作。

    Dec, 2023

  • 个性化行为感知 Transformer 模型用于多行为序列推荐

    本文研究了 Multi-Behavior Sequential Recommendation 问题，提出了一种名为 Personalized Behavior-Aware Transformer (PBAT) 的框架，该框架通过建模个性化模式和多方面的序列协作来提高推荐性能。

    Feb, 2024