该研究提出了一种名为 CA-RNN 的上下文感知循环神经网络模型，用于建模用户的行为模式，其采用自适应的上下文特定输入矩阵和上下文特定转移矩阵来捕捉事件发生时的外部环境和历史时序之间的转换，实验证明该模型在 Taobao 数据集和 Movielens-1M 数据集上比现有的序列推荐和上下文感知推荐方法都有明显改进。

Sep, 2016

我们提出了一种新的上下文递归神经网络，可以在输入和输出层中考虑相关信息，将上下文嵌入与项目嵌入相结合，并在模型动态性中将隐藏单元转换参数化为上下文信息的函数，从而在下一事件预测任务上显示出良好的提高效果。

Jun, 2017

本研究通过提出一种基于自注意力机制的序列模型 (SASRec)，实现捕获用户操作的长期语义信息并利用少量操作进行预测，从而在稀疏和密集数据集上优于具有代表性的顺序模型（包括基于 MC/CNN/RNN 的方法），并且比相似的 CNN/RNN 模型高效一个数量级。注意力权重的可视化也展示了该模型如何自适应处理不同密度的数据集并揭示出有意义的活动序列模式。

Aug, 2018

本文提出一种名为 Recurrent Attention Unit 的循环神经网络模型，它将注意机制融入了 GRU 的内部结构中并通过增加 attention gate 提高了 GRU 对于长期记忆的能力，对于序列数据能够通过自适应选择序列的区域或位置并在学习过程中更加关注选定的区域，实验结果表明 RAU 在图像分类、情感分类和语言建模等方面均优于 GRU 和其他基线方法。

Oct, 2018

该研究通过提出一种应对历史事件对用户当前行为影响具有时变性和受上下文影响的上下文化时间关注机制，动态校准不同时间段和上下文中历史行为对当前行为的影响，以提高推荐系统的性能。实证评估结果表明，在两个大型公共推荐数据集上，该模型始终优于现有的顺序推荐方法。

Jan, 2020

提出了使用基于注意力机制的人工神经网络（RNNs）来实现序列建模任务的机制，它允许 RNNs 关注需要的输入的关键部分。通过使用一个多层的有条件序列编码器，读取一个令牌并对其进行离散的决策，来控制信息流入以上层。此方法在几种任务类型上进行评估，包括各种属性的合成任务以及大规模的问答任务，并且相对于已有的基准模型，都得到了一致的性能改进。

Jun, 2018

提出了一种记忆增强图神经网络 (MA-GNN)，用于解决顺序推荐系统中的挑战，包括建模短期和长期用户兴趣、有效建模项目共现模式等，模型在五个真实数据集上得到了验证并进行了比较。

Dec, 2019

本文提出了一种新的上下文感知再排序框架 —— 生成再排序网络（GRN），包括一个基于 Bi-LSTM 和自注意力机制的评估器和一个带有 GRU、注意力机制和指针网络的生成器，通过交叉熵损失和策略梯度来优化，实验结果表明，GRN 在推荐任务中的表现优于现有的基于点 / 列表的方法 5.2%~6.1%。

Apr, 2021

研究聊天机器人中的多轮对话应答生成，提出一种基于分层循环注意力网络的方法，该方法使用单词级别和语句级别的注意机制来捕捉对话上下文中重要部分，能够明显优于现有的多轮应答生成模型。

Jan, 2017

本文提出了一种上下文感知的神经排序模型，通过引入两级分层循环神经网络对查询、搜索任务进行搜索上下文表示的学习，并结合文档排序和查询建议两个伴随的检索任务来提高检索性能，并在循环状态的两个级别上引入注意力机制来识别搜索上下文和用户正在进行的搜索活动之间的可变依赖结构。通过丰富的实验比较以及深入的消融分析，证实我们所提出的方法对于建模搜索任务中隐藏的搜索上下文具有价值。

Jun, 2019