本文介绍了一种基于深度生成模型的可解释视频对象追踪算法 Sequential Attend, Infer, Repeat (SQAIR)，它可以对视频中的对象进行可靠的发现和跟踪，并可以生成未来的视频帧，该模型的潜在变量明确地编码了对象的存在、位置和外观，并且具有 AIR 算法（Eslami et. al.，2016）的所有优点，在无监督学习的情况下学习，并且通过利用对象的时间一致性来克服 AIR 算法在检测重叠或部分遮挡对象方面的局限性，该算法还可用于实时行人 CCTV 数据的对象检测，跟踪和生成。

Jun, 2018

该研究提出了一种基于变换器的关系感知内核自注意力机制（RKSA），它采用了变换器的自注意力机制，并加入了概率模型和潜空间，从而将变换器的自注意力与连续推荐相结合，实现了推荐上下文的建模与个性化推荐。

Nov, 2019

本论文提出了基于 Cross-relation Cross-bag 选择性注意力（C $ ^ 2 $ SA）的多实例学习，以实现对遥感监督关系提取器的噪音鲁棒训练。

Dec, 2018

通过构建 Relation-VQA 数据集，并采用新颖的多步注意力模型，该论文提出了一种更好地利用图像语义知识的视觉关系事实学习框架，从而在视觉问答任务中取得了最先进的性能。

May, 2018

本文介绍了一种广义的循环关系网络，它可以增强任何神经网络模型的能力，以进行多步关系推理，通过将物体表示为图形，解决需要关系推理链的任务，例如回答有关物体之间关系的复杂问题或解决需要相互约束的解决方案的难题，并在 bAbI 文本问答数据集和数独难题的求解中实现了最优结果。

Nov, 2017

使用关系结构提高 Transformer seq2seq 模型在文本转 SQL 中的效果，实验结果表明在多个数据集中取得了最优结果。

May, 2022

提出了一种新颖的基于多层结构化自我关注机制的深度神经网络，在多实例学习框架下，利用双向循环神经网络进行远程监督关系抽取，该模型显著优于现有基线模型。

Sep, 2018

本研究提出了一种基于关系感知图形注意力网络（ReGAT）的 VQA 模型，该模型通过图形注意机制将每个图像编码为图形，再通过多类型的物体关系建模，以学习问题自适应的关系表示，并在 VQA 2.0 和 VQA-CP v2 数据集上优于现有的 VQA 方法，同时具有通用的关系编码器功能。

Mar, 2019

本研究介绍了一种名为 SRA 的注意力机制，通过使用权重向量来学习可解释的表示，并在基准模型的端到端组合中有效应用于合成和现实世界的不平衡数据。

May, 2023

本研究通过提出一种基于自注意力机制的序列模型 (SASRec)，实现捕获用户操作的长期语义信息并利用少量操作进行预测，从而在稀疏和密集数据集上优于具有代表性的顺序模型（包括基于 MC/CNN/RNN 的方法），并且比相似的 CNN/RNN 模型高效一个数量级。注意力权重的可视化也展示了该模型如何自适应处理不同密度的数据集并揭示出有意义的活动序列模式。

Aug, 2018