本文提出了可解释的基于图的神经模型 MTAG，通过构建多模态序列数据的图，设计了 MTAG 融合操作和动态修剪和读取技术。MTAG 仅关注图中重要的交互，可在情感分析和情感识别基准测试中实现最先进的性能，同时使用了显著更少的模型参数。

Oct, 2020

本文研究探讨了应用于对话行为检测和关键词提取的神经注意力模型在序列分类任务中的应用和作用，并通过实验结果和可视化分析验证了该模型在去除噪音和提取关键信息方面的表现。

Mar, 2016

本文介绍了一种基于注意力机制的神经机器翻译模型，该模型通过暂时性存储对齐信息和调节注意力值的方法，提高了翻译效果， 在两种语言对上的大规模实验中，该方法不仅超越了基线 NMT 模型，还比其他相关方法表现更出色，甚至有些情况下在不使用集成的情况下也能胜过 SMT 基准。

Aug, 2016

该研究提出了一种基于自我注意力机制和长远时间关系的 Temporal Memory Attention Network（TMANet），来达到视频语义分割的最佳性能，尤其在 Cityscapes 和 CamVid 数据集上表现出新的最佳性能，并且避免了消耗大量计算资源的精确光流建模的缺点。

Feb, 2021

本文提出一种多注意力机制的模型来解决视频理解中的时间定位问题，模型结合了多个注意力网络、深度帧模型、循环神经网络和卷积神经网络，并基于多实例多标签学习和 attention 权重来加强对视频中重要帧的关注，从而在 YouTube-8M Video Understanding Challenge 中取得了较好的成绩。

Nov, 2019

我们提出了一种基于时间卷积网络和注意力机制的探索性架构称为 TCAN，它不仅能够实现递归网络的近似替代，还可以吸收前向模型的优势，提高了 word-level PTB、character-level PTB 和 WikiText-2 等文本数据集的 bpc/perplexity 表现.

Feb, 2020

该研究提出了一种时间感知的自注意力机制 —— 时间注意力，用于任何基于变形器模型的预训练语言模型中，以捕捉上下文中的时间信息，并应用于语义变化检测任务，在三个不同语言的数据集上取得最先进的结果。

Feb, 2022

本文提出了一种灵活的多头线性注意力（FMLA）方法，通过与可变形卷积块和在线知识蒸馏进行分层交互来提高局部感知能力。此外，我们还提出了一种简单但有效的掩码机制，以减少时间序列中的噪声影响并降低 FMLA 的冗余。通过多次以随机掩码层转发样本并聚合其输出来稳定此机制，并将其与 11 种已知算法进行比较，结果表明我们的算法在 top-1 准确性方面具有可比性，并以浮点运算每秒和参数数量方面将其与三种基于 Transformer 的模型进行比较，发现我们的算法在更低的复杂度下实现了更好的效率。

Jul, 2022

提出了一种基于序列到序列的方法 TGASI，采用归纳学习思想以区分不同时间戳中不同预测源的重要性，并通过设计的时间注意机制来提高在不同场景下源定位的准确性和可扩展性。

Jun, 2023

本文提出了通过使用基于图注意力网络的声谱 - 时间表示学习方法，以及采用模型级别的图融合和图池化策略，进行深度伪造声音检测的方法， 在 ASVspoof 2019 数据库上达到了 1.06% 的等误率，是目前为止报告的最佳结果之一。

Jul, 2021