本研究提出一种基于时空注意力机制的人体动作识别方法，采用外部信息（人的姿态）提取注意力分布，采用 RNN 实现注意力的递归处理，以实现自动关注动作中最活跃的手部，并检测最具区分度的动作要素，并在 NTU-RGB + D 数据集上获得最先进的结果。

Dec, 2017

通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

Oct, 2018

本研究提出了一种基于高斯混合模型的时空注意力模型，并使用人类注视数据进行训练，相比先前的方法，该模型在影片显著性预测方面具有最先进的表现，并在动作分类准确性方面取得了改进。

Mar, 2016

利用注意力驱动的机器人操作算法（ARM），结合 Q-attention 代理、姿态代理和控制代理构成的三阶段流水线，能够成功解决目前强化学习在处理机器人操作任务时存在的困难，特别是针对图像输入的情况，对 RLBench 标准任务有显著的提高。

May, 2021

通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

Mar, 2017

本文提出一种基于 soft attention 的模型，用于对视频中的动作进行识别，该模型使用多层循环神经网络 (RNNs) 和长短期记忆 (LSTM) 单元，学习有选择地专注于视频帧的某些部分，通过几个瞥见来对视频进行分类。该模型主要学习帧中哪些部分与目标任务相关，并赋予它们更高的重要性。我们在 UCF-11 (YouTube Action)、HMDB-51 和 Hollywood2 数据集上评估了该模型，并分析了模型在不同场景和不同动作下注意力的聚焦。

Nov, 2015

本文提出 Hierarchical Attention Network（HAN）用于实现复杂的人类行为理解。该模型可以同时融合视频的静态空间信息，短期运动信息和长期视频时间结构，并利用多步骤空间时间关注机制来自动学习视频帧中的重要区域和时间片段，最终在标准的视频行为基准测试中显著优于现有技术。

Jul, 2016

本研究探讨是否可以利用人眼注视追踪信息定义注意力机制以提高视频字幕生成任务的性能，通过提出一种名为 GEAN 的视频字幕模型，并采用人眼注视追踪数据来提供生成句子的时空注意力，以及对语言相似性指标和人工智能通过 Amazon mechanical Turk 进行的评估，证明了由人眼追踪数据指导的空间注意力确实改善了多个字幕方法的性能，并展示了该方法在 VAS 数据集和标准数据集（如 LSMDC 和 Hollywood2）中实现了领先的性能，成为最先进的视频字幕生成方法。

Jul, 2017

本文提出一种新颖的方法来模拟和模拟人类注意力的近似预测模型，并将其作为结构化辅助特征图输入到下游学习任务中，通过在物体检测和模仿学习两个任务中的应用实验证明了人类注意力的预测可以提高训练模型的鲁棒性和在低数据情景下的快速学习。

Aug, 2023

通过可学习的时间注意力模块，我们提出了一个新的模型来确定长视频的相对技能。我们的方法训练了两个注意力模块，分别关注指示更高（pros）和更低（cons）技能的视频部分，并使用新颖的排名感知损失函数。该方法在 EPIC-Skills 数据集上表现优异，比以前的方法和经典的 softmax 注意力提高了 4％的成对准确性，并且在个别任务上提高了高达 12％。

Dec, 2018