本篇论文提出了一种行动预测模型，受人类神经结构的启发，在预测未来视觉和时间表现方面，能够预测合理的未来行动，并证明使用视觉和时间语义的场景表示结合递归生成对抗网络 (GAN) 框架可以实现未来表现的表示综合，该模型在多个数据集上优于当前最先进的方法。

Dec, 2019

本文提出了 AGIL（Attention Guided Imitation Learning）框架，该框架使用深度神经网络学习人类注意力模型，以改善智能决策和任务性能。

Jun, 2018

本研究探讨是否可以利用人眼注视追踪信息定义注意力机制以提高视频字幕生成任务的性能，通过提出一种名为 GEAN 的视频字幕模型，并采用人眼注视追踪数据来提供生成句子的时空注意力，以及对语言相似性指标和人工智能通过 Amazon mechanical Turk 进行的评估，证明了由人眼追踪数据指导的空间注意力确实改善了多个字幕方法的性能，并展示了该方法在 VAS 数据集和标准数据集（如 LSMDC 和 Hollywood2）中实现了领先的性能，成为最先进的视频字幕生成方法。

Jul, 2017

该论文综述了视觉注意力、眼动追踪及基于注视点的意图识别在智能机器人、电信系统和辅助机器人系统中的应用，并强调了设计这些系统时需要考虑的重要人因素问题和当前的限制。

Feb, 2023

基于眼动追踪数据的视频分析自动化是一个重要的任务。本文提出了一种基于转换器增强学习算法的模拟人类视线行为的新方法，通过观看视频并模拟人类注视行为，该方法能有效地复制人类注视行为并应用于实际任务。

Apr, 2024

本文通过将符号性知识图谱融入变换网络，提高了视频段期望动作的预测准确性，从而加快了编辑工作流程，并通过提供叙事建议来促进创造力。在 Breakfast 和 50Salads 两个基准数据集上，我们的方法在使用短视频上下文进行长期动作预测方面，超过了现有最先进方法高达 9%。

Sep, 2023

利用层次化的结构假设一系列低级别的人类行为可以从人类意图驱动，从而解决长期行动预测的任务，该模型在 EGO4D 挑战中排名第一，代码可在提供的链接中找到。

Jul, 2022

使用可变循环网络，结合视觉表示来提取目标信息，设计了一种抽象目标，用于减少人类行为预测中的不确定性，实验结果在多个数据集上达到了最新的最佳表现。

Sep, 2022

本研究致力于研究人类如何利用共享的运动副本和动作模型等非语言视觉线索阅读他人的行为意图，研究人员使用实验数据和计算模型来验证其在人机交互领域中的应用，结果表明该模型对于解读人类行为意图和实现可读性交互是可行的。

Feb, 2018

对于服务机器人来说，关键是能够尽早地察觉到接近的人有意互动，以便主动采取友好行为，从而提升用户体验。我们通过一个自监督训练的序列到序列分类器来解决这个感知任务，主要研究了在这种情况下表示人的目光的特征的益处。在一个新的数据集上进行的大量实验证明，包含目光线索显著提高了分类器的性能（AUROC 从 84.5% 增加到 91.2%），能够实现准确分类的距离从 2.4 米提高到 3.2 米。我们还量化了系统在无外部监督的情况下适应新环境的能力。定性实验证明了与服务员机器人的实际应用。

Apr, 2024