本研究探讨是否可以利用人眼注视追踪信息定义注意力机制以提高视频字幕生成任务的性能，通过提出一种名为 GEAN 的视频字幕模型，并采用人眼注视追踪数据来提供生成句子的时空注意力，以及对语言相似性指标和人工智能通过 Amazon mechanical Turk 进行的评估，证明了由人眼追踪数据指导的空间注意力确实改善了多个字幕方法的性能，并展示了该方法在 VAS 数据集和标准数据集（如 LSMDC 和 Hollywood2）中实现了领先的性能，成为最先进的视频字幕生成方法。

Jul, 2017

面部注视是人类从小培养起来的一种强大的非语言交流和社交互动方式。因此，对这种行为进行建模是一项重要任务，可以造福于从机器人学到社会学等广泛领域。本文介绍了一种基于变换器的二维注视预测架构，通过两个变种进行实验，并取得了在 GazeFollow 和 VideoAttentionTarget 数据集上的最新成果。

Oct, 2023

本文提出了一个名为 ZeroGaze 的新任务，即预测未曾搜索过的物体的视线，并开发了一种新的模型 Gazeformer，该模型在 Scanpath 预测中利用语义相似性，采用基于变压器的编码器 - 解码器架构，并在 ZeroGaze 设置中表现出明显优越性，同时在标准视觉搜索任务中比现有模型更快。

Mar, 2023

该论文提出了一种自适应的方法来清洗现有的人类凝视数据集，并提出了一个健壮的卷积自我注意凝视预测模型，实验证明我们的清洗方法和模型能够显著提高 ADS 性能和泛化能力。

May, 2023

使用人工神经网络建立了一个模块化系统，通过对分别裁剪的眼睛进行估计，利用人脸检测和头部姿势估计组件，无需特殊硬件或红外滤光片，仅使用内置 RGB 相机进行人眼注视估计，通过包含大量合成数据集在训练模型中，达到了比相关方法更高的准确度。

Nov, 2023

基于 Vision Transformers 和自注意力机制，我们提出了一种新的单模态注视跟踪框架 ViTGaze，通过人 - 场景间的信息交互提高了性能，达到了最先进的性能水平。

Mar, 2024

通过使用基于 Transformer 的模型结合了时空注意机制，我们研究了影响视频记忆性的语义和时间注意机制，并对一个大型自然主义视频数据集上的视频记忆性预测任务表现进行了比较。结果显示模型的注意力与人类凝视的密度图表现出相似的模式，并且模型和人类对于物体类别的关注度与记忆性得分有关。此外，该模型模仿了人类在时间上的注意力，对于初始帧更加重视。

Nov, 2023

通过将人类凝视引入计算算法，我们提出了一种基于视觉 - 语义图的 “凝视引导行为预测” 算法，利用图神经网络识别行为者的意图并预测行为序列以达到该意图，并通过收集包含人类凝视数据的 VirtualHome 环境中生成的家庭活动数据集，在 18 类意图识别的准确性上实现了 7% 的改进，凸显了我们方法从人类凝视数据中学习重要特征的效果。

Apr, 2024

通过模仿学习实现基于视觉的自动驾驶，将人类驾驶员的行为模仿训练在原始驾驶员视野图像和行动数据对上，同时将眼睛的关注点信息与深度神经网络集成，以提高网络对新环境的泛化性能。

Jul, 2019

通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

Aug, 2023