本研究探讨是否可以利用人眼注视追踪信息定义注意力机制以提高视频字幕生成任务的性能，通过提出一种名为 GEAN 的视频字幕模型，并采用人眼注视追踪数据来提供生成句子的时空注意力，以及对语言相似性指标和人工智能通过 Amazon mechanical Turk 进行的评估，证明了由人眼追踪数据指导的空间注意力确实改善了多个字幕方法的性能，并展示了该方法在 VAS 数据集和标准数据集（如 LSMDC 和 Hollywood2）中实现了领先的性能，成为最先进的视频字幕生成方法。

Jul, 2017

利用视觉运动机制中的 Saccade 机制，结合注意力驱动的视觉处理方法来实现深度学习神经网络分类和目标检测问题的智能数据压缩，实验在 ResNet-18，ViT，DETR 和 TransTrack 模型上进行，结果显示了该方法具有不错的性能表现。

Jun, 2022

本文提出了基于视觉关注的两种事件视觉注意力模型，一种通过跟踪视野内的事件活动来定位关注区域，另一种基于 DRAW 神经模型和全微分注意力程序，使用 Phased LSTM 识别网络作为基线参考模型并在四个数据集上进行验证，获得了在平移和尺度不变性方面的提升。

Jul, 2018

本文利用同时测量的脑电图 (EEG) 和眼动数据集，提出了一种可解释的基于关注机制的深度学习框架用于估计眼球注视方向，通过对结果的分析可见该方法在准确性和鲁棒性方面优于现有方法，并提供了解释和强调注意力机制在 EEG 数据分析中提高效率和有效性的潜力。

Aug, 2023

通过收集 GW 数据集（该数据集包括眼部运动、头部角速度、眼睛和场景图像），训练和评估了两种机器学习算法（随机森林和递归神经网络模型），用于眼睛运动分类（如注视、眼球、追踪）。分类器实现了近似于人类检测注视和眼球运动的 90％的性能，但在检测追踪运动时则低于 60％，并且追踪分类在没有头部运动信息的情况下更低。最佳模型对特征的显着性分析显示，分类不需要头部和眼睛跟踪坐标系的空间对齐。

May, 2019

本文提出了一种使用眼动模式进行生物识别的新框架，利用 fixations 和 saccades 提取特征，并使用 Gaussian Radial Basis Function Network 用于生物认证。使用文本阅读和屏幕上的随机点跟随等两种视觉刺激进行了测试，结果表明眼动模式是一种强大的生物证明模式，该算法已经在 BioEye 2015 数据库上进行了验证，并发现胜过其他所有方法。结合虹膜识别技术使用眼动动力学可能会导致一个牢固的防伪人员身份识别系统。

Jan, 2016

通过研究人类注视和深度神经网络注意力机制之间的相互作用，我们提出了一种新的注视辅助图像字幕模型，将人的注视信息集成到基于注意力的 LSTM 结构中，能够将算法选择性地分配到注视和非注视的图像区域，这种方法通过对 COCO / SALICON 数据集的评估，显示了我们方法改善了图像字幕性能，并且注视可以补充机器的注意力，提高了语义场景理解的任务。

Aug, 2016

本研究使用人眼追踪数据结合计算机视觉，探究了视觉搜索模式的稳定性、计算机视觉的空间 - 时间兴趣点采样策略与人类注视策略之间的差异，证明人类注视可以被准确预测，且在使用先进计算机视觉实践建立端到端可训练的计算机视觉系统时表现优良。

Dec, 2013

通过使用基于 Transformer 的模型结合了时空注意机制，我们研究了影响视频记忆性的语义和时间注意机制，并对一个大型自然主义视频数据集上的视频记忆性预测任务表现进行了比较。结果显示模型的注意力与人类凝视的密度图表现出相似的模式，并且模型和人类对于物体类别的关注度与记忆性得分有关。此外，该模型模仿了人类在时间上的注意力，对于初始帧更加重视。

Nov, 2023

本文基于卷积神经网络提出了一个新的注视序列比较方法，通过图像分析来探索医学专家和新手在阅读牙齿放射图时眼动行为的差异，结果表明在任务语义影响下，该方法在能够准确区分专家和新手方面表现出较好性能，并且具有将任务语义与眼动行为结合在一起的潜力。

Mar, 2020