Atari-HEAD: Atari 人眼跟踪与演示数据集

Mar, 2019

Atari-HEAD: Atari 人眼跟踪与演示数据集

Atari-HEAD: Atari Human Eye-Tracking and Demonstration Dataset

Ruohan Zhang, Calen Walshe, Zhuode Liu, Lin Guan, Karl S. Muller...

TL;DR收集了 20 种不同 Atari 视频游戏中 117 小时的人类行为与眼动同时记录的大规模高质量数据集，引入了一种新形式的游戏玩法，演示了预测人类注视和模仿人类表现动作的应用，并证明指导学习中加入人类注视行为可以提高游戏性能，这凸显了在决策制定过程中加入人类视觉注意力的重要性与本数据集对视觉注意力、模仿学习和强化学习研究领域的价值。

Abstract

large-scale public datasets have been shown to benefit research in multiple areas of modern artificial intelligence. For decision-making research that requires human data, high-quality datasets serve as important benchmarks to facilitate the development of new methods by providing a co

large-scale public datasets human decision-making eye movements atari video games imitation learning

发现论文，激发创造

眼中的行为：动态注视数据集和学习显著性模型用于视觉识别

本研究使用人眼追踪数据结合计算机视觉，探究了视觉搜索模式的稳定性、计算机视觉的空间 - 时间兴趣点采样策略与人类注视策略之间的差异，证明人类注视可以被准确预测，且在使用先进计算机视觉实践建立端到端可训练的计算机视觉系统时表现优良。

Dec, 2013

CUEING：一项为自动驾驶编码人类凝视的先驱工作

该论文提出了一种自适应的方法来清洗现有的人类凝视数据集，并提出了一个健壮的卷积自我注意凝视预测模型，实验证明我们的清洗方法和模型能够显著提高 ADS 性能和泛化能力。

May, 2023

基于视频的端到端眼动追踪技术

提出了一种利用视频数据集和图像相结合的方法，通过学习用户注视与眼部外形之间的联系来提高眼动追踪的精度，实现基于网络摄像头的高准确度屏幕眼动追踪，不需要标记的数据并且通过视觉刺激和眼部图像信息融合可以达到监督式个性化的效果。

Jul, 2020

Atari 大挑战数据集

本文提出了一种减少数据使用量的方法，即利用人类示范数据对强化学习模型进行训练，在此基础上，作者基于 Atari 2600 回放数据集，发现示范数据的质量和模型的模仿学习性能之间有着密切关联，为进一步拓展该方法提供了研究方向。

May, 2017

基于 Transformer 的人类注视行为在视频中的预测模型

基于眼动追踪数据的视频分析自动化是一个重要的任务。本文提出了一种基于转换器增强学习算法的模拟人类视线行为的新方法，通过观看视频并模拟人类注视行为，该方法能有效地复制人类注视行为并应用于实际任务。

Apr, 2024

AGIL: 从人类中学习视觉 - 动作任务的注意力

本文提出了 AGIL（Attention Guided Imitation Learning）框架，该框架使用深度神经网络学习人类注意力模型，以改善智能决策和任务性能。

Jun, 2018

观者视角下的注视和行为：第一人称视频

该研究旨在使用头戴式相机捕获的视频，基于人的动作和视线方向，开发一种新的深度学习模型，能够在 First Person Vision（第一人称视角）环境下进行准确的行动识别，并在 EGTEA Gaze+ 数据集上超越了当前技术水平。

May, 2020

高度动态决策任务中的潜在注视信息

本文阐述在当前数字化和逐渐普及的人工智能技术下，眼动技术在领域专家识别、不同领域的知识迁移以及混乱的时间检测等方面发挥了重要作用，并建立了数字诊断模型以及可能的数字助理培训选择。

Feb, 2022

使用人工智能方法研究视觉分析器

利用人工智能技术研究人眼的方法及应用，通过计算机视野和青光眼诊断来收集数据，利用软件工具分析图像，通过 Tobii Pro Glasses 3 设备和虚拟现实视频来研究眼球运动和焦点，使用数学建模研究眼瞳运动的相关性，为医学中的青光眼患者评估病程和恶化，以及研究注意力机制提供了研究方法。

Apr, 2024

利用人类注视数据监督视频字幕生成神经注意模型

本研究探讨是否可以利用人眼注视追踪信息定义注意力机制以提高视频字幕生成任务的性能，通过提出一种名为 GEAN 的视频字幕模型，并采用人眼注视追踪数据来提供生成句子的时空注意力，以及对语言相似性指标和人工智能通过 Amazon mechanical Turk 进行的评估，证明了由人眼追踪数据指导的空间注意力确实改善了多个字幕方法的性能，并展示了该方法在 VAS 数据集和标准数据集（如 LSMDC 和 Hollywood2）中实现了领先的性能，成为最先进的视频字幕生成方法。

Jul, 2017