本文研究了一种基于网络的工具箱，通过 Crowdsourcing 更加便捷地采集视觉注意力数据，并比较了不同数据采集工具的使用情况。

Jan, 2020

人的凝视数据在评估重要性评分时作为一种有效的替代品，能够提供有价值的语言洞察力，并且在解释方法的排名上与人工评估的理据相媲美。

Feb, 2024

我们提出了一种新的多模态图像标注方法，称为定位叙述，将视觉和语言进行连接。通过请求标注者在将鼠标指针悬停在要描述的区域的同时用语音来描述图像，我们实现了对每个单词进行定位。该方法经过全面的分析和外部数据验证，具有高度准确性和生产效率，并且在受控图像字幕应用程序中具有实用性。

Dec, 2019

本文介绍了一种基于实时生理数据的反馈增强型注意力分配辅助系统（AAAD），该系统可优化搜索效率，并在保持决策准确性的同时，通过实验眼动数据和目标可检测性测量构建模型，进而为观察者提供概率估计并建议对图像进行下一步探索或转移到下一个图像，实验验证了该系统在监视任务中的效果。

Jan, 2017

本研究旨在通过用户点击喜欢和不喜欢的搜索结果提供反馈，以指导搜索过程，构建了新的基于时尚领域大规模数据集的点击反馈检索基准，证明了将点击反馈纳入训练可以显著提高检索质量。

Apr, 2023

利用人工智能技术研究人眼的方法及应用，通过计算机视野和青光眼诊断来收集数据，利用软件工具分析图像，通过 Tobii Pro Glasses 3 设备和虚拟现实视频来研究眼球运动和焦点，使用数学建模研究眼瞳运动的相关性，为医学中的青光眼患者评估病程和恶化，以及研究注意力机制提供了研究方法。

Apr, 2024

本文研究了如何解释开放域 QA 系统（ODQA）的预测结果，结果表明解释可以帮助用户正确决定何时接受或拒绝 ODQA 系统的答案，而最佳的解释策略则随着使用的交互方式而异。

Dec, 2020

创建了 WebQAmGaze—— 一个多语言低成本的阅读时眼动追踪数据集，旨在支持公平和透明的 NLP 模型的开发。WebQAmGaze 包括来自 332 个参与者的网络摄像头眼动跟踪数据，这些参与者以自然的方式阅读英语、西班牙语和德语文本。数据预处理后，我们发现对相关段落的注视似乎提示了对问答理解正确性的影响。此外，我们进行了数据采集的比较分析。结果显示，Webcam-ET 获取的特征与商用 ET 设备的特征之间具有中等相关性。我们认为，这些数据可以推进基于网络摄像头的阅读研究，并开辟了更便宜、更易用的数据采集途径，对学习问答背后认知的过程以及将这些见解应用到语言理解的计算模型中都有帮助。

Mar, 2023

本文介绍了一种使用视线信息作为人类关注的代理来指导视觉 - 语言模型（VLMs）的方法，提出了一种名为 Voila-A 的新方法，通过目光对齐增强了这些模型在现实应用中的可解释性和效果，实验结果表明 Voila-A 显著优于几个基准模型，为更直观、以用户为中心的 VLMs 以及广泛的人工智能人机交互铺平了道路。

Dec, 2023

本文讨论了在自然语言处理中解决不同任务时使用注视行为的方法，重点在于研究减轻运行时记录注视行为需求的方法，并提及了现有的多语言注视行为数据集，最后讨论了在教育领域中应用注视行为的方法与其可以帮助解决的问题。

Dec, 2021