基于人眼注视的用户嵌入学习个性化显著性预测

Mar, 2024

基于人眼注视的用户嵌入学习个性化显著性预测

Learning User Embeddings from Human Gaze for Personalised Saliency Prediction

Florian Strohm, Mihai Bâce, Andreas Bulling

TL;DR利用少量用户特定的眼动跟踪数据从自然图像和相应的显著性图中提取用户嵌入，创造了一个能够对个体用户细化通用显著性图的新方法。通过对不同用户的图像和个人显著性图对比，使用一个 Siamese 卷积神经编码器学习用户嵌入。在两个公开显著性数据集上的评估表明，产生的嵌入具有较高的区分能力，在用户和图像间具有良好的泛化能力。结论指出，基于模型编码个体用户特征的能力，我们的工作为其他能够受益于可重用的注视行为嵌入的应用提供了方向。

Abstract

Reusable embeddings of user behaviour have shown significant performance improvements for the personalised saliency prediction task. However, prior works require explicit user characteristics and preferences as input, which are often difficult to obtain. We present a novel method to ex

user embeddings saliency prediction eye tracking data convolutional neural encoder gaze behaviour

发现论文，激发创造

SalGaze: 使用视觉显著性个性化注视点估计

提出 SalGaze，一种利用视觉内容中的显著性信息，无需显式用户校准，可透明地适应用户注视估计算法的框架，能够使用与标准点校准数据不同的显式视频显著性校准数据的统一框架，优于现有方法，精度提高了 24%。

Oct, 2019

一种基于 LSTM 的显著性关注模型用于预测人眼注视点

提出了一种基于卷积 LSTM 的新型模型，结合神经注意机制，可预测准确的显著图，并学习一组使用高斯函数生成的先验图，这种模型在公共显著性预测数据集上表现优于现有技术，可以克服人眼注视典型的中心偏差，并且对于不同的情境展现了关键组件各自的贡献。

Nov, 2016

通过显著性学习的人员再识别

本篇研究提出了一种基于学习人类显著性和匹配显著性分布的人物再识别新方法，包括了临接受限制补丁匹配（adjacency constrained patch matching）、K 最近邻算法、一类支持向量机方法，以及统一的 RankSVM 框架，其在 VIPeR 数据集以及 CUHK01 数据集上表现优于其他人物再识别方法。

Dec, 2014

CUEING：一项为自动驾驶编码人类凝视的先驱工作

该论文提出了一种自适应的方法来清洗现有的人类凝视数据集，并提出了一个健壮的卷积自我注意凝视预测模型，实验证明我们的清洗方法和模型能够显著提高 ADS 性能和泛化能力。

May, 2023

利用人类注视数据监督视频字幕生成神经注意模型

本研究探讨是否可以利用人眼注视追踪信息定义注意力机制以提高视频字幕生成任务的性能，通过提出一种名为 GEAN 的视频字幕模型，并采用人眼注视追踪数据来提供生成句子的时空注意力，以及对语言相似性指标和人工智能通过 Amazon mechanical Turk 进行的评估，证明了由人眼追踪数据指导的空间注意力确实改善了多个字幕方法的性能，并展示了该方法在 VAS 数据集和标准数据集（如 LSMDC 和 Hollywood2）中实现了领先的性能，成为最先进的视频字幕生成方法。

Jul, 2017

零样本图像分类中的注视嵌入

本文提出一种依靠人类凝视作为辅助信息的零样本图像分类方法，通过数据收集范式和提取判别性描述符来构建图像和凝视的兼容性函数，实现了细粒度图像分类和比基准更优秀的零样本分类结果。

Nov, 2016

半监督对比回归用于眼球注视估计

通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

Aug, 2023

与人类视线互动的神经图像字幕生成

通过研究人类注视和深度神经网络注意力机制之间的相互作用，我们提出了一种新的注视辅助图像字幕模型，将人的注视信息集成到基于注意力的 LSTM 结构中，能够将算法选择性地分配到注视和非注视的图像区域，这种方法通过对 COCO / SALICON 数据集的评估，显示了我们方法改善了图像字幕性能，并且注视可以补充机器的注意力，提高了语义场景理解的任务。

Aug, 2016

基于外观的注视估计，使用深度神经网络增强的合成图像

使用人工神经网络建立了一个模块化系统，通过对分别裁剪的眼睛进行估计，利用人脸检测和头部姿势估计组件，无需特殊硬件或红外滤光片，仅使用内置 RGB 相机进行人眼注视估计，通过包含大量合成数据集在训练模型中，达到了比相关方法更高的准确度。

Nov, 2023

基于 Transformer 的人类注视行为在视频中的预测模型

基于眼动追踪数据的视频分析自动化是一个重要的任务。本文提出了一种基于转换器增强学习算法的模拟人类视线行为的新方法，通过观看视频并模拟人类注视行为，该方法能有效地复制人类注视行为并应用于实际任务。

Apr, 2024