Apr, 2024

EyeFormer：使用 Transformer 引导的强化学习预测个性化扫描路径

PDF
TL;DR通过使用 Transformer 模型和深度强化学习算法，我们提出了 EyeFormer 模型，可以预测个体用户的视觉扫描路径，并在图形用户界面布局优化等方面有广泛应用。
visual perceptiongraphical user interfacesscanpath modeleyeformergui layout optimization
发现论文，激发创造
  • Gazeformer: 可扩展、有效、快速预测目标导向的人类注意力

    本文提出了一个名为 ZeroGaze 的新任务，即预测未曾搜索过的物体的视线，并开发了一种新的模型 Gazeformer，该模型在 Scanpath 预测中利用语义相似性，采用基于变压器的编码器 - 解码器架构，并在 ZeroGaze 设置中表现出明显优越性，同时在标准视觉搜索任务中比现有模型更快。

    Mar, 2023

  • 基于 Transformer 的人类注视行为在视频中的预测模型

    基于眼动追踪数据的视频分析自动化是一个重要的任务。本文提出了一种基于转换器增强学习算法的模拟人类视线行为的新方法，通过观看视频并模拟人类注视行为，该方法能有效地复制人类注视行为并应用于实际任务。

    Apr, 2024

  • Sharingan：一种基于 Transformer 的注视跟踪架构

    面部注视是人类从小培养起来的一种强大的非语言交流和社交互动方式。因此，对这种行为进行建模是一项重要任务，可以造福于从机器人学到社会学等广泛领域。本文介绍了一种基于变换器的二维注视预测架构，通过两个变种进行实验，并取得了在 GazeFollow 和 VideoAttentionTarget 数据集上的最新成果。

    Oct, 2023

  • 统一动态扫视路径预测器优于单独训练模型

    通过深度学习的社交线索整合模型，我们开发了一个视频中注视预测的模型，通过递归地整合注视历史和社交线索来学习注视路径，以填补以往只关注群体模型而忽视了个体差异的研究空白。我们观察到这种单一统一的模型通过整合普遍关注和个体化注意力行为的方式在注视数据集上表现出色，优于个别训练的模型。

    May, 2024

  • GSGFormer: 多模态行人轨迹生成式社交图变换

    GSGFormer 是一个创新的生成模型，能够考虑复杂的相互作用并提供大量潜在的行为模式来预测行人的轨迹。通过采用异构图神经网络捕捉行人、语义地图和潜在目的地之间的相互作用，以及使用 Transformer 模块提取时间特征和采用 CVAE-Residual-GMM 模块生成多样的行为模态，GSGFormer 在多个公共数据集上的评估中不仅超过了领先方法的表现（在数据充足时），而且在数据有限时仍具有竞争力。

    Dec, 2023

  • 为改善 NLP 表现合成人类凝视反馈

    本文提出了一种基于 ScanTextGAN 的人类注视路径生成模型，通过集成生成的注视路径数据来提高自然语言处理领域中多个任务的性能表现。

    Feb, 2023

  • 使用逆向强化学习预测目标导向的人类注意力

    本文提出了第一个反向强化学习模型 (IRL) 模型，使用动态的上下文信念地图来学习人类视觉搜索中的内部奖励函数和策略，并且为了训练和评估我们的 IRL 模型，我们创建了 COCO-Search18 数据集，通过提取学习出的奖励地图，可以了解到目标依赖型背景的学习。

    May, 2020

  • 利用合成扫视路径增强的预训练语言模型用于自然语言理解

    整合了合成扫视路径生成和扫视路径增强的语言模型，消除了对人类注视数据的需求，并具有与真实数据增强的语言模型相媲美的性能。

    Oct, 2023

  • 扫视路径模型中设计决策的影响

    模拟视觉显著性在图形用户界面（GUI）中，有助于理解人们如何感知 GUI 设计以及吸引他们注意力的元素。我们系统地分析了不同设计参数对扫描路径评估指标的影响，使用了最先进的计算模型（DeepGaze++）。我们特别关注三个设计参数：输入图像大小、回溯抑制衰减和遮罩半径。我们展示了即使是这些设计参数的微小变化，也会对标准评估指标如 DTW 或 Eyenalysis 产生显著影响。这些影响也出现在其他扫描路径模型，如 UMSS 和 ScanGAN 中，以及其他数据集，如 MASSVIS 中。综上所述，我们的结果强调了对预测用户在 GUI 上的视觉行为的设计决策的影响。

    May, 2024

  • 超越平均：个体化视觉扫视路径预测

    通过个体化的扫视预测方法，本研究旨在准确预测不同个体在多样化的视觉任务中如何转移注意力，以弥补现有的视觉扫视模型忽视个体差异的不足。通过提出一个包含三个创新技术部分的个体化扫视预测方法，即观察者编码器、以观察者为中心的特征整合方法以及自适应注视优先机制，我们的方法能够有效处理不同观察者之间的注意力变化，成为将一般的扫视模型转变为个体化模型的综合工具。以基于价值和基于排名的指标进行的综合评估验证了方法的有效性和普适性。

    Apr, 2024