CVPRJul, 2023

面向隐私敏感环境的视线目标预测模块化多模态架构

PDF
TL;DR本文提出了一种使用多模态线索，采用注意机制的模块化架构，以检测观察者线路中的障碍物并应用关注优先级，从而更好地实现识别和利用先验知识的方法，并在 GazeFollow 和 VideoAttentionTarget 公共数据集上展示了最先进的性能和隐私保护的竞争结果。
gaze prediction3d scene structuremultimodal cuesattention mechanismprivacy protection
发现论文，激发创造
  • 跨领域多模态凝视目标检测

    本研究讨论了单幅图像的凝视目标检测问题，提出了使用多模态深度架构来推断场景中人物的注视位置的方法，并考虑了不同数据集之间的领域适应。

    Aug, 2022

  • 在视频中检测出被关注的视觉目标

    本研究解决了视频中检测注意目标的问题，通过机器学习模型和新的数据集可以有效推断动态的注视点，并在社交注视行为分类任务中取得了最佳表现。

    Mar, 2020

  • 多人时间性目光跟踪和社交目光预测的新框架

    本文介绍了一种新的框架，用于联合预测场景中所有人的凝视目标和社交凝视标签，通过使用包含图像特征和个体的凝视信息的时间变换器，以及一个新的数据集 VSGaze，该模型在 VSGaze 上的训练取得了多人凝视跟踪和社交凝视预测的最新成果。

    Mar, 2024

  • 多模态感知驱动的三维人体动作预测

    未来人体姿势预测是机器智能的基本应用，本研究引入了一种新的多模态感知驱动的运动预测方法，通过结合外部 3D 场景和内部人类凝视信息来实现高保真度的生成，同时考虑人的意图和场景的语义连贯性，该方法在 3D 人体姿势和轨迹预测上取得了最先进的性能。

    May, 2024

  • Sharingan：一种基于 Transformer 的注视跟踪架构

    面部注视是人类从小培养起来的一种强大的非语言交流和社交互动方式。因此，对这种行为进行建模是一项重要任务，可以造福于从机器人学到社会学等广泛领域。本文介绍了一种基于变换器的二维注视预测架构，通过两个变种进行实验，并取得了在 GazeFollow 和 VideoAttentionTarget 数据集上的最新成果。

    Oct, 2023

  • ViTGaze：视觉 Transformer 中的交互特征目光追踪

    基于 Vision Transformers 和自注意力机制，我们提出了一种新的单模态注视跟踪框架 ViTGaze，通过人 - 场景间的信息交互提高了性能，达到了最先进的性能水平。

    Mar, 2024

  • 目标感知的凝视目标检测

    该研究使用基于 Transformer 的架构自动检测图像中的对象，并建立对象与注视的关联，从而实现全面的、可解释的注视分析，包括注视目标区域、注视像素点、被注视对象的类别和图像位置。该方法在各项指标上均取得了最新的成果，对于注视目标检测提高了 AUC 的达到 2.91%、注视距离减少了 50%、注视对象分类和定位平均精度提高了 11-13%，且代码可在链接中获得。

    Jul, 2023

  • 信不信由你，我们知道你在看什么！

    本文提出了一种基于人类凝视追踪思路的两阶段解决方案，集成了神经网络和数据集，有效地预测并追踪目标人物的目光方向，且经过大量实验证明，该方案相对于现有解决方案有明显优势。

    Jul, 2019

  • 基于目标驱动的自注意力循环神经网络的轨迹预测

    研究人类运动轨迹预测，提出基于注意力机制的轻量级循环模型并结合基于场景感知的目标估计模块，应用于公共数据集，能够在保证预测准确性的前提下，减少模型复杂度。

    Apr, 2022

  • Gazeformer: 可扩展、有效、快速预测目标导向的人类注意力

    本文提出了一个名为 ZeroGaze 的新任务，即预测未曾搜索过的物体的视线，并开发了一种新的模型 Gazeformer，该模型在 Scanpath 预测中利用语义相似性，采用基于变压器的编码器 - 解码器架构，并在 ZeroGaze 设置中表现出明显优越性，同时在标准视觉搜索任务中比现有模型更快。

    Mar, 2023