Apr, 2024

GazeHTA: 基于头部 - 目标关联的端到端凝视目标检测

PDF
TL;DR我们提出了一种端到端的方法来检测凝视目标：预测个体和他们正在注视的目标图像区域之间的头目标连接。我们的实验结果表明，GazeHTA 在两个标准数据集上优于最先进的凝视目标检测方法和两个改进的基于扩散的基准模型。
end-to-end approachgaze target detectionmulti-personheads and targets associationdiffusion model
发现论文，激发创造
  • 基于 Transformer 的端到端人眼凝视目标检测

    我们提出了一种名为 HGTTR 的方法，它可以在同时检测人类头部位置和目标注视物，在全局图像背景下推导关于显著对象与人眼注视之间的关系，这种方法不仅比现有的基于两阶段方法在性能上更好，而且可以在端到端的方式下直接预测所有人的头部位置和目标注视物。

    Mar, 2022

  • 目标感知的凝视目标检测

    该研究使用基于 Transformer 的架构自动检测图像中的对象，并建立对象与注视的关联，从而实现全面的、可解释的注视分析，包括注视目标区域、注视像素点、被注视对象的类别和图像位置。该方法在各项指标上均取得了最新的成果，对于注视目标检测提高了 AUC 的达到 2.91%、注视距离减少了 50%、注视对象分类和定位平均精度提高了 11-13%，且代码可在链接中获得。

    Jul, 2023

  • 在视频中检测出被关注的视觉目标

    本研究解决了视频中检测注意目标的问题，通过机器学习模型和新的数据集可以有效推断动态的注视点，并在社交注视行为分类任务中取得了最佳表现。

    Mar, 2020

  • 跨领域多模态凝视目标检测

    本研究讨论了单幅图像的凝视目标检测问题，提出了使用多模态深度架构来推断场景中人物的注视位置的方法，并考虑了不同数据集之间的领域适应。

    Aug, 2022

  • 信不信由你，我们知道你在看什么！

    本文提出了一种基于人类凝视追踪思路的两阶段解决方案，集成了神经网络和数据集，有效地预测并追踪目标人物的目光方向，且经过大量实验证明，该方案相对于现有解决方案有明显优势。

    Jul, 2019

  • GaTector：注视物体预测的统一框架

    本研究提出了一种名为 GaTector 的新型框架，它使用了一个特定 - 通用 - 特定的特征提取器，并引入了能量聚合损失和 wUoC 度量标准，以在统一的框架下解决凝视目标预测问题。实验证明，该方法在目标检测、凝视估计和凝视对象预测三个任务中都具有优异的性能。

    Dec, 2021

  • Head2Head++: 深度人脸属性再定向

    利用 3D 几何和生成对抗网络设计了一种新的深度学习架构，用于实现面部和头部再现任务，通过全新的序列生成器和动态判别器网络，可以以几乎实时的速度（18 fps）以逼真和忠实的方式成功转移来自源视频的面部表情、头部姿态和眼神到目标主体中。

    Jun, 2020

  • 联合注视位置与注视物体检测

    该论文提出了一种高效有效的联合注视位置检测（GL-D）和注视对象检测（GO-D）方法，通过统一的单阶段流水线同时检测人类注视位置和注视对象，实现了全面端到端的联合，进一步提高准确率。

    Aug, 2023

  • 面向隐私敏感环境的视线目标预测模块化多模态架构

    本文提出了一种使用多模态线索，采用注意机制的模块化架构，以检测观察者线路中的障碍物并应用关注优先级，从而更好地实现识别和利用先验知识的方法，并在 GazeFollow 和 VideoAttentionTarget 公共数据集上展示了最先进的性能和隐私保护的竞争结果。

    Jul, 2023

  • 通过捕捉头部 - 面部 - 眼睛空间 - 时间交互上下文的端到端视频凝视估计

    我们提出了一种新的方法，Multi-Clue Gaze (MCGaze)，通过在头部、面部和眼睛之间捕捉空间 - 时间交互上下文，以端到端的学习方式促进视频凝视估计，从而实现头部、面部和眼睛的线索定位任务在一个步骤中解决，并通过联合优化寻求最佳性能。

    Oct, 2023