Feb, 2024

TransGOP：基于 Transformer 的凝视对象预测

PDF
TL;DR该研究介绍了一种基于 Transformer 的注视对象预测方法 TransGOP，该方法利用 Transformer 进行对象检测和建立远距离注视关系，采用对象到注视的交叉注意力机制来改善注视热图回归，并通过注视框损失实现整体框架的端到端训练。实验证明 TransGOP 在目标检测、注视估计和注视对象预测的所有任务上均取得了最先进的性能。
gaze object predictiontransformer-based object detectorstransgopgaze autoencodergaze heatmap regression
发现论文，激发创造
  • 目标感知的凝视目标检测

    该研究使用基于 Transformer 的架构自动检测图像中的对象，并建立对象与注视的关联，从而实现全面的、可解释的注视分析，包括注视目标区域、注视像素点、被注视对象的类别和图像位置。该方法在各项指标上均取得了最新的成果，对于注视目标检测提高了 AUC 的达到 2.91%、注视距离减少了 50%、注视对象分类和定位平均精度提高了 11-13%，且代码可在链接中获得。

    Jul, 2023

  • 联合注视位置与注视物体检测

    该论文提出了一种高效有效的联合注视位置检测（GL-D）和注视对象检测（GO-D）方法，通过统一的单阶段流水线同时检测人类注视位置和注视对象，实现了全面端到端的联合，进一步提高准确率。

    Aug, 2023

  • GaTector：注视物体预测的统一框架

    本研究提出了一种名为 GaTector 的新型框架，它使用了一个特定 - 通用 - 特定的特征提取器，并引入了能量聚合损失和 wUoC 度量标准，以在统一的框架下解决凝视目标预测问题。实验证明，该方法在目标检测、凝视估计和凝视对象预测三个任务中都具有优异的性能。

    Dec, 2021

  • 速览注视视觉变换器

    提出一种效率更高的视觉 Transformer 模型，命名为 Glance-and-Gaze Transformer (GG-Transformer)，其通过两个并行的分支 ——Glance 和 Gaze，分别实现自适应扩张分区的自注意力机制与简单深度卷积层的局部图像上下文补偿，从而实现长距离依赖性和局部区域信息的高效建模，在多个视觉任务和基准测试中都表现出了优秀的性能。

    Jun, 2021

  • 基于 Transformer 的端到端人眼凝视目标检测

    我们提出了一种名为 HGTTR 的方法，它可以在同时检测人类头部位置和目标注视物，在全局图像背景下推导关于显著对象与人眼注视之间的关系，这种方法不仅比现有的基于两阶段方法在性能上更好，而且可以在端到端的方式下直接预测所有人的头部位置和目标注视物。

    Mar, 2022

  • Sharingan：一种基于 Transformer 的注视跟踪架构

    面部注视是人类从小培养起来的一种强大的非语言交流和社交互动方式。因此，对这种行为进行建模是一项重要任务，可以造福于从机器人学到社会学等广泛领域。本文介绍了一种基于变换器的二维注视预测架构，通过两个变种进行实验，并取得了在 GazeFollow 和 VideoAttentionTarget 数据集上的最新成果。

    Oct, 2023

  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • Gazeformer: 可扩展、有效、快速预测目标导向的人类注意力

    本文提出了一个名为 ZeroGaze 的新任务，即预测未曾搜索过的物体的视线，并开发了一种新的模型 Gazeformer，该模型在 Scanpath 预测中利用语义相似性，采用基于变压器的编码器 - 解码器架构，并在 ZeroGaze 设置中表现出明显优越性，同时在标准视觉搜索任务中比现有模型更快。

    Mar, 2023

  • 基于 Transformer 的人类注视行为在视频中的预测模型

    基于眼动追踪数据的视频分析自动化是一个重要的任务。本文提出了一种基于转换器增强学习算法的模拟人类视线行为的新方法，通过观看视频并模拟人类注视行为，该方法能有效地复制人类注视行为并应用于实际任务。

    Apr, 2024

  • GOO：零售环境中注视对象预测数据集

    介绍了一项名为 "注视物体预测" 的新任务，旨在预测人类注视的物体的边界框。为了在此任务上训练和评估注视网络，提出了一个名为 Gaze On Objects (GOO) 数据集，由一个大型的合成图像数据集 (GOO Synth) 和少量的真实图像数据集 (GOO-Real) 组成，在零标注物体的情况下，通过对目标检测技术的引入，实现了注视目标物体的预测和估计。

    May, 2021