ECCVJul, 2022

无目标人类注意力

PDF
TL;DR本文提出了一种基于 FFMs 的数据驱动计算模型，用于解决人类搜索终止问题以及预测在图像中搜索不存在目标时人们的扫描路径，通过将 FFMs 集成为状态表示在逆强化学习中将其作为方法，实验结果在 COCO-Search18 数据集上提高了目标缺失搜索行为的预测水平。
human gaze behaviorcomputer vision modelssearch-termination problemfoveated feature mapsinverse reinforcement learning
发现论文，激发创造
  • 零样本目标身份推断在视觉搜索中的应用

    本文提出了 InferNet 模型来通过观察人眼的运动轨迹进行目标推断，并且证明了该模型在实验中表现优秀，甚至在没有物体特异性训练的情况下也能完成任务。

    Jul, 2018

  • 利用深度学习在中央凹区图像中学习搜索和检测物体

    研究了利用仿生学注意机制的物体识别方法，通过采用集成注意力、分类和定位的双重任务模型，利用人类注意力系统分辨图像中的感兴趣区域。

    Apr, 2023

  • 人眼注视期间视觉搜索目标的视觉解码

    研究使用深度卷积神经网络和生成式图像模型将人类注视视线信息解码成视觉目标的图像表示，结果显示出 62% 的准确率

    Jun, 2017

  • 在视频中检测出被关注的视觉目标

    本研究解决了视频中检测注意目标的问题，通过机器学习模型和新的数据集可以有效推断动态的注视点，并在社交注视行为分类任务中取得了最佳表现。

    Mar, 2020

  • Gazeformer: 可扩展、有效、快速预测目标导向的人类注意力

    本文提出了一个名为 ZeroGaze 的新任务，即预测未曾搜索过的物体的视线，并开发了一种新的模型 Gazeformer，该模型在 Scanpath 预测中利用语义相似性，采用基于变压器的编码器 - 解码器架构，并在 ZeroGaze 设置中表现出明显优越性，同时在标准视觉搜索任务中比现有模型更快。

    Mar, 2023

  • 使用逆向强化学习预测目标导向的人类注意力

    本文提出了第一个反向强化学习模型 (IRL) 模型，使用动态的上下文信念地图来学习人类视觉搜索中的内部奖励函数和策略，并且为了训练和评估我们的 IRL 模型，我们创建了 COCO-Search18 数据集，通过提取学习出的奖励地图，可以了解到目标依赖型背景的学习。

    May, 2020

  • 在开放世界场景下从注视中预测搜索目标

    本文研究了在不考虑已有固定数据的情况下，学习人类注视点以预测搜索目标的问题，并提出了一个新的方法来学习注视点与潜在目标之间的兼容性，实验证明可以对候选图像集中的正确目标进行预测。

    Feb, 2015

  • 利用计算注意力预测人类注意力

    本研究提出了人类注意力变压器（HAT），它是一种单一模型，预测两种形式的注意力控制，并通过使用一种新颖的基于转换器的架构和一种简化的凹面视网膜，实现了类似于人类动态视觉工作记忆的时空意识，同时避免了离散化固定目光。HAT 在计算注意力方面设定了新方向，并在各种注意力需求场景中更好地预测人类行为，具有广泛的适用性。

    Mar, 2023

  • 机器凝视背后：带有生物启示约束的神经网络表现出类似于人类的视觉关注

    本文提出了神经视觉注意力算法（NeVA），并利用仿生视觉约束在神经网络上实现了类人的扫描路径生成。实验结果表明，该方法在类人扫描路径相似性方面优于现有无监督的人类注意力模型，同时可灵活地研究不同任务对视觉行为的影响，并在考虑不完美的视觉条件下的实际应用中表现出明显的优势。

    Apr, 2022

  • 一种基于 LSTM 的显著性关注模型用于预测人眼注视点

    提出了一种基于卷积 LSTM 的新型模型，结合神经注意机制，可预测准确的显著图，并学习一组使用高斯函数生成的先验图，这种模型在公共显著性预测数据集上表现优于现有技术，可以克服人眼注视典型的中心偏差，并且对于不同的情境展现了关键组件各自的贡献。

    Nov, 2016