Oct, 2022

使用卷积神经网络预测视觉搜索过程中的视觉关注和干扰

PDF
TL;DR本文提出了两种方法来模拟观察者在视觉搜索过程中的视觉注意力和干扰，第一种方法使用轻量级的自由视图显著性模型来预测人眼在搜索图像像素上的注视密度地图，第二种方法基于目标对象预测干扰器和目标。
computational modelingvisual attentionvisual searchsaliency modelobject-based
发现论文，激发创造
  • 深度视觉注意力预测

    通过深度学习网络结构，我们的视觉注意力网络从全局到本地不同范围内的多尺度特征中提取等级显著信息以预测人眼的视觉注视点，并在各种基准数据集上实现了最先进的性能表现。

    May, 2017

  • 基于上下文编码器 - 解码器网络的视觉显著性预测

    该论文提出了一种基于卷积神经网络的方法，通过提取多尺度的高级视觉特征和上下文信息，结合全局场景信息，用于准确预测视觉显著性，可以适用于资源受限的应用，如（虚拟）机器人系统，从而在多个基准测试数据集上取得了有竞争力和一致的结果。

    Feb, 2019

  • 用于时空视觉注意的循环混合密度网络

    本研究提出了一种基于高斯混合模型的时空注意力模型，并使用人类注视数据进行训练，相比先前的方法，该模型在影片显著性预测方面具有最先进的表现，并在动作分类准确性方面取得了改进。

    Mar, 2016

  • 一种基于 LSTM 的显著性关注模型用于预测人眼注视点

    提出了一种基于卷积 LSTM 的新型模型，结合神经注意机制，可预测准确的显著图，并学习一组使用高斯函数生成的先验图，这种模型在公共显著性预测数据集上表现优于现有技术，可以克服人眼注视典型的中心偏差，并且对于不同的情境展现了关键组件各自的贡献。

    Nov, 2016

  • SpotNet: 自注意力多任务网络用于目标检测

    本研究旨在通过多任务学习方式训练一个网络实现视觉注意力，使用半监督学习方式生成前 / 背景分割标签，进而训练目标检测模型，利用分割地图实现自我注意机制，获得在交通监控领域两个数据集上显著的 mAP 改进，UA-DETRAC 和 UAVDT 数据集上均实现了最先进的结果。

    Feb, 2020

  • 图像字幕中的人类注意力：数据集和分析

    研究通过使用新的包含视觉图像和口头描述的数据集，比较了人类在自由观看和图像描述任务中的注意力差异以及注意力部署机制，并分析了软注意机制与人类注意力之间的相似性。最终表明人类注意力与当前的软注意机制仍存在较大差距，并且将软注意机制与视觉显著性进行集成，可以在 Flickr30k 和 MSCOCO 基准测试中显著提高模型的性能。

    Mar, 2019

  • DeepFix: 一种用于预测人眼注视的全卷积神经网络

    DeepFix 是一种全新的卷积神经网络，可用于准确地预测显著性图，并集成了多尺度语义和全局上下文，并通过引入 Location Biased 卷积层来解决空间不变性问题，其表现优越。

    Oct, 2015

  • 自然视频显著性预测的深度学习

    通过使用新的深度学习技术，本文旨在检测自然视频中的显著区域。首先预测视频帧中的显著补丁，然后基于它们构建预测的视觉注视地图。我们展示了通过更改优化网络参数的数据选择方式，可以将计算成本节约多达 12 倍。将 RGB 值的深度学习方法扩展到具有特定性的视频以利用人类视觉系统对残留运动的敏感性。在两个公开可用数据集上进行实验，并展示了较高的准确度和 AUC 度量。

    Apr, 2016

  • 视觉目标检测的注意力网络

    基于注意力机制的深度神经网络在物体检测任务中的应用

    Feb, 2017

  • 利用深度学习在中央凹区图像中学习搜索和检测物体

    研究了利用仿生学注意机制的物体识别方法，通过采用集成注意力、分类和定位的双重任务模型，利用人类注意力系统分辨图像中的感兴趣区域。

    Apr, 2023