一种基于 LSTM 的显著性关注模型用于预测人眼注视点

Nov, 2016

一种基于 LSTM 的显著性关注模型用于预测人眼注视点

Predicting Human Eye Fixations via an LSTM-based Saliency Attentive Model

Marcella Cornia, Lorenzo Baraldi, Giuseppe Serra, Rita Cucchiara

TL;DR提出了一种基于卷积 LSTM 的新型模型，结合神经注意机制，可预测准确的显著图，并学习一组使用高斯函数生成的先验图，这种模型在公共显著性预测数据集上表现优于现有技术，可以克服人眼注视典型的中心偏差，并且对于不同的情境展现了关键组件各自的贡献。

Abstract

data-driven saliency has recently gained a lot of attention thanks to the use of convolutional neural networks for predicting gaze fixations. In this paper we go beyond standard approaches to saliency prediction,

data-driven convolutional neural networks neural attentive mechanisms convolutional lstm gaussian functions

发现论文，激发创造

DeepFix: 一种用于预测人眼注视的全卷积神经网络

DeepFix 是一种全新的卷积神经网络，可用于准确地预测显著性图，并集成了多尺度语义和全局上下文，并通过引入 Location Biased 卷积层来解决空间不变性问题，其表现优越。

Oct, 2015

深度视觉注意力预测

通过深度学习网络结构，我们的视觉注意力网络从全局到本地不同范围内的多尺度特征中提取等级显著信息以预测人眼的视觉注视点，并在各种基准数据集上实现了最先进的性能表现。

May, 2017

重访视频显著性：一个大规模基准和一个新模型

该研究提出了一种基于注意力机制增强的 CNN-LSTM 网络架构，可用于动态视频场景下显著性学习，在 DHF1K 数据集上取得了优于其他竞争者的性能表现。

Jan, 2018

自然视频显著性预测的深度学习

通过使用新的深度学习技术，本文旨在检测自然视频中的显著区域。首先预测视频帧中的显著补丁，然后基于它们构建预测的视觉注视地图。我们展示了通过更改优化网络参数的数据选择方式，可以将计算成本节约多达 12 倍。将 RGB 值的深度学习方法扩展到具有特定性的视频以利用人类视觉系统对残留运动的敏感性。在两个公开可用数据集上进行实验，并展示了较高的准确度和 AUC 度量。

Apr, 2016

Deep Gaze I: 用在 ImageNet 训练的特征图提升显著性预测

本文介绍一种新颖的方法，通过重复使用深度神经网络的预训练模型，构建一种针对显著性预测的模型，从而有效地提高了预测准确性，并展示此网络结构可以为视觉注意机制的理解提供新的见解。

Nov, 2014

用于时空视觉注意的循环混合密度网络

本研究提出了一种基于高斯混合模型的时空注意力模型，并使用人类注视数据进行训练，相比先前的方法，该模型在影片显著性预测方面具有最先进的表现，并在动作分类准确性方面取得了改进。

Mar, 2016

端到端卷积网络用于显著性预测

本文介绍了基于数据驱动方法的卷积神经网络用于预测图像中显著性区域，并使用损失函数衡量预测结果的欧几里得距离和真实值的差距来进行学习和训练，该网络在 LSUN 2015 挑战赛中表现优秀，是一种快速准确的预测显著性区域的方法。

Jul, 2015

基于上下文编码器 - 解码器网络的视觉显著性预测

该论文提出了一种基于卷积神经网络的方法，通过提取多尺度的高级视觉特征和上下文信息，结合全局场景信息，用于准确预测视觉显著性，可以适用于资源受限的应用，如（虚拟）机器人系统，从而在多个基准测试数据集上取得了有竞争力和一致的结果。

Feb, 2019

利用基于目标运动的 CNN 和双层卷积 LSTM 预测视频显著性

本文介绍了一种基于 DNN 预测视觉显著性的方法，提出了一种基于对象到动作 CNN 的空时特征学习，实现了视频帧内显著性预测和跨帧显著性转移的 2C-LSTM 网络，并表明该方法在视频显著性预测方面领先于其他方法。

Sep, 2017

注重显著性：使用显著性和上下文注意力进行图像字幕生成

本文提出了一种基于生成循环神经网络的图像字幕方法，它可以利用一个显著性预测模型在生成字幕时集中于图像不同的部分，并通过大规模数据集上的广泛定量和定性实验证明该模型相比不带显著性和不同的最先进的显著性与字幕结合方法具有卓越的性能。

Jun, 2017