CVPRMar, 2019

深度视觉显著性模型的理解与可视化

PDF
TL;DR通过分析深度显著性模型中间层个体神经元学习的特征表示，研究表明：一些视觉区域已经预先编码在对象识别的网络的各个层中，预先训练模型 fine-tuning 以进行显著性预测会使它们偏爱某些类别，在自然图像上，深层显著性模型胜于传统模型，但在人造刺激上表现反其道而行之。
saliency modelsdeep modelsobject recognitionfine-tuninginner-representations
发现论文，激发创造
  • 深度显著性模型对视觉注意力的学习

    通过分解隐含特征为可解释的基底，提出了一种新的分析框架，用于研究深度显著性模型成功背后的隐含特征、显著性预测的原理以及其对不同应用场景中的视觉注意力的影响。

    Oct, 2023

  • Deep Gaze I: 用在 ImageNet 训练的特征图提升显著性预测

    本文介绍一种新颖的方法，通过重复使用深度神经网络的预训练模型，构建一种针对显著性预测的模型，从而有效地提高了预测准确性，并展示此网络结构可以为视觉注意机制的理解提供新的见解。

    Nov, 2014

  • 基于上下文编码器 - 解码器网络的视觉显著性预测

    该论文提出了一种基于卷积神经网络的方法，通过提取多尺度的高级视觉特征和上下文信息，结合全局场景信息，用于准确预测视觉显著性，可以适用于资源受限的应用，如（虚拟）机器人系统，从而在多个基准测试数据集上取得了有竞争力和一致的结果。

    Feb, 2019

  • 基于多尺度深度特征的视觉显著性

    本文介绍了使用卷积神经网络进行图像视觉显著性建模的方法，采用新的神经网络结构和改进的空间相关性方法，同时使用多重分割提高了性能，实验表明我们提出的方法在公共基准测试中的表现优于目前已发表的最先进技术。

    Mar, 2015

  • 基于多尺度深度 CNN 特征的视觉显著性检测

    本研究采用深度卷积神经网络来提取多尺度特征，实现了高质量的图像显著性模型，另外还结合了手工特征，取得了很好的效果，提供了一个相应的实验数据集。

    Sep, 2016

  • 一种深层多级网络用于显著性预测

    本研究提出了一种新颖的深度架构用于显著性预测，通过整合卷积神经网络的不同层级的特征图、学习高低层级特征图的权重和使用先验学习网络来优化模型，使其在目前最大的公共数据集 SALICON 上表现优异且在 MIT300 基准测试中取得竞争性结果。

    Sep, 2016

  • 深度视觉注意力预测

    通过深度学习网络结构，我们的视觉注意力网络从全局到本地不同范围内的多尺度特征中提取等级显著信息以预测人眼的视觉注视点，并在各种基准数据集上实现了最先进的性能表现。

    May, 2017

  • 抑制显著性，凸显语义：神经网络和大脑中的视觉转换

    深度学习算法在将原始视觉输入转化为强大的语义理解方面缺乏人类可解释的说明，阻碍了不同架构、训练目标和人类大脑之间的比较。本文从神经科学中汲取灵感，采用表征方法揭示神经网络在低层次（视觉显著性）和高层次（语义相似性）抽象水平上如何编码信息。此外，我们引入了一个自定义图像数据集，在其中系统性地操纵显著性和语义信息。我们发现，在使用对象分类目标进行训练时，ResNet 对显著性信息比 ViT 更敏感。我们发现网络在早期层次抑制显著性的过程，在 ResNet 中，自然语言监督（CLIP）进一步增强了这一过程。CLIP 还增强了两种架构中的语义编码。最后，我们展示了语义编码是将人工智能与人类视觉感知对齐的关键因素，而抑制显著性是一种非类脑策略。

    Apr, 2024

  • 连接显著性预测与图像质量评估之间的差距

    过去几年中，深度神经模型在图像质量评估 (IQA) 方面取得了显著进展，但由于深度神经网络的复杂性，其成功的原因仍不清楚。本文通过进行实证研究揭示了 IQA 和 Saliency Prediction 任务之间的关系，证明了前者包含了后者的知识，并引入了一个新颖的 SACID 数据集进行大规模的经典和基于神经网络的 IQA 方法比较。

    May, 2024

  • 基于标题引导的自上而下视觉显著性

    本文提出了基于标题引导的视觉显著性方法，通过训练数据隐式的学习到现代编码器解码器网络中的区域到单词的映射，而不引入显式的注意力层，从而分析各种现有模型结构，并提供更准确的显著性热图。

    Dec, 2016