Jul, 2021

人工神经网络中的被动关注机制预测人类视觉选择性

PDF
TL;DR通过 79 个实验和 7,810 个实验参与者的数据研究，揭示了同人类视觉选择性估计有显著重叠的被动关注技术，指出使用引导反向传播方法探测相对简单的神经网络架构产生的输入可视化是预测共享成分的最佳选择，这些结果帮助我们通过比较不同模型在图像信息选择性方面的相似性和差异性来评估领先的神经网络模型作为人类视觉模型的生物学和心理学的有效性。
machine learningneural networksattention techniqueshuman visual selectivityguided backpropagation
发现论文，激发创造
  • 深度神经网络中人和机器关注的更多理解

    通过对机器注意力机制和人类视觉注意力关系的系统研究，本文发现人类关注可以作为注意驱动任务有意义的基准，并证明更接近人工注意力机制的性能更好，同时更好的注意力对于更高级别的计算机视觉任务的可解释性也有显著提升。

    Jun, 2019

  • 人类和卷积神经网络在场景分类时是否关注相似的区域：任务和图像类型的影响

    通过研究人类与卷积神经网络 (CNN) 的注意力图之间的相似性，揭示了人类注意力的影响因素，发现任务类型和图像特征对人类与 CNN 的相似性产生显著影响，并强调在比较人类和 CNN 的注意力时需要考虑人类因素。

    Jul, 2023

  • 机器凝视背后：带有生物启示约束的神经网络表现出类似于人类的视觉关注

    本文提出了神经视觉注意力算法（NeVA），并利用仿生视觉约束在神经网络上实现了类人的扫描路径生成。实验结果表明，该方法在类人扫描路径相似性方面优于现有无监督的人类注意力模型，同时可灵活地研究不同任务对视觉行为的影响，并在考虑不完美的视觉条件下的实际应用中表现出明显的优势。

    Apr, 2022

  • 视觉问答中的人类注意力：人类和深度网络是否注视相同的区域？

    我们设计了多个游戏化的新颖注意力注释界面，要求对象放大模糊图像的区域以回答有关图像的问题，进而在 Visual Question Answering（VQA）中进行了大规模的人类注意力研究，引入了 VQA-HAT（Human Attention）数据库集合，将最先进的 VQA 模型生成的注释地图与人类注意力进行了定性（通过可视化）和定量（通过等级相关性）的评估，总体而言，我们的实验表明，目前 VQA 中的注意力模型似乎没有关注与人类相同的区域。

    Jun, 2016

  • 行动之前起身：利用人类的视觉注意力进行持续学习

    本文介绍了在 DeepMind Lab 的三维迷宫中，通过训练代理使用原始图像以及与基于实时谱残差技术生成的显著性地图相叠加的凝视图像，探索利用人类注意力聚焦来进行决策的有效性，并研究了在环境噪声下的迁移学习表现。

    Jul, 2018

  • 在神经网络内建模潜在注意力

    本研究提出了一种可解释的方法，能够可视化神经网络中的内在机制和其对输出的影响，从而提高了深度神经网络的可解释性和决策过程，研究的主要贡献是提出了一种数据集中心的算法，适用于多个领域的深度神经网络结构。

    Jun, 2017

  • 深度视觉注意力预测

    通过深度学习网络结构，我们的视觉注意力网络从全局到本地不同范围内的多尺度特征中提取等级显著信息以预测人眼的视觉注视点，并在各种基准数据集上实现了最先进的性能表现。

    May, 2017

  • 学习何时何地参加

    使用人类注意力地图强化深度卷积神经网络的监控信号，并将其应用于目标识别，大幅提高了准确性并生成更接近人类观察者的可解释性更强的视觉特征。

    May, 2018

  • 视觉属性预测的渐进式注意力网络

    该研究提出了一种新的注意力模型，可以通过多层卷积神经网络的渐进式注意力过程精确地关注各种规模和形状的图像目标。实验证明，与传统的注意力方法相比，在视觉属性预测任务中，所提出的注意力网络效果更好。

    Jun, 2016

  • 深度学习中神经注意力模型调查

    该综述旨在提供一种全面的神经注意力模型开发和应用的现状和趋势的分析，系统回顾了数百种注意力模型的体系结构和应用，特别关注于卷积网络、循环网络和生成模型，描述了其在不同应用领域和神经网络可解释性上的影响。

    Mar, 2021