人类和卷积神经网络在场景分类时是否关注相似的区域：任务和图像类型的影响

Jul, 2023

人类和卷积神经网络在场景分类时是否关注相似的区域：任务和图像类型的影响

Do humans and Convolutional Neural Networks attend to similar areas during scene classification: Effects of task and image type

PDF

Romy Müller, Marcel Duerschmidt, Julian Ullrich, Carsten Knoll, Sascha Weber...

TL;DR通过研究人类与卷积神经网络 (CNN) 的注意力图之间的相似性，揭示了人类注意力的影响因素，发现任务类型和图像特征对人类与 CNN 的相似性产生显著影响，并强调在比较人类和 CNN 的注意力时需要考虑人类因素。

Abstract

deep learning models like convolutional neural networks (CNN) are powerful image classifiers, but what factors determine whether they attend to similar image areas as humans do? While previous studies have focuse

deep learning convolutional neural networks human attention image characteristics attention maps

发现论文，激发创造

深度神经网络中人和机器关注的更多理解

通过对机器注意力机制和人类视觉注意力关系的系统研究，本文发现人类关注可以作为注意驱动任务有意义的基准，并证明更接近人工注意力机制的性能更好，同时更好的注意力对于更高级别的计算机视觉任务的可解释性也有显著提升。

Jun, 2019

人工神经网络中的被动关注机制预测人类视觉选择性

通过 79 个实验和 7,810 个实验参与者的数据研究，揭示了同人类视觉选择性估计有显著重叠的被动关注技术，指出使用引导反向传播方法探测相对简单的神经网络架构产生的输入可视化是预测共享成分的最佳选择，这些结果帮助我们通过比较不同模型在图像信息选择性方面的相似性和差异性来评估领先的神经网络模型作为人类视觉模型的生物学和心理学的有效性。

Jul, 2021

自注意力在医学图像分析中的效果研究

本文全面比较了各种最先进的自注意机制在多个医学图像分析任务中的效果，并通过定量、定性和临床用户调查，旨在深入了解自注意在医学计算机视觉任务中的影响。

Sep, 2021

视觉问答中的人类注意力：人类和深度网络是否注视相同的区域？

我们设计了多个游戏化的新颖注意力注释界面，要求对象放大模糊图像的区域以回答有关图像的问题，进而在 Visual Question Answering（VQA）中进行了大规模的人类注意力研究，引入了 VQA-HAT（Human Attention）数据库集合，将最先进的 VQA 模型生成的注释地图与人类注意力进行了定性（通过可视化）和定量（通过等级相关性）的评估，总体而言，我们的实验表明，目前 VQA 中的注意力模型似乎没有关注与人类相同的区域。

Jun, 2016

卷积神经网络或 Transformer 模型更像人类视觉？

比较了卷积神经网络和注意力网络的性能差异，使用新的指标展示了注意力网络的错误更贴近于人类，这些结果对于构建更人类化的视觉模型以及理解视觉对象识别在人类中的意义具有意义。

May, 2021

图像字幕中的人类注意力：数据集和分析

研究通过使用新的包含视觉图像和口头描述的数据集，比较了人类在自由观看和图像描述任务中的注意力差异以及注意力部署机制，并分析了软注意机制与人类注意力之间的相似性。最终表明人类注意力与当前的软注意机制仍存在较大差距，并且将软注意机制与视觉显著性进行集成，可以在 Flickr30k 和 MSCOCO 基准测试中显著提高模型的性能。

Mar, 2019

学习何时何地参加

使用人类注意力地图强化深度卷积神经网络的监控信号，并将其应用于目标识别，大幅提高了准确性并生成更接近人类观察者的可解释性更强的视觉特征。

May, 2018

当信号变弱时，深度神经网络与人类的物体识别能力的比较

本文比较了人类视觉系统和深度神经网络（DNN）在图像退化方面的泛化能力，发现人类视觉系统更加耐受于图像处理，而当信号变弱时，人类和 DNN 的分类误差模式逐渐分离，这表明在视觉识别方面，人类和 DNN 之间仍存在显著差异。

Jun, 2017

计算机视觉中的人类感知

本文研究计算机视觉、深度神经网络（DNN）、人类视觉感知和无体系结构视觉学习之间的联系，并发现 DNN 计算可用于估计感知损失，并与有趣的理论观点一致，即人类感知的特性是视觉学习无体系结构的结果。

Jan, 2017

利用类人机制削弱人脸识别卷积神经网络中预训练权重偏差的影响

卷积神经网络已被广泛应用和研究于不同领域，本研究通过迁移学习将四种经过广泛研究的卷积神经网络 (AlexNet、VGG11、VGG13 和 VGG16) 应用于情感价值分类任务，并将其性能与人类数据进行比较，结果显示这些卷积神经网络在某种程度上表现出类似于人类的表现，在基于神经科学和行为数据的注意力机制下，更新后的 FE-AlexNet 的性能优于其他测试的卷积神经网络，与人类感知紧密相似，从而更深入地揭示了这些卷积神经网络的计算机制。此研究还提供了通过人类数据更好地理解和改进卷积神经网络性能的新范式。

Oct, 2023