Sep, 2023

深度神经网络与人类之间的色彩感知差异

PDF
TL;DR深度神经网络（DNN）在图像分类和物体识别任务中的表现令人印象深刻，然而它们对于颜色知觉等人类视觉基本方面的捕捉程度仍不清楚。本研究使用新型实验评估了 DNN 颜色嵌入的感知一致性，并通过在线调查评估了这些算法如何预测人类的颜色相似性判断。我们发现最先进的 DNN 架构，包括卷积神经网络和视觉变换器，所提供的颜色相似性判断与人类得出的（i）具有受控颜色属性的图像、（ii）从在线搜索生成的图像以及（iii）来自经典 CIFAR-10 数据集的现实世界图像存在显著差异。与我们检查的所有 DNN 相比，我们的基于小波分解的可解释和基于认知的颜色知觉模型提供更一致的颜色嵌入结果，更好地预测了人类的颜色判断。这些结果适用于在使用类似 DNN 体系结构进行训练的高级视觉任务（例如图像分类与图像分割）以及检查给定 DNN 体系结构中不同层的颜色嵌入时。这些发现在分析机器学习算法的感知表示和改进其作为人类视觉的认知合理模型的努力中创新了新的领域。机器学习、人类感知和具身认知的影响正在讨论中。
发现论文，激发创造
  • 计算机视觉中的人类感知

    本文研究计算机视觉、深度神经网络（DNN）、人类视觉感知和无体系结构视觉学习之间的联系，并发现 DNN 计算可用于估计感知损失，并与有趣的理论观点一致，即人类感知的特性是视觉学习无体系结构的结果。

    Jan, 2017

  • 当信号变弱时，深度神经网络与人类的物体识别能力的比较

    本文比较了人类视觉系统和深度神经网络（DNN）在图像退化方面的泛化能力，发现人类视觉系统更加耐受于图像处理，而当信号变弱时，人类和 DNN 的分类误差模式逐渐分离，这表明在视觉识别方面，人类和 DNN 之间仍存在显著差异。

    Jun, 2017

  • 人类与深度神经网络的泛化能力

    通过对三种著名的深度卷积神经网络在十二种不同的图像失真下的实验对比，研究表明，与这三种人工智能算法相比，人类视觉系统在几乎所有的测试图像处理中都更加鲁棒，其误差模式渐行渐远。本文还证明了，利用失真图像直接训练的深度学习神经网络在恰当的测试条件下，表现优于人类。然而，当被分别用于测试不同类型的失真图像时，它们的泛化能力极差，无法适应噪声分布的变化，这成为深度学习视觉系统所面临的关键挑战，可用一种终身机器学习的方法进行系统化解决。

    Aug, 2018

  • 人类和深度学习在视觉扭曲下识别性能的研究与比较

    在图像质量失真的影响下，深度神经网络的表现远不及人类，但两者的错误率存在着较少的相关性，表明图像的内部表现在网络和人类眼中存在差异。这些与人类视觉表现的比较有助于指导未来更具鲁棒性的深度神经网络的发展。

    May, 2017

  • 深度神经网络能否充当人类视觉感知的行为模型？

    本文回顾了当前深度神经网络在作为人类核心物体识别合适的行为模型方面存在的证据，并指出深度神经网络作为计算模型的质量是一个多维概念，需要在建模目标方面达成明确的理解与共识。本文通过分析大量的人类感知和深度神经网络核心物体识别能力的心理物理和计算机探究，得出深度神经网络作为科学工具的价值性，同时认为深度神经网络目前只是作为人类核心物体识别行为的有前途但尚不充分的计算模型。在此过程中，我们驳斥了一些关于深度神经网络在视觉科学中存在的神话。

    May, 2023

  • 将深度网络特征应用于捕捉心理表征

    使用深度神经网络进行物体分类，可以占人类相似性判断的重要部分，但不能捕捉到人类表现中的一些关键性质。我们开发了一种方法，将深层特征与人类相似性判断对齐，以获取可用于扩展心理实验范围的图像表示。

    Aug, 2016

  • 深度神经网络与人类表征对齐的基本维度

    确定人类和人工智能之间的相似性和差异是机器学习和认知神经科学的重要目标。通过借鉴认知科学的最新发展，我们提出了一个通用框架，可在人类和深度神经网络 (DNN) 中产生可比较的表示。将此框架应用于人类和自然图像的 DNN 模型，揭示了一个低维度的 DNN 嵌入，包括视觉和语义维度。与人类不同，DNN 显示出视觉特征明显优于语义特征的优势，表明表示图像的策略存在分歧。尽管在硅中的实验显示 DNN 维度具有似乎一致的可解释性，但人类和 DNN 表示之间的直接比较表明它们在处理图像时存在重大差异。通过使表示直接可比较，我们的结果揭示了表示对齐的重要挑战，为提高它们的可比性提供了一种方法。

    Jun, 2024

  • 人类存在即时泛化，而深度神经网络存在泛化滞后 —— 对表示分化的证据？

    人类和深度神经网络在图像分类领域进行了许多行为比较的最新研究。我们报告了如何在人类观察者和各种经典和最先进的深度神经网络中获取可迁移表示的详细调查结果。发现表明，就绝对分类性能而言，深度神经网络展示了与人类学习者相媲美甚至超过的数据效率水平，挑战了该领域的一些主流假设。然而，整个学习过程中的比较揭示了显著的表征差异：深度神经网络的学习过程具有明显的泛化滞后，而人类似乎立即获得可泛化的表示，无需预备性学习训练集特定信息，这些特定信息只在之后被转移到新数据上。

    Feb, 2024

  • 深度神经网络物体识别策略与人类的协调

    研究发现，尽管深度神经网络（DNNs）的成功主要是由于计算规模，而不是基于生物智能的洞见，但是随着精度的提高，DNNs 与人类视觉策略的一致性逐渐降低，但是神经谐振器的出现可以使 DNNs 与人类的视觉策略相一致并提高分类精度。

    Nov, 2022

  • 深度网络在不变物体识别中类似于人类前馈视觉

    研究了深度卷积神经网络在视角变化下物体识别任务中的表现，发现在视角变化较小时，浅层网络可以优于深层网络和人类表现。但是，当面临较大的视角变化时，需要更深的层次来匹配人类表现。最深的 18 层卷积神经网络在最高变化水平下优于人类表现，使用了最类人的表征。

    Aug, 2015