Aug, 2018

人类与深度神经网络的泛化能力

PDF
TL;DR通过对三种著名的深度卷积神经网络在十二种不同的图像失真下的实验对比，研究表明，与这三种人工智能算法相比，人类视觉系统在几乎所有的测试图像处理中都更加鲁棒，其误差模式渐行渐远。本文还证明了，利用失真图像直接训练的深度学习神经网络在恰当的测试条件下，表现优于人类。然而，当被分别用于测试不同类型的失真图像时，它们的泛化能力极差，无法适应噪声分布的变化，这成为深度学习视觉系统所面临的关键挑战，可用一种终身机器学习的方法进行系统化解决。
robustnessconvolutional deep neural networksobject recognitiondistorted imageslifelong machine learning
发现论文，激发创造
  • 当信号变弱时，深度神经网络与人类的物体识别能力的比较

    本文比较了人类视觉系统和深度神经网络（DNN）在图像退化方面的泛化能力，发现人类视觉系统更加耐受于图像处理，而当信号变弱时，人类和 DNN 的分类误差模式逐渐分离，这表明在视觉识别方面，人类和 DNN 之间仍存在显著差异。

    Jun, 2017

  • 人类和深度学习在视觉扭曲下识别性能的研究与比较

    在图像质量失真的影响下，深度神经网络的表现远不及人类，但两者的错误率存在着较少的相关性，表明图像的内部表现在网络和人类眼中存在差异。这些与人类视觉表现的比较有助于指导未来更具鲁棒性的深度神经网络的发展。

    May, 2017

  • 人类和机器对极端图像变换下的物体识别的鲁棒性

    该论文探讨了神经网络架构在解决视觉任务时存在的局限性，与人类学习抽象概念的策略不同。研究利用一组新的图像转换方法，对人类和网络在对象识别任务上进行了评估，发现常见网络的性能迅速下降，而人类能够以高精度识别对象。

    May, 2022

  • 物体识别健壮性的发展轨迹：儿童类似于小成年人，但不像大深度神经网络

    通过比较 146 个孩子和成年人以及深度神经网络的核心目标识别表现，发现了出人意料的鲁棒性，并且提出了与站在人类视角不同的、更需要数据的策略。

    May, 2022

  • 利用人类腹侧视觉通路提高神经网络的稳健性

    DNNs guided by neural representations from the human ventral visual stream display increasing robustness to adversarial attacks, develop more human-like decision-making patterns, and suggest new robustness solutions by emulating the human brain.

    May, 2024

  • 计算机视觉中的人类感知

    本文研究计算机视觉、深度神经网络（DNN）、人类视觉感知和无体系结构视觉学习之间的联系，并发现 DNN 计算可用于估计感知损失，并与有趣的理论观点一致，即人类感知的特性是视觉学习无体系结构的结果。

    Jan, 2017

  • 深度神经网络容易被愚弄：对不可识别图像的高置信度预测

    本研究研究了深度神经网络在计算机视觉领域上的发展，并提出了 “欺骗图像” 的概念，在模型认为是熟悉对象的情况下生成了一系列对人类难以识别的图像，揭示了计算机视觉与人类视觉之间的有趣差异。

    Dec, 2014

  • 人类存在即时泛化，而深度神经网络存在泛化滞后 —— 对表示分化的证据？

    人类和深度神经网络在图像分类领域进行了许多行为比较的最新研究。我们报告了如何在人类观察者和各种经典和最先进的深度神经网络中获取可迁移表示的详细调查结果。发现表明，就绝对分类性能而言，深度神经网络展示了与人类学习者相媲美甚至超过的数据效率水平，挑战了该领域的一些主流假设。然而，整个学习过程中的比较揭示了显著的表征差异：深度神经网络的学习过程具有明显的泛化滞后，而人类似乎立即获得可泛化的表示，无需预备性学习训练集特定信息，这些特定信息只在之后被转移到新数据上。

    Feb, 2024

  • 深度网络在不变物体识别中类似于人类前馈视觉

    研究了深度卷积神经网络在视角变化下物体识别任务中的表现，发现在视角变化较小时，浅层网络可以优于深层网络和人类表现。但是，当面临较大的视角变化时，需要更深的层次来匹配人类表现。最深的 18 层卷积神经网络在最高变化水平下优于人类表现，使用了最类人的表征。

    Aug, 2015

  • 人类在给予足够时间的情况下，以不常见的姿势识别物体时胜过深度神经网络

    深度学习与人类在几个物体识别基准上的差距正在缩小。在本文中，我们研究了在不寻常视角下观察物体的情况下这个差距。我们发现，与最先进的预训练网络（EfficientNet，SWAG，ViT，SWIN，BEiT，ConvNext）相比，人类在识别不寻常姿势的物体方面表现得更出色。值得注意的是，当我们限制图像暴露时间时，人类的表现下降到深度网络的水平，这表明当人类在不寻常姿势下识别物体时，会进行额外的心理过程（需要额外的时间）。最后，我们对人类和网络的错误模式进行分析，发现即使是时间有限的人类与前馈深度网络也有不相似之处。我们得出结论，需要更多的工作来使计算机视觉系统具备人类视觉系统的鲁棒性。了解额外的观察时间中进行的心理过程的性质可能是获得这种鲁棒性的关键。

    Feb, 2024