Mar, 2018

评估卷积神经网络的形状偏差特性

PDF
TL;DR本文探讨了卷积神经网络的形状偏差属性，通过使用将亮度反转的负图像等度量方法评估 CNNs 的形状偏差属性，进行大规模实验并研究了不同因素，如训练数据、模型架构、初始化和规则化技术，对 CNNs 形状偏差属性的作用。结果表明，CNNs 不会固有地表现出形状偏差，但是适当初始化模型或适当增强数据和使用批归一化技术，可以使 CNNs 学习和推广结构。
shape biasconvolutional neural networksmetricsystematic experimentsbatch normalization
发现论文，激发创造
  • ImageNet 训练的 CNN 偏向于纹理；增加形状偏差可以提高准确性和鲁棒性

    这篇文章通过对卷积神经网络（CNNs）和人类观察者在具有纹理 - 形状线索冲突的图像上进行实验，揭示了 CNN 在识别物体时更倾向于识别纹理而非形状的基本不同分类策略，同时表明将 CNN 在 Stylized-ImageNet 数据集上训练可以学习到形状为基础的表示，可以更好地拟合人类行为表现，同时具有提高物体检测性能和对各种图像扭曲的鲁棒性的优点。

    Nov, 2018

  • 增强的形状偏差能否提高神经网络对常见污染的鲁棒性？

    通过对自然图像进行样式和边缘特征的处理，对卷积神经网络进行数据增强可以减少纹理偏差并增加形状偏差，从而提高其鲁棒性。

    Apr, 2021

  • 形状还是纹理：理解卷积神经网络中的辨别特征

    本研究通过设计一系列实验，发现卷积神经网络中大部分的形状信息在训练的前几个阶段就已经学习，这些信息主要由 CNN 的最后几层进行编码。此外，本文还表明形状的编码并不意味着编码的是局部像素语义信息。

    Jan, 2021

  • 卷积神经网络中的纹理偏差起源和普及程度

    通过数据增广和改变训练集数据的方式，可以减弱 CNN 网络中很常见的纹理偏见，并且提高非常规测试集上的表现。

    Nov, 2019

  • 机器对形状与纹理的偏好：发育启发视角的探讨

    该文使用类似于发育阶段的范式，检测了预训练神经网络在识别形状和纹理时的归纳偏好。实验结果表明，这些神经网络更倾向于基于形状而非纹理进行分类。

    Feb, 2022

  • 卷积神经网络在语义分割任务中很少学习形状信息

    通过一系列实验，发现在典型的设置下 CNN 并不会学习物体的形状，而是依赖其他特征，但只有在形状是识别物体的唯一特征时，CNN 才能学习形状。此外，适当的感受野大小相对于目标物体的大小和有限的扩充能够鼓励形状学习，并且在存在超出分布的数据时，学习形状是确实有用的。

    May, 2023

  • 卷积神经网络中通过激活稀疏性出现的形状偏差

    稀疏编码通过非可微的 Top-K 操作实施了对网络的结构编码，使得卷积神经网络中的神经元能够对物体进行部分和亚部分的平滑分解，并赋予网络形状偏差。

    Oct, 2023

  • 深度神经网络的认知心理学：基于形状偏差案例研究

    本文提出利用认知心理学的问题描述、理论和实验方法来解决现代深度神经网络的可解释性问题，并将发展心理学中关于儿童如何学习物体名称的分析应用到 DNN 模型中。发现在 ImageNet 分类任务上，表现良好的一次性学习模型也存在类似人类倾向于按照形状而非颜色对物体进行分类的偏向，并证明了认知心理学工具揭示 DNNs 的隐藏计算属性的能力。

    Jun, 2017

  • 基于震荡图嵌入的形状偏向域通用化

    该论文研究表明，图像卷积神经网络的不足与纹理偏差有关，而相对缺乏形状偏差则导致了域通用性的不良表现。通过使用经典的计算机视觉方法，即使用轮廓图的震荡图表示图像的轮廓内容，来显式和完整地表示图像形状，进而使用最近的图神经网络方法进行分类，实验结果表明即使不使用外观，基于形状的方法在域泛化方面超过了基于经典的图像 CNN 方法。

    Sep, 2021

  • 评估图像分类中的偏差

    本研究通过使用归因地图的方法，系统性地揭示数据偏差，从而证明了某些归因地图技术比其他技术更好地凸显了数据中的偏差，并且度量可以支持发现偏差。

    Jul, 2021