ICLRNov, 2018

ImageNet 训练的 CNN 偏向于纹理；增加形状偏差可以提高准确性和鲁棒性

PDF
TL;DR这篇文章通过对卷积神经网络（CNNs）和人类观察者在具有纹理 - 形状线索冲突的图像上进行实验，揭示了 CNN 在识别物体时更倾向于识别纹理而非形状的基本不同分类策略，同时表明将 CNN 在 Stylized-ImageNet 数据集上训练可以学习到形状为基础的表示，可以更好地拟合人类行为表现，同时具有提高物体检测性能和对各种图像扭曲的鲁棒性的优点。
发现论文，激发创造
  • 卷积神经网络中的纹理偏差起源和普及程度

    通过数据增广和改变训练集数据的方式，可以减弱 CNN 网络中很常见的纹理偏见，并且提高非常规测试集上的表现。

    Nov, 2019

  • 形状还是纹理：理解卷积神经网络中的辨别特征

    本研究通过设计一系列实验，发现卷积神经网络中大部分的形状信息在训练的前几个阶段就已经学习，这些信息主要由 CNN 的最后几层进行编码。此外，本文还表明形状的编码并不意味着编码的是局部像素语义信息。

    Jan, 2021

  • 机器对形状与纹理的偏好：发育启发视角的探讨

    该文使用类似于发育阶段的范式，检测了预训练神经网络在识别形状和纹理时的归纳偏好。实验结果表明，这些神经网络更倾向于基于形状而非纹理进行分类。

    Feb, 2022

  • 增强的形状偏差能否提高神经网络对常见污染的鲁棒性？

    通过对自然图像进行样式和边缘特征的处理，对卷积神经网络进行数据增强可以减少纹理偏差并增加形状偏差，从而提高其鲁棒性。

    Apr, 2021

  • 形状纹理去偏的神经网络训练

    本研究通过引入与图片纹理信息矛盾的图片来训练卷积神经网络，解决了网络对于形状或纹理的偏向性问题，并通过在多个图像识别基准测试和对抗性鲁棒性方面的实验表明，成功地提高了模型的表现。

    Oct, 2020

  • 评估卷积神经网络的形状偏差特性

    本文探讨了卷积神经网络的形状偏差属性，通过使用将亮度反转的负图像等度量方法评估 CNNs 的形状偏差属性，进行大规模实验并研究了不同因素，如训练数据、模型架构、初始化和规则化技术，对 CNNs 形状偏差属性的作用。结果表明，CNNs 不会固有地表现出形状偏差，但是适当初始化模型或适当增强数据和使用批归一化技术，可以使 CNNs 学习和推广结构。

    Mar, 2018

  • 卷积神经网络中通过激活稀疏性出现的形状偏差

    稀疏编码通过非可微的 Top-K 操作实施了对网络的结构编码，使得卷积神经网络中的神经元能够对物体进行部分和亚部分的平滑分解，并赋予网络形状偏差。

    Oct, 2023

  • 深度神经网络的认知心理学：基于形状偏差案例研究

    本文提出利用认知心理学的问题描述、理论和实验方法来解决现代深度神经网络的可解释性问题，并将发展心理学中关于儿童如何学习物体名称的分析应用到 DNN 模型中。发现在 ImageNet 分类任务上，表现良好的一次性学习模型也存在类似人类倾向于按照形状而非颜色对物体进行分类的偏向，并证明了认知心理学工具揭示 DNNs 的隐藏计算属性的能力。

    Jun, 2017

  • 卷积神经网络在语义分割任务中很少学习形状信息

    通过一系列实验，发现在典型的设置下 CNN 并不会学习物体的形状，而是依赖其他特征，但只有在形状是识别物体的唯一特征时，CNN 才能学习形状。此外，适当的感受野大小相对于目标物体的大小和有限的扩充能够鼓励形状学习，并且在存在超出分布的数据时，学习形状是确实有用的。

    May, 2023

  • 关于纹理偏差对于少样本 CNN 分割的影响

    研究表明 CNN 模型中纹理处理算法在大规模标记数据集上学习时表现得更好。为消除纹理影响，提出了一种新的结构，利用高斯分布进行卷积，在三个语义分割基准测试中比现有方法表现更好。

    Mar, 2020