ICLRJan, 2021

形状还是纹理：理解卷积神经网络中的辨别特征

PDF
TL;DR本研究通过设计一系列实验，发现卷积神经网络中大部分的形状信息在训练的前几个阶段就已经学习，这些信息主要由 CNN 的最后几层进行编码。此外，本文还表明形状的编码并不意味着编码的是局部像素语义信息。
convolutional neural networktexture biasshape informationlatent representationsper-pixel level
发现论文，激发创造
  • ImageNet 训练的 CNN 偏向于纹理；增加形状偏差可以提高准确性和鲁棒性

    这篇文章通过对卷积神经网络（CNNs）和人类观察者在具有纹理 - 形状线索冲突的图像上进行实验，揭示了 CNN 在识别物体时更倾向于识别纹理而非形状的基本不同分类策略，同时表明将 CNN 在 Stylized-ImageNet 数据集上训练可以学习到形状为基础的表示，可以更好地拟合人类行为表现，同时具有提高物体检测性能和对各种图像扭曲的鲁棒性的优点。

    Nov, 2018

  • 机器对形状与纹理的偏好：发育启发视角的探讨

    该文使用类似于发育阶段的范式，检测了预训练神经网络在识别形状和纹理时的归纳偏好。实验结果表明，这些神经网络更倾向于基于形状而非纹理进行分类。

    Feb, 2022

  • 卷积神经网络中的纹理偏差起源和普及程度

    通过数据增广和改变训练集数据的方式，可以减弱 CNN 网络中很常见的纹理偏见，并且提高非常规测试集上的表现。

    Nov, 2019

  • 形状纹理去偏的神经网络训练

    本研究通过引入与图片纹理信息矛盾的图片来训练卷积神经网络，解决了网络对于形状或纹理的偏向性问题，并通过在多个图像识别基准测试和对抗性鲁棒性方面的实验表明，成功地提高了模型的表现。

    Oct, 2020

  • 评估卷积神经网络的形状偏差特性

    本文探讨了卷积神经网络的形状偏差属性，通过使用将亮度反转的负图像等度量方法评估 CNNs 的形状偏差属性，进行大规模实验并研究了不同因素，如训练数据、模型架构、初始化和规则化技术，对 CNNs 形状偏差属性的作用。结果表明，CNNs 不会固有地表现出形状偏差，但是适当初始化模型或适当增强数据和使用批归一化技术，可以使 CNNs 学习和推广结构。

    Mar, 2018

  • 卷积神经网络在语义分割任务中很少学习形状信息

    通过一系列实验，发现在典型的设置下 CNN 并不会学习物体的形状，而是依赖其他特征，但只有在形状是识别物体的唯一特征时，CNN 才能学习形状。此外，适当的感受野大小相对于目标物体的大小和有限的扩充能够鼓励形状学习，并且在存在超出分布的数据时，学习形状是确实有用的。

    May, 2023

  • 卷积神经网络中通过激活稀疏性出现的形状偏差

    稀疏编码通过非可微的 Top-K 操作实施了对网络的结构编码，使得卷积神经网络中的神经元能够对物体进行部分和亚部分的平滑分解，并赋予网络形状偏差。

    Oct, 2023

  • 关于纹理偏差对于少样本 CNN 分割的影响

    研究表明 CNN 模型中纹理处理算法在大规模标记数据集上学习时表现得更好。为消除纹理影响，提出了一种新的结构，利用高斯分布进行卷积，在三个语义分割基准测试中比现有方法表现更好。

    Mar, 2020

  • 增强的形状偏差能否提高神经网络对常见污染的鲁棒性？

    通过对自然图像进行样式和边缘特征的处理，对卷积神经网络进行数据增强可以减少纹理偏差并增加形状偏差，从而提高其鲁棒性。

    Apr, 2021

  • 基于形状偏好视角的鲁棒表征学习的信息性丢弃

    本文提出了轻量级模型不可知的方法 Informative Dropout (InfoDrop)，通过自信息区分纹理和形状并采用去相关模型的 Dropout-like 算法来改善模型的可解释性和减少纹理偏见，在不同的场景下 (领域泛化、少样本分类、图像毁损和对抗扰动) 观察到增强的鲁棒性，这是改善统一模型天生鲁棒性的最早尝试之一，为可信赖的机器学习算法提供了新思路。

    Aug, 2020