形状纹理去偏的神经网络训练

ICLROct, 2020

Shape-Texture Debiased Neural Network Training

Yingwei Li, Qihang Yu, Mingxing Tan, Jieru Mei, Peng Tang...

TL;DR本研究通过引入与图片纹理信息矛盾的图片来训练卷积神经网络，解决了网络对于形状或纹理的偏向性问题，并通过在多个图像识别基准测试和对抗性鲁棒性方面的实验表明，成功地提高了模型的表现。

Abstract

Shape and texture are two prominent and complementary cues for recognizing objects. Nonetheless, convolutional neural networks are often biased towards either texture or shape, depending on the training dataset. Our ablation shows that such bias degenerates model performance. Motivated

convolutional neural networks shape-texture debiased learning supervised learning image recognition adversarial robustness

发现论文，激发创造

ImageNet 训练的 CNN 偏向于纹理；增加形状偏差可以提高准确性和鲁棒性

这篇文章通过对卷积神经网络（CNNs）和人类观察者在具有纹理 - 形状线索冲突的图像上进行实验，揭示了 CNN 在识别物体时更倾向于识别纹理而非形状的基本不同分类策略，同时表明将 CNN 在 Stylized-ImageNet 数据集上训练可以学习到形状为基础的表示，可以更好地拟合人类行为表现，同时具有提高物体检测性能和对各种图像扭曲的鲁棒性的优点。

Nov, 2018

卷积神经网络中的纹理偏差起源和普及程度

通过数据增广和改变训练集数据的方式，可以减弱 CNN 网络中很常见的纹理偏见，并且提高非常规测试集上的表现。

Nov, 2019

机器对形状与纹理的偏好：发育启发视角的探讨

该文使用类似于发育阶段的范式，检测了预训练神经网络在识别形状和纹理时的归纳偏好。实验结果表明，这些神经网络更倾向于基于形状而非纹理进行分类。

Feb, 2022

形状还是纹理：理解卷积神经网络中的辨别特征

本研究通过设计一系列实验，发现卷积神经网络中大部分的形状信息在训练的前几个阶段就已经学习，这些信息主要由 CNN 的最后几层进行编码。此外，本文还表明形状的编码并不意味着编码的是局部像素语义信息。

Jan, 2021

增强的形状偏差能否提高神经网络对常见污染的鲁棒性？

通过对自然图像进行样式和边缘特征的处理，对卷积神经网络进行数据增强可以减少纹理偏差并增加形状偏差，从而提高其鲁棒性。

Apr, 2021

基于形状偏好视角的鲁棒表征学习的信息性丢弃

本文提出了轻量级模型不可知的方法 Informative Dropout (InfoDrop)，通过自信息区分纹理和形状并采用去相关模型的 Dropout-like 算法来改善模型的可解释性和减少纹理偏见，在不同的场景下 (领域泛化、少样本分类、图像毁损和对抗扰动) 观察到增强的鲁棒性，这是改善统一模型天生鲁棒性的最早尝试之一，为可信赖的机器学习算法提供了新思路。

Aug, 2020

基于震荡图嵌入的形状偏向域通用化

该论文研究表明，图像卷积神经网络的不足与纹理偏差有关，而相对缺乏形状偏差则导致了域通用性的不良表现。通过使用经典的计算机视觉方法，即使用轮廓图的震荡图表示图像的轮廓内容，来显式和完整地表示图像形状，进而使用最近的图神经网络方法进行分类，实验结果表明即使不使用外观，基于形状的方法在域泛化方面超过了基于经典的图像 CNN 方法。

Sep, 2021

卷积神经网络中通过激活稀疏性出现的形状偏差

稀疏编码通过非可微的 Top-K 操作实施了对网络的结构编码，使得卷积神经网络中的神经元能够对物体进行部分和亚部分的平滑分解，并赋予网络形状偏差。

Oct, 2023

关于纹理偏差对于少样本 CNN 分割的影响

研究表明 CNN 模型中纹理处理算法在大规模标记数据集上学习时表现得更好。为消除纹理影响，提出了一种新的结构，利用高斯分布进行卷积，在三个语义分割基准测试中比现有方法表现更好。

Mar, 2020

评估卷积神经网络的形状偏差特性

本文探讨了卷积神经网络的形状偏差属性，通过使用将亮度反转的负图像等度量方法评估 CNNs 的形状偏差属性，进行大规模实验并研究了不同因素，如训练数据、模型架构、初始化和规则化技术，对 CNNs 形状偏差属性的作用。结果表明，CNNs 不会固有地表现出形状偏差，但是适当初始化模型或适当增强数据和使用批归一化技术，可以使 CNNs 学习和推广结构。

Mar, 2018