ICLRApr, 2021

增强的形状偏差能否提高神经网络对常见污染的鲁棒性？

PDF
TL;DR通过对自然图像进行样式和边缘特征的处理，对卷积神经网络进行数据增强可以减少纹理偏差并增加形状偏差，从而提高其鲁棒性。
convolutional neural networksimage recognitiontexture biasshape biasdata augmentation
发现论文，激发创造
  • ImageNet 训练的 CNN 偏向于纹理；增加形状偏差可以提高准确性和鲁棒性

    这篇文章通过对卷积神经网络（CNNs）和人类观察者在具有纹理 - 形状线索冲突的图像上进行实验，揭示了 CNN 在识别物体时更倾向于识别纹理而非形状的基本不同分类策略，同时表明将 CNN 在 Stylized-ImageNet 数据集上训练可以学习到形状为基础的表示，可以更好地拟合人类行为表现，同时具有提高物体检测性能和对各种图像扭曲的鲁棒性的优点。

    Nov, 2018

  • 关于形状偏差、准确性和鲁棒性之间关系的澄清

    通过评估 39 种数据增强类型对广泛使用的 OOD 数据集的影响，证明了每种数据增强对模型对 OOD 数据的鲁棒性的影响，并进一步证明了所述假设不成立；形状偏差的增加不一定导致更高的 OOD 鲁棒性。通过分析结果，还发现 ImageNet-1K 数据集中的一些偏差可以通过适当的数据增强来减小。我们的评估结果进一步表明，域内准确性和 OOD 鲁棒性之间不一定存在权衡，选择适当的增强方法可以同时提高域内准确性和 OOD 鲁棒性。

    Jun, 2024

  • 卷积神经网络中的纹理偏差起源和普及程度

    通过数据增广和改变训练集数据的方式，可以减弱 CNN 网络中很常见的纹理偏见，并且提高非常规测试集上的表现。

    Nov, 2019

  • 评估卷积神经网络的形状偏差特性

    本文探讨了卷积神经网络的形状偏差属性，通过使用将亮度反转的负图像等度量方法评估 CNNs 的形状偏差属性，进行大规模实验并研究了不同因素，如训练数据、模型架构、初始化和规则化技术，对 CNNs 形状偏差属性的作用。结果表明，CNNs 不会固有地表现出形状偏差，但是适当初始化模型或适当增强数据和使用批归一化技术，可以使 CNNs 学习和推广结构。

    Mar, 2018

  • 形状纹理去偏的神经网络训练

    本研究通过引入与图片纹理信息矛盾的图片来训练卷积神经网络，解决了网络对于形状或纹理的偏向性问题，并通过在多个图像识别基准测试和对抗性鲁棒性方面的实验表明，成功地提高了模型的表现。

    Oct, 2020

  • 基于震荡图嵌入的形状偏向域通用化

    该论文研究表明，图像卷积神经网络的不足与纹理偏差有关，而相对缺乏形状偏差则导致了域通用性的不良表现。通过使用经典的计算机视觉方法，即使用轮廓图的震荡图表示图像的轮廓内容，来显式和完整地表示图像形状，进而使用最近的图神经网络方法进行分类，实验结果表明即使不使用外观，基于形状的方法在域泛化方面超过了基于经典的图像 CNN 方法。

    Sep, 2021

  • 基于形状偏好视角的鲁棒表征学习的信息性丢弃

    本文提出了轻量级模型不可知的方法 Informative Dropout (InfoDrop)，通过自信息区分纹理和形状并采用去相关模型的 Dropout-like 算法来改善模型的可解释性和减少纹理偏见，在不同的场景下 (领域泛化、少样本分类、图像毁损和对抗扰动) 观察到增强的鲁棒性，这是改善统一模型天生鲁棒性的最早尝试之一，为可信赖的机器学习算法提供了新思路。

    Aug, 2020

  • 卷积神经网络中通过激活稀疏性出现的形状偏差

    稀疏编码通过非可微的 Top-K 操作实施了对网络的结构编码，使得卷积神经网络中的神经元能够对物体进行部分和亚部分的平滑分解，并赋予网络形状偏差。

    Oct, 2023

  • 形状还是纹理：理解卷积神经网络中的辨别特征

    本研究通过设计一系列实验，发现卷积神经网络中大部分的形状信息在训练的前几个阶段就已经学习，这些信息主要由 CNN 的最后几层进行编码。此外，本文还表明形状的编码并不意味着编码的是局部像素语义信息。

    Jan, 2021

  • 使用频率偏置模型提高对通用损坏的鲁棒性

    本文提出了两种高 / 低频鲁棒性混合的专家模型以及一种最小化卷积特征图总变差 (TV) 的正则化方法，成功应用于诸如 ImageNet-C 以及汽车数据集等多种实际环境的图像分类和目标检测任务，同时提升了在受损图像方面的鲁棒性。

    Mar, 2021