形状还是纹理:理解卷积神经网络中的辨别特征
本文探讨了卷积神经网络的形状偏差属性,通过使用将亮度反转的负图像等度量方法评估CNNs的形状偏差属性,进行大规模实验并研究了不同因素,如训练数据、模型架构、初始化和规则化技术,对CNNs形状偏差属性的作用。结果表明,CNNs不会固有地表现出形状偏差,但是适当初始化模型或适当增强数据和使用批归一化技术,可以使CNNs学习和推广结构。
Mar, 2018
这篇文章通过对卷积神经网络(CNNs)和人类观察者在具有纹理-形状线索冲突的图像上进行实验,揭示了CNN在识别物体时更倾向于识别纹理而非形状的基本不同分类策略,同时表明将CNN在Stylized-ImageNet数据集上训练可以学习到形状为基础的表示,可以更好地拟合人类行为表现,同时具有提高物体检测性能和对各种图像扭曲的鲁棒性的优点。
Nov, 2018
本研究提出系统性的方法,以定性和定量的方式解释如何使用对抗性训练卷积神经网络(AT-CNNs)识别物体,并发现对抗训练有助于CNNs学习更具形状偏向的表示。通过分析一个额外的测试数据集,证明对比标准CNNs,AT-CNNs更加稳健,从解释学的角度促进了人们对CNNs的理解。
May, 2019
本研究通过引入与图片纹理信息矛盾的图片来训练卷积神经网络,解决了网络对于形状或纹理的偏向性问题,并通过在多个图像识别基准测试和对抗性鲁棒性方面的实验表明,成功地提高了模型的表现。
Oct, 2020
该文使用类似于发育阶段的范式,检测了预训练神经网络在识别形状和纹理时的归纳偏好。实验结果表明,这些神经网络更倾向于基于形状而非纹理进行分类。
Feb, 2022
通过一系列实验,发现在典型的设置下CNN并不会学习物体的形状,而是依赖其他特征,但只有在形状是识别物体的唯一特征时,CNN才能学习形状。此外,适当的感受野大小相对于目标物体的大小和有限的扩充能够鼓励形状学习,并且在存在超出分布的数据时,学习形状是确实有用的。
May, 2023
稀疏编码通过非可微的Top-K操作实施了对网络的结构编码,使得卷积神经网络中的神经元能够对物体进行部分和亚部分的平滑分解,并赋予网络形状偏差。
Oct, 2023
本研究探讨纹理学习:识别目标分类模型学习到的纹理以及它们对这些纹理的依赖程度。我们建立了纹理-目标的关联,揭示了CNN中纹理和目标类别之间关系的新见解,并发现三类结果:强关联且符合预期、强关联但不符合预期以及符合预期但不具备纹理。我们的分析表明,纹理学习的研究可以实现新的解释方法,并有可能揭示出意外的偏见。
Mar, 2024
本研究探讨了深度神经网络在语义分割任务中从形状、纹理和颜色等图像线索中学习的能力和相互影响。我们提出了一种新方法,通过将数据集分解为仅包含单一线索或选择混合线索的多个子集,揭示结合形状和颜色而不依赖纹理的组合在学习成功上表现优异。该发现对理解深度学习模型的学习机制具有重要意义。
Oct, 2024