神经网络中简化偏差的陷阱

Jun, 2020

The Pitfalls of Simplicity Bias in Neural Networks

Harshay Shah, Kaustav Tamuly, Aditi Raghunathan, Prateek Jain, Praneeth Netrapalli

TL;DR本文旨在通过设计包含不同时简单性的多个预测特征的数据集，捕捉实际训练数据中的非鲁棒性，从理论和实证研究中发现简洁性偏见在训练神经网络中的作用及其对泛化和鲁棒性的影响，提出新算法以避免简洁性偏见的缺陷。

Abstract

Several works have proposed simplicity bias (SB)---the tendency of standard training procedures such as Stochastic Gradient Descent (SGD) to find simple models---to justify why neural networks generalize well [Ar

simplicity bias neural networks generalization non-robustness adversarial training

发现论文，激发创造

一层隐藏层神经网络中的简单性偏差

该研究通过严格定义和深入探究神经网络的简单性偏差，理论上和经验上均证明在解决任务时只学习低维度输入的特征，不依赖于更复杂的特征，同时提出一种基于特征的训练顺序的集成方法，能够使得模型对高斯噪声具有更强的鲁棒性。

Feb, 2023

改善深度学习中的简化偏差，促进超出分布的普适性和鲁棒性

神经网络对简单特征具有偏好，本文提出了一种鼓励模型使用多样性特征进行预测的框架，通过训练一个简单模型并对其进行条件互信息的正则化，解决了简单性偏差问题，并在各种问题设置和实际应用中显示了其有效性，提高了模型的性能以及鲁棒性和公平性。

Oct, 2023

通过简单偏好的视角早期识别训练中的伪偏差

研究表明，梯度下降训练的神经网络具有归纳偏差，倾向于学习简单的解决方案，导致学习到与标签高度相关的简单虚假特征而非复杂的核心特征，此文介绍一种名为 SPARE 的方法，能够早期发现含有虚假相关性的大型分组，并利用重要性抽样来平衡组大小，从而减轻虚假关联的影响，相对于现有方法，SPARE 方法的最差组准确度提高了最高达 5.6%，速度提高了多达 12 倍。

May, 2023

规避简化偏差：训练多样化模型集发现具有更优越 OOC 普适性的解决方案

研究发现神经网络训练过程中存在简单性偏差，该偏差导致其缺乏鲁棒性，但该问题可通过不同方式训练来缓解，其中包括使用梯度对齐的惩罚项进行训练，以及在独立的模型选择阶段解决信息不足问题，此方法在视觉识别上获得了最佳结果。

May, 2021

一种用于去偏置神经网络的对抗特征学习策略

本实验提出特征筛选的方法，即在神经网络的低层中自动鉴定和抑制易于计算的虚假特征，从而使高级别能够提取更丰富、更有意义的特征，这可以提高深度神经网络的识别能力和准确性，且无需依赖任何预设的知识。

Jan, 2023

深度神经网络中的低秩简约偏差

本文提出深度神经网络可归纳地更倾向于寻找低秩嵌入的解，这种偏见在网络深度和宽度，初始化和训练过程中都存在，并且能够提高 CIFAR 和 ImageNet 数据集的泛化性能。

Mar, 2021

存在糟糕的全局最小值，并且 SGD 可以到达它们

通过研究深度神经网络的显式正则化对随机梯度下降的作用，证实显式正则化对于高参数化的神经网络成功的贡献远比随机梯度下降方法更为重要。

Jun, 2019

随机坍塌：梯度噪声如何将 SGD 动态吸引到更简单的子网络

本研究揭示了 SGD 存在的强烈隐式偏差，由此驱使过度表达的神经网络倾向于变得更简单，从而显著减少独立参数数量，并改进了泛化能力。

Jun, 2023

神经网络是隐式决策树：层次简约偏差

神经网络在存在偏执特征时，能够学习到核心特征，即使简单虚假特征扭曲了预测结果；研究通过不平衡标签耦合的方法，调查了简单和复杂特征在预测中的不同水平，以及复杂特征在预测中的贡献。

Nov, 2023

Benign 过拟合有多无害？

本研究探讨深度神经网络中的两个原因导致对抗性漏洞，即数据问题和训练模型问题，通过理论和实验证明标签噪声是对抗性漏洞的一个原因，并提出采用对抗性训练方法可以解决该问题，同时发现表示学习对此也有很大影响。

Jul, 2020