本文通过研究发现，预先训练的语言模型可以通过从少量反例中进行泛化来提高对数据中偶然现象的鲁棒性。当这些少数情况很少时，预训练模型表现与从头开始训练的模型一样差。在极端的少数情况下，我们提出使用多任务学习（MTL）来提高泛化能力。我们在自然语言推断和释义识别上的实验表明，MTL 可显着提高在具有挑战性的情况下的性能，而不会影响分布内性能。此外，我们表明，MTL 带来的增益主要是从极少数情况的改善泛化能力中获得的。我们的结果突显了克服偶然相关性的数据多样性的重要性。

Jul, 2020

本研究介绍了一种简单有效的方法来消除预先训练的机器学习模型中存在的伪相关性，该方法通过数据混合平衡所有类别中的伪属性，并在多种视觉和 NLP 任务中获得了最先进的表现。

May, 2023

本文研究深度神经网络中数据集偏差对任务的影响。通过具体分析特征和标签之间的虚假相关性的来源，本文提出了一种训练策略，即通过量化偏置的程度来调整偏置示例的权重，以减少模型过度依赖数据集偏差的情况，并在 QM 和 NLI 任务上得到了表现的提高。

May, 2022

语言模型在实际应用中存在错误。为了改进回放过程和可解释性，我们尝试预测由于模型更新而被遗忘的上游示例。通过训练预测模型，我们提出了一种部分可解释的预测模型，基于预训练示例的前 softmax 对数几率分数的变化与在线学习示例的相似性，其在 BART 模型上表现良好但在 T5 模型上失败。我们进一步展示了基于示例表示内积的黑盒分类器，在一系列设置中取得了更好的预测性能。最后，通过回放被预测将被遗忘的示例，我们减少了上游预训练示例的遗忘，证明了预测示例遗忘的实际应用效用。

Feb, 2024

通过限制处理数据的模型容量，利用其错误来训练更加健壮的模型，从而解决自然语言处理模型对数据集偏见的问题，并且在数据分布发生变化时具有良好的可移植性。

Dec, 2020

本文提出一种邻近分析框架，防止深度学习模型在训练集中利用虚假的相关性，通过 NFL 正则化方法来改进鲁棒性，并在两个文本分类任务中进行实验验证，达到了显著的效果提升。

May, 2023

本观点文章指出，解决数据集平衡问题的常见方法已经不足以避免深度学习模型对小规模数据和特定标签的依赖和过拟合问题。我们提出了多种替代方法，包括增强数据集上下文语境，使用少量样本训练模型，通过与用户交互的方式进行模型推理等。

Apr, 2022

本文提出使用数据增强方法减少自然语言处理中的性别偏见，并通过削减数据集中的例子提高模型的公平性，实验证明该方法在三个文本分类数据集上所实现的公平性优于数据增强方法。

Nov, 2022

研究神经网络在单分类任务训练中的学习动态，发现在缺乏明显分布偏移的数据情况下，存在相关遗忘现象，某些样例更容易被遗忘，而基于遗忘动态可以从训练数据集中省略部分例子却仍能保持最佳泛化性能。

Dec, 2018

使用对照例子作为监督信号，改进深度学习的训练方法，提高神经网络的泛化能力及性能。

Apr, 2020