本文利用人类的知识针对神经网络的偏见问题提出了一个基于失败的去偏见训练方法，该方法通过训练两个神经网络同时进行，其思想是：(a) 通过反复放大偏见意图意图有意地训练第一个网络，(b) 重点关注具有对该偏差反对意见的样本以去偏见训练第二个网络。实验表明，该方法在合成和真实数据集中显著改善了网络抵御各种偏见的训练，甚至在某些情况下，比需要显式监督的有关特征的去偏见方法表现更好。

Jul, 2020

通过算法和祖源数据库的使用，可以提高神经网络在极度偏斜的数据集上的分类准确性，并消除与数据集相关的偏见和变异。

Sep, 2018

通过使用潜在的对抗去偏差 (LAD) 来生成去偏差的训练数据，尽管混淆信号存在于 100% 的训练数据中，但练习神经网络，可以在 Collider Bias 设置中提高它们的推广性。

Nov, 2020

研究发现，神经网络在存在噪声或不正确标签的情况下，往往会记住有关噪声的信息。为了减少这种记忆现象，提高泛化能力，本文提出使用一个辅助网络来训练，并利用 Shannon 互信息量化记忆的信息量。在 MNIST、CIFAR-10、CIFAR-100 和 Clothing1M 等数据集上验证了该算法的有效性。

Feb, 2020

本论文中，我们提出了一种新方法来解决神经网络训练中出现的类不平衡问题，这种方法旨在画出更好的决策边界并缩放权重向量，从而实现优秀的性能结果。

Dec, 2019

利用信息论的有关发现，我们提出了一种新的端到端优化策略，该策略同时估计和最小化学习表示和数据属性之间的互信息，通过这种策略，我们的模型在标准基准测试中表现出与最先进的方法相当或优越的分类性能，此方法可应用于问题的 “算法公平性”，并得到了竞争性的结果。

Mar, 2020

通过限制处理数据的模型容量，利用其错误来训练更加健壮的模型，从而解决自然语言处理模型对数据集偏见的问题，并且在数据分布发生变化时具有良好的可移植性。

Dec, 2020

这篇研究论文提出了一种名为部分盲目遗忘（PBU）的新方法，通过从预训练的分类网络中有选择地删除与特定数据类别相关的信息，实现对特定数据类别的有意去除，以降低模型对该类别数据的性能影响，且无需了解整个训练数据集，仅需了解未遗忘数据点。

Mar, 2024

最近的数据隐私法引起了对机器去学习的兴趣，机器去学习涉及从学习模型中删除特定训练样本的影响，就像这些样本从未出现在原始训练数据集中一样，这个挑战在于在学习模型中丢弃关于 “遗忘” 数据的信息，同时不改变对剩余数据集的知识，并且比起重新训练的方法更高效，为了实现这一点，我们采用了一种基于投影梯度的学习方法，即投影梯度去学习（PGU），在这种方法中，模型在与被认为是对保留的数据集不重要的梯度子空间相对正交的方向上迈出步伐，以便保留其知识。通过利用随机梯度下降（SGD）来更新模型权重，我们的方法可以高效地适用于任何模型和数据集大小。我们提供实证证据表明，即使无法访问训练数据集，我们的去学习方法产生的模型在各种度量指标上表现与从头开始重新训练的模型类似。我们的代码可在此 https URL 中找到。

Dec, 2023

该论文提出了一种对抗性数据增强的训练方案，以消除分类中的捷径，提高深度神经网络的鲁棒性，并在分类基准测试中取得了竞争力的结果。

Jan, 2023