通过对现有数据集的新的训练 - 测试分割，我们挑战了仅基于目标和关键词训练、评估仅考虑训练和测试数据之间的分布变化的仇恨言论模型。我们提出了两种分割变体，并使用四个预训练模型应用于两个数据集，揭示了模型在潜在空间中的盲点上的灾难性失败。进一步分析表明，数据分割的表面级属性与性能下降之间没有明确的相关性，这突显了任务的难度不总是容易人类解释的。我们推荐在模型开发中加入基于潜在特征的分割，并通过 GenBench 基准发布了两种分割方案。

Nov, 2023

研究指出，NLP 领域的实验应当使用多重的、独立的测试集进行评估，以获得更真实的性能评估；当不可能使用多个测试集时，使用多个有偏差的划分方式可得到更接近真实的性能评估。

May, 2020

本文针对机器学习中存在的不公平待遇问题，提出了一种新的分类器算法 —— 分裂分类器。与传统的盲目分类器不同，分裂分类器可以更好地解决性别 / 年龄等敏感属性的问题，并且通过实验验证了该算法的有效性。

Feb, 2020

该论文研究如何提高深度学习算法在标签噪声存在的情况下的鲁棒性，提出了一种名为 CrossSplit 的新型训练方法，该方法可以通过两个神经网络在数据集的两个不相交部分上训练来缓解噪声标签的记忆化现象，并使用对等网络的预测来调整每个网络的训练标签。实验证明，该方法在 CIFAR-10、CIFAR-100、Tiny-ImageNet 和 mini-WebVision 数据集上可以比当前最先进的方法提高 90% 的噪声率。

Dec, 2022

本文研究深度神经网络中数据集偏差对任务的影响。通过具体分析特征和标签之间的虚假相关性的来源，本文提出了一种训练策略，即通过量化偏置的程度来调整偏置示例的权重，以减少模型过度依赖数据集偏差的情况，并在 QM 和 NLI 任务上得到了表现的提高。

May, 2022

为了可靠地处理自然语言，NLP 系统必须推广到罕见话语的长尾中。我们提出了一种方法，通过重新拆分现有数据集来创建具有挑战性的基准，要求推广到分布的尾部。在这个简单的方法中，我们创建了一个 “似然分布分割”，把通过一个预先训练的语言模型（LM）分配较低概率的例子放在测试集中，而更有可能的例子放在训练集中。这种方法可以量身定制，为广泛的任务构建有意义的训练 - 测试分割。同时，似然分配比随机分割更具挑战性。此外，似然分配比对抗性过滤创建了更公平的基准；当使用 LM 创建分配时，我们的分割不会对 LM 产生不利的惩罚。

Oct, 2022

通过研究我们发现，在机器学习模型的性能评估中，交叉验证方法会引入分布偏差现象，导致性能评估及超参数优化受到负面影响。为了解决这个问题，我们提出了一个通用的校正分布偏差的交叉验证方法，并通过合成模拟和多个已发布的实验验证结果。

Jun, 2024

本文针对隐私敏感的应用，提出了一种针对实际分割学习的被动聚类标签推断攻击，该攻击可以通过收集交换的梯度和压碎数据来精确检索私有标签，并使用余弦和欧几里得相似度度量来分析潜在的标签泄露。实验结果表明，即使对标签进行差分隐私和梯度压缩的保护，攻击者仍然可以在不同的设置下（例如，切割层位置，时代和批量大小）实现准确的预测。

Mar, 2022

本文提出了一种新的方法 --MSplit LBI 来同时实现特征选择和密集估计，实验证明该方法优于 L₁和 L₂正则化，并在 few-shot 和 zero-shot 学习中实现了最先进的性能.

Jun, 2018

本文介绍了一种用于训练去偏置表示的新框架，通过鼓励其与一组从设计上存在偏差的表示不同来实现。该方法可在许多场景中使用，可以提高模型在不同类别中的泛化能力。

Oct, 2019