简洁为上:恢复意图特征子空间以提高自然语言理解模型鲁棒性
本文提出了一种公平去偏算法,通过调整预测模型的信念,尽可能使用敏感信息来进行预测,并在必要性最小化的同时承受一定的惩罚,以达到去偏和任务性能之间的理想平衡,并生成经过去偏的证明。
Oct, 2022
通过减少模型对偏见的敏感性,我们提出了一种在概念层面上确保正确原因的新方法,通过梯度来建模偏见,通过选择稳健的方向来减少模型对偏见的影响,并在 ISIC、Bone Age、ImageNet 和 CelebA 数据集上使用 VGG、ResNet 和 EfficientNet 架构,在受控和实际环境中有效地减轻偏见。
Aug, 2023
在这项研究中,我们提出了一种在没有先验知识的情况下通过关键词的部分出现来识别潜在偏见的框架,并进一步提出了两种去偏方法:(a) 通过指定伪标签将其传递给现有的需要先验知识的去偏方法,以及 (b) 通过文本到图像生成模型进行数据增强,使用获得的偏见关键词作为提示。实验结果表明,尽管简单,我们的框架不仅能在没有先验知识的情况下胜过现有方法,而且甚至可以与假设有先验知识的方法媲美。
Jun, 2024
该论文提出了一种简单且有效的无监督去偏差技术,该方法利用聚类算法在特征嵌入空间识别伪属性,然后采用一种新颖的聚类加权重新调整方案来学习去偏置表示,以防止少数群体被忽视并达到最坏情况下的概括,实验证明其在多个标准基准测试数据集上具有出色的表现,甚至达到了有监督对照组的竞争精度。
Aug, 2021
我们提出了一种新的算法类别,即不变特征子空间恢复(ISR),用于实现分类和回归问题的可证明领域泛化。在二元分类方案中,我们的第一种算法 ISR-Mean 可以通过类条件分布的一阶矩来识别不变特征所张成的子空间,并在 $d_s+1$ 个训练环境下实现可证明的领域泛化。
Nov, 2023
使用新的统计方法检查模型训练过程中的假相关关系,发现即使使用了优化方法来减少数据中的偏差,训练出的模型中仍存在对标签的偏差,影响了自然语言推理和重复问题检测两个任务的性能。
Jun, 2023
本文介绍了一种使用 GAN 生成图像并在潜在空间中扰动以生成可以平衡每个受保护属性的训练数据的方法,以缓解由相关性所引起的偏差,通过在原始数据集上增加扰动生成的数据,实证证明训练结果准确且具有许多定量和定性上的优势。在 CelebA 数据集上进行了全面评估和分析,与现有文献进行了比较。
Dec, 2020
本文研究深度神经网络中数据集偏差对任务的影响。通过具体分析特征和标签之间的虚假相关性的来源,本文提出了一种训练策略,即通过量化偏置的程度来调整偏置示例的权重,以减少模型过度依赖数据集偏差的情况,并在 QM 和 NLI 任务上得到了表现的提高。
May, 2022