May, 2022

少学习捷径：分析和减轻虚假特征 - 标签相关性的学习

PDF
TL;DR本文研究深度神经网络中数据集偏差对任务的影响。通过具体分析特征和标签之间的虚假相关性的来源，本文提出了一种训练策略，即通过量化偏置的程度来调整偏置示例的权重，以减少模型过度依赖数据集偏差的情况，并在 QM 和 NLI 任务上得到了表现的提高。
deep neural networksbiasesspurious correlationtraining strategyperformance
发现论文，激发创造
  • 数据集平衡的局限性：对抗虚假相关的失败战役

    本观点文章指出，解决数据集平衡问题的常见方法已经不足以避免深度学习模型对小规模数据和特定标签的依赖和过拟合问题。我们提出了多种替代方法，包括增强数据集上下文语境，使用少量样本训练模型，通过与用户交互的方式进行模型推理等。

    Apr, 2022

  • 数据和模型中的顽固词汇偏见

    使用新的统计方法检查模型训练过程中的假相关关系，发现即使使用了优化方法来减少数据中的偏差，训练出的模型中仍存在对标签的偏差，影响了自然语言推理和重复问题检测两个任务的性能。

    Jun, 2023

  • 通过简单偏好的视角早期识别训练中的伪偏差

    研究表明，梯度下降训练的神经网络具有归纳偏差，倾向于学习简单的解决方案，导致学习到与标签高度相关的简单虚假特征而非复杂的核心特征，此文介绍一种名为 SPARE 的方法，能够早期发现含有虚假相关性的大型分组，并利用重要性抽样来平衡组大小，从而减轻虚假关联的影响，相对于现有方法，SPARE 方法的最差组准确度提高了最高达 5.6%，速度提高了多达 12 倍。

    May, 2023

  • 利用软标签编码缓解语言模型中的快捷方式

    最近的研究表明，大型语言模型在自然语言理解任务中依赖于数据中的伪相关性。本研究旨在回答以下研究问题：我们能否通过改变训练数据的真实标签来减少伪相关性？具体而言，我们提出了一种简单而有效的去偏框架，称为软标签编码（SoftLE）。我们首先使用硬标签训练一个教师模型来确定每个样本对快捷方式的依赖程度。然后，我们添加一个虚拟类别来编码快捷方式程度，该虚拟类别用于平滑地生成其他维度上的地面真实标签生成软标签。这个新的地面真实标签用于训练一个更强大的学生模型。对两个自然语言理解基准任务进行的广泛实验证明，SoftLE 在保持令人满意的内部准确性的同时，显著提高了超过分布的概括能力。

    Sep, 2023

  • 探索语言模型在文本分类中的概念层次上的伪相关性

    我们使用语言模型为每个文本标记概念并测量模型在测试数据上的概念偏差，然后提出一种数据再平衡方法来减轻由于训练数据中的不平衡标签分布而引起的虚假相关性，并证明我们的缓解方法在处理文本分类数据集中的标签分布偏差时具有优越性。

    Nov, 2023

  • 超越捷径：通过神经坍缩的视角进行无偏学习

    本文探讨了神经塌缩（Neural Collapse）现象在不平衡属性的偏倚数据集中的影响，提出了一种避免捷径学习的框架，通过设计神经塌缩结构的快捷方式引导模型，以捕捉内在的相关性，从而解决了偏倚分类的根本原因，实验证明该方法在训练过程中具有更好的收敛性能并在综合和真实世界的偏倚数据集上实现了最新的泛化性能。

    May, 2024

  • 识别和缓解虚假关联，提高自然语言处理模型的鲁棒性

    本研究提出了一种方法，利用解释性方法从文本中提取影响模型决策过程的标记，分析模型在多个语料库上的预测并进一步通过知识感知扰动来区分 ' 真正 ' 的标记和 ' 虚假 ' 标记，有效地识别出一组 ' 捷径 '，从而实现在多个应用中的更加鲁棒的模型。

    Oct, 2021

  • 文本分类中误关联的理解和减缓

    本文提出一种邻近分析框架，防止深度学习模型在训练集中利用虚假的相关性，通过 NFL 正则化方法来改进鲁棒性，并在两个文本分类任务中进行实验验证，达到了显著的效果提升。

    May, 2023

  • 分类任务的常识偏见发现与缓解

    基于图像描述提取特征聚类的框架，发现数据集中的敏感关联性，通过调整图像采样权重减轻下游模型偏差问题。

    Jan, 2024

  • 生成数据以缓解自然语言推理数据集中的伪相关性

    本篇研究提出了一种生成去偏差数据集的方法，通过过滤掉对任务并无帮助的数据以提高自然语言处理模型的泛化能力，并在实验中证实了该方法可以显著提高模型在不同任务分布下的性能表现。

    Mar, 2022