针对自然语言理解模型的捷径学习行为进行解释和缓解

ACLMar, 2021

针对自然语言理解模型的捷径学习行为进行解释和缓解

Towards Interpreting and Mitigating Shortcut Learning Behavior of NLU Models

Mengnan Du, Varun Manjunatha, Rajiv Jain, Ruchi Deshpande, Franck Dernoncourt...

TL;DR本文研究表明，NLU 模型倾向于依赖于快捷特征进行预测，而不是真正理解语言。我们发现 NLU 训练集中的单词可以被建模为长尾分布，进一步提出了一种量化每个训练样例快捷程度的方法，并基于此提出了一个缓解快捷特征对模型训练的影响的框架 LTGR，实验结果表明这种方法可以提高模型对 OOD 数据的泛化能力，同时保持在分布数据上的准确性。

Abstract

Recent studies indicate that nlu models are prone to rely on shortcut features for prediction, without achieving true language understanding. As a result, these models fail to generalize to real-world out-of-distribution data. In this work, we show that the words in the NLU training se

nlu models shortcut features long-tailed distribution shortcut mitigation framework generalization accuracy

发现论文，激发创造

学习快速捷径：关于语言模型中自然语言理解的误导承诺

大型语言模型在自然语言处理领域取得了重要的性能提升，然而近期的研究发现，这些模型在执行任务时往往使用了捷径，导致性能看起来得到了提升，却缺乏泛化能力。这一现象给大型语言模型的自然语言理解评估带来了挑战。本文对该领域的相关研究进行了简明调查，并提出了对于捷径学习在语言模型评估中的影响的观点，特别是对于 NLU 任务。本文呼吁加大对捷径学习的研究力度，促进更加强大的语言模型的开发，并提高在实际场景中的 NLU 评估标准。

Jan, 2024

自然语言理解中大型语言模型的快速学习：综述

本文介绍了大型语言模型的概念、挑战和解决方法，着重关注了数据集偏差和简化学习对其抗干扰性的影响，提出了识别和缓解这些影响的方法，并探讨了未来可能的研究方向。

Aug, 2022

利用软标签编码缓解语言模型中的快捷方式

最近的研究表明，大型语言模型在自然语言理解任务中依赖于数据中的伪相关性。本研究旨在回答以下研究问题：我们能否通过改变训练数据的真实标签来减少伪相关性？具体而言，我们提出了一种简单而有效的去偏框架，称为软标签编码（SoftLE）。我们首先使用硬标签训练一个教师模型来确定每个样本对快捷方式的依赖程度。然后，我们添加一个虚拟类别来编码快捷方式程度，该虚拟类别用于平滑地生成其他维度上的地面真实标签生成软标签。这个新的地面真实标签用于训练一个更强大的学生模型。对两个自然语言理解基准任务进行的广泛实验证明，SoftLE 在保持令人满意的内部准确性的同时，显著提高了超过分布的概括能力。

Sep, 2023

关于捷径学习的基础

深度学习模型从数据中提取多种多样的特征，但这些特征的使用不仅取决于其预测能力（即特征如何可靠地指示训练数据标签），还取决于其可提取性（即特征从输入中容易提取或利用的程度）。研究表明，某些模型更喜欢使用某些特定的特征，例如纹理优先于形状，图像背景优先于前景对象。本研究通过构建一个具有预测性和可提取性差异的最小显性生成框架，并量化了模型的 Shortcut Bias（即过度依赖快捷特征而忽视核心特征的程度），从而系统研究了预测性和可提取性如何相互作用来影响模型的特征使用。实证结果表明，线性模型相对没有偏见，但引入具有 ReLU 或 Tanh 单隐藏层的模型则会产生偏见。最后，本研究还研究了在实际使用中，模型是如何在自然数据集中权衡预测性和可提取性，并发现了增加模型 Shortcut Bias 程度的可提取性操作。综上所述，这些发现表明，在深度非线性架构中学习快捷特征的倾向是一个基本特征，值得进行系统研究，因为它影响模型解决任务的方式。

Oct, 2023

使用语法归纳寻找数据集快捷方式

本文提出使用概率语法学习发掘 NLP 数据集中的 shortcut，同时也展示这些 features 能够帮助分类器提高最坏组的准确性。

Oct, 2022

大型语言模型可能是懒惰学习者：在上下文学习中分析快捷方式

本篇研究旨在探索语言模型的泛化能力，结果表明语言模型更可能利用提示中的快捷方式，尤其是模型变得很大时。

May, 2023

ShortcutLens：一种用于探索自然语言理解数据集中快捷方式的可视化分析方法

本文提出了一种名为 ShortcutLens 的可视化分析系统，帮助 NLU 专家探索 NLU 基准数据集中的捷径，该系统允许用户进行多层次的捷径探索，包括统计视图、模板视图和实例视图，研究结果表明 ShortcutLens 支持用户更好地了解基准数据集中的捷径问题，激励他们创建具有挑战性和相关性的基准数据集。

Aug, 2022

少学习捷径：分析和减轻虚假特征 - 标签相关性的学习

本文研究深度神经网络中数据集偏差对任务的影响。通过具体分析特征和标签之间的虚假相关性的来源，本文提出了一种训练策略，即通过量化偏置的程度来调整偏置示例的权重，以减少模型过度依赖数据集偏差的情况，并在 QM 和 NLI 任务上得到了表现的提高。

May, 2022

问答模型更喜欢学习哪种快速解决方案？

研究发现，QA 模型学习步骤通常倾向于学习 shortcut solutions 而非 QA 数据集所期望的解题方法，而学习 shortcut solutions 的行为扰乱了 QA 模型在 anti-shortcut examples 上的泛化能力。研究人员提出利用 shortcut solutions 的可学习性来设计 QA 训练集，以降低 shortcut solutions 的学习程度，从而提高 QA 模型的准确性。

Nov, 2022

视觉语言表示学习中的展示和减少快捷方式

基于对比训练的视觉语言模型主要依赖于学习图像和标题的通用表示。本文提出了一种新的训练和评估框架，注入了合成的快捷方式来减少学习中的难度和挑战，以改善对比视觉语言表示学习的性能。

Feb, 2024