为了解决 VQA 模型容易学习数据集偏见而非预期解决方案的问题，提出了一个考虑不同类型快捷方式构建不同分布变化的新数据集，并克服了在使用 VQA-CP v2 时出现的三种问题，提供了更严格和全面的测试环境。研究表明，特定快捷方式的方法无法同时适用于多个 OOD 测试集。

Oct, 2022

本文介绍了一个用于诊断视觉问答（VQA）模型中快速学习情况的评估方法，并提出了考虑问题和图片的多模态快捷方式问题。通过挖掘诸如词语和视觉元素的共现等规律等方法，首先在流行的 VQA v2 训练集中确定了可能的快速方式，然后引入基于我们的 CounterExamples 子集的 VQA-CounterExamples（VQA-CE）评估协议进行了大规模研究，发现即使是最先进的模型也难以处理这个复杂的问题。

Apr, 2021

本文研究了机器阅读理解 (MRC) 模型的学习过程，发现在训练数据中存在大量的提供快捷解决方案的问题，并且 MRC 模型倾向于优先学习快捷问题，而后期训练中高比例的快捷问题会阻碍模型深入探索复杂的推理技能。

Jun, 2021

本文研究表明，NLU 模型倾向于依赖于快捷特征进行预测，而不是真正理解语言。我们发现 NLU 训练集中的单词可以被建模为长尾分布，进一步提出了一种量化每个训练样例快捷程度的方法，并基于此提出了一个缓解快捷特征对模型训练的影响的框架 LTGR，实验结果表明这种方法可以提高模型对 OOD 数据的泛化能力，同时保持在分布数据上的准确性。

Mar, 2021

本文介绍深度学习中的 shortcut learning 问题，该问题用于在标准基准测试中表现良好的决策规则在更具挑战性的测试条件下失败，作者提出了一些模型解释和基准测试的建议，以改善从实验室到真实世界应用的稳健性和可迁移性。

Apr, 2020

本综述论文探讨了自然语言处理中普遍存在的快捷学习问题，侧重于机器阅读理解领域，总结了已有的快捷学习测量和减轻方法，并提出了缺乏公共挑战集合和其他领域突出的快捷学习方法对 MRC 的两个主要关注点。

Sep, 2022

深度学习模型从数据中提取多种多样的特征，但这些特征的使用不仅取决于其预测能力（即特征如何可靠地指示训练数据标签），还取决于其可提取性（即特征从输入中容易提取或利用的程度）。研究表明，某些模型更喜欢使用某些特定的特征，例如纹理优先于形状，图像背景优先于前景对象。本研究通过构建一个具有预测性和可提取性差异的最小显性生成框架，并量化了模型的 Shortcut Bias（即过度依赖快捷特征而忽视核心特征的程度），从而系统研究了预测性和可提取性如何相互作用来影响模型的特征使用。实证结果表明，线性模型相对没有偏见，但引入具有 ReLU 或 Tanh 单隐藏层的模型则会产生偏见。最后，本研究还研究了在实际使用中，模型是如何在自然数据集中权衡预测性和可提取性，并发现了增加模型 Shortcut Bias 程度的可提取性操作。综上所述，这些发现表明，在深度非线性架构中学习快捷特征的倾向是一个基本特征，值得进行系统研究，因为它影响模型解决任务的方式。

Oct, 2023

本文介绍了一系列实验来深入理解深度神经网络中的快捷学习和其影响。作者设计了一种学习 WCST-ML 的训练过程，证明了在相同的机会下某些提示优先于其他提示，这可以通过 Kolmogorov 复杂度来解释。作者的研究基于 DSprites 和 UTKFace 数据集，强调了消除模型偏见的重要性。

Oct, 2021

本文提出使用概率语法学习发掘 NLP 数据集中的 shortcut，同时也展示这些 features 能够帮助分类器提高最坏组的准确性。

Oct, 2022

研究发现，抽取式问答模型可能会利用表面提示预测答案，而不是真正理解问题。相对位置也可能被利用作为这种表面提示的一种方式。为了构建一个具有普适性的抽取式问答模型，有必要找出那些有可能被利用的表面提示，并采取一些方法去防止模型利用表面提示。作者提出了一种基于集成的去除偏见的方法，无需事先了解相对位置的分布。 实验证明，该方法可以缓解模型对相对位置的依赖关系，从而提高其在实际应用中的泛化能力。

Oct, 2022