本文研究表明，NLU 模型倾向于依赖于快捷特征进行预测，而不是真正理解语言。我们发现 NLU 训练集中的单词可以被建模为长尾分布，进一步提出了一种量化每个训练样例快捷程度的方法，并基于此提出了一个缓解快捷特征对模型训练的影响的框架 LTGR，实验结果表明这种方法可以提高模型对 OOD 数据的泛化能力，同时保持在分布数据上的准确性。

Mar, 2021

机器学习模型中，为了解决与种族和性别等社会属性相关的公平性风险问题，我们提出了一种名为 "Shortcut Debiasing" 的方法，通过设计控制性的替代特征来代替偏见特征，在训练阶段利用这些特征来提高目标任务的学习，并在推断阶段通过干预来消除这些特征，从而在准确性和公平性方面实现了显著改善。

Aug, 2023

通过对混合专家的悲观聚合，可以增强模型对快捷方式分布变化的鲁棒性。

Jun, 2024

本文探讨了神经塌缩（Neural Collapse）现象在不平衡属性的偏倚数据集中的影响，提出了一种避免捷径学习的框架，通过设计神经塌缩结构的快捷方式引导模型，以捕捉内在的相关性，从而解决了偏倚分类的根本原因，实验证明该方法在训练过程中具有更好的收敛性能并在综合和真实世界的偏倚数据集上实现了最新的泛化性能。

May, 2024

基于对比训练的视觉语言模型主要依赖于学习图像和标题的通用表示。本文提出了一种新的训练和评估框架，注入了合成的快捷方式来减少学习中的难度和挑战，以改善对比视觉语言表示学习的性能。

Feb, 2024

本文介绍了一系列实验来深入理解深度神经网络中的快捷学习和其影响。作者设计了一种学习 WCST-ML 的训练过程，证明了在相同的机会下某些提示优先于其他提示，这可以通过 Kolmogorov 复杂度来解释。作者的研究基于 DSprites 和 UTKFace 数据集，强调了消除模型偏见的重要性。

Oct, 2021

通过使用辅助标签并强制执行因果图所隐含的条件独立性，鼓励学习不依赖于简便但不可靠关联的预测模型的灵活、因果驱动的方法是一种训练鲁棒预测器的方式。我们展示了这种因果驱动的正则化方案导致更加健壮的估计器，在分布转移下具有良好的泛化和更好的有限样本效率，即使没有简捷方式存在。

May, 2021

深度学习模型从数据中提取多种多样的特征，但这些特征的使用不仅取决于其预测能力（即特征如何可靠地指示训练数据标签），还取决于其可提取性（即特征从输入中容易提取或利用的程度）。研究表明，某些模型更喜欢使用某些特定的特征，例如纹理优先于形状，图像背景优先于前景对象。本研究通过构建一个具有预测性和可提取性差异的最小显性生成框架，并量化了模型的 Shortcut Bias（即过度依赖快捷特征而忽视核心特征的程度），从而系统研究了预测性和可提取性如何相互作用来影响模型的特征使用。实证结果表明，线性模型相对没有偏见，但引入具有 ReLU 或 Tanh 单隐藏层的模型则会产生偏见。最后，本研究还研究了在实际使用中，模型是如何在自然数据集中权衡预测性和可提取性，并发现了增加模型 Shortcut Bias 程度的可提取性操作。综上所述，这些发现表明，在深度非线性架构中学习快捷特征的倾向是一个基本特征，值得进行系统研究，因为它影响模型解决任务的方式。

Oct, 2023

自我监督视觉表示学习中，通过预训练任务训练特征提取器，提出了使用 lens 网络来减少对抗攻击漏洞，通过对图片进行微小修改，最大限度地减少了自我监督学习中的 “捷径” 特征的影响。

Feb, 2020

DropTop 提出了一种新颖的框架，可以抑制在线持续学习中的快捷方式偏差，并能够适应不断变化的环境所引起的不同程度的快捷方式偏差。通过观察到的快捷方式偏差的高关注特性，高度激活的特征被视为去偏差的候选项。此外，通过解决在线环境中缺乏先前的知识和辅助数据的限制，两种新技术 —— 特征图融合和自适应强度调整 —— 使我们能够自动确定适当的级别和候选快捷方式特征的比例要丢弃。在五个基准数据集上进行的大量实验证明，与各种在线持续学习算法相结合，DropTop 的平均准确率可以提高高达 10.4％，遗忘率减少高达 63.2％。

Dec, 2023