自我监督视觉表示学习中，通过预训练任务训练特征提取器，提出了使用 lens 网络来减少对抗攻击漏洞，通过对图片进行微小修改，最大限度地减少了自我监督学习中的 “捷径” 特征的影响。

Feb, 2020

通过快速扩散基于反事实的图像生成和基于修补的修改方法，我们检测和量化潜在的捷径特征对模型预测的影响。我们通过在两个大型胸部 X 射线数据集、一个皮肤病损数据集和 CelebA 上确认，验证了我们的方法在推理速度显著提升、图像质量与最先进技术可比的同时的有效性。

Dec, 2023

本文探讨了神经塌缩（Neural Collapse）现象在不平衡属性的偏倚数据集中的影响，提出了一种避免捷径学习的框架，通过设计神经塌缩结构的快捷方式引导模型，以捕捉内在的相关性，从而解决了偏倚分类的根本原因，实验证明该方法在训练过程中具有更好的收敛性能并在综合和真实世界的偏倚数据集上实现了最新的泛化性能。

May, 2024

本文通過創建因果貝葉斯知識圖，對機器學習模型中的歷史數據中現有的偏見進行了發現，提出了一種新的基於風險差的算法，以量化每個受保護變量在圖中的歧視影響力，以及一種快速適應的偏差控制方法，在元學習中高效地減少了組的不公平性，最終在合成和實際數據集上進行了廣泛實驗，證明了我們提出的不公平發現和防治方法可以高效地檢測偏見並減輕模型輸出上的偏見以及對訓練樣本量少的未見任務的精度和公平度的泛化。

Sep, 2020

本文介绍了一系列实验来深入理解深度神经网络中的快捷学习和其影响。作者设计了一种学习 WCST-ML 的训练过程，证明了在相同的机会下某些提示优先于其他提示，这可以通过 Kolmogorov 复杂度来解释。作者的研究基于 DSprites 和 UTKFace 数据集，强调了消除模型偏见的重要性。

Oct, 2021

本文探讨计算机视觉领域中，当进行看似不相关的任务（如活动识别或图像描述）训练时，模型学习偏见的问题，以及避免学习此类偏见的方法，并在 CelebA 数据集的属性分类任务中使用领域无关的训练技术，有效地减轻了现实世界中的性别偏见。

Nov, 2019

深度学习模型从数据中提取多种多样的特征，但这些特征的使用不仅取决于其预测能力（即特征如何可靠地指示训练数据标签），还取决于其可提取性（即特征从输入中容易提取或利用的程度）。研究表明，某些模型更喜欢使用某些特定的特征，例如纹理优先于形状，图像背景优先于前景对象。本研究通过构建一个具有预测性和可提取性差异的最小显性生成框架，并量化了模型的 Shortcut Bias（即过度依赖快捷特征而忽视核心特征的程度），从而系统研究了预测性和可提取性如何相互作用来影响模型的特征使用。实证结果表明，线性模型相对没有偏见，但引入具有 ReLU 或 Tanh 单隐藏层的模型则会产生偏见。最后，本研究还研究了在实际使用中，模型是如何在自然数据集中权衡预测性和可提取性，并发现了增加模型 Shortcut Bias 程度的可提取性操作。综上所述，这些发现表明，在深度非线性架构中学习快捷特征的倾向是一个基本特征，值得进行系统研究，因为它影响模型解决任务的方式。

Oct, 2023

最近的研究发现，深度神经网络在许多实际场景中可能表现出偏见。本研究提出了一种快速模型去偏方法（FMD），该方法通过显式的反事实概念识别偏见属性，并使用影响函数量化数据样本的影响，进而设计了一种基于机器遗忘的策略来高效有效地消除模型中的偏见。实验证明，与现有先进方法相比，我们的方法在达到更高或相当的准确性的同时，具有更少的偏见和更低的去偏成本要求。

Oct, 2023

通过使用辅助标签并强制执行因果图所隐含的条件独立性，鼓励学习不依赖于简便但不可靠关联的预测模型的灵活、因果驱动的方法是一种训练鲁棒预测器的方式。我们展示了这种因果驱动的正则化方案导致更加健壮的估计器，在分布转移下具有良好的泛化和更好的有限样本效率，即使没有简捷方式存在。

May, 2021

本研究通过重构和最小化预期变量之间的统计相依来解决图像训练数据偏见的问题，使用包含 U-net 和预训练分类器的架构，将所提出的模型与最新的去偏见方法进行了对比，并展示了模型的公正性 - 准确性组合。

Sep, 2022