通过同时建模多个偏差来提高问答的泛化性能
本文提出了两种学习策略来训练神经模型，更加稳健，并且更能够迁移到域外的数据集。这些策略利用了数据集的偏差，通过 down-weighting 有偏差的例子，使基础模型减少对偏差的依赖。实验表明，我们的去偏差方法在所有设置中都显著提高了模型的稳健性，并且更好地迁移到其他文本蕴涵数据集上。
Sep, 2019
本文提出了一种自我去偏方法，以减少 NLU 模型在不事先知道偏差情况下利用偏差的趋势，并表明此方法不仅具有一般性和互补性，而且还能提高模型的整体鲁棒性。
Sep, 2020
本文提出了一种训练出更具有领域迁移鲁棒性的模型的方法，通过训练一个简单模型以识别数据集偏差，再与鲁棒模型结合，使其更专注于数据集中更容易推广的模式。在五个具有领域迁移测试集的数据集上实验，结果显示在所有情况下都有显著改善，包括一个变化优先视觉问答数据集上的 12 点增益和一个对抗问答测试集上的 9 点增益。
Sep, 2019
通过引入偏见专家（bias experts），我们提出了一个新的去偏框架，改善了辅助模型的偏见识别能力，并且在各种挑战性数据集上始终优于现有技术水平。
Dec, 2023
本文介绍了一种名为置信度正则化的新型去偏方法，旨在提高自然语言理解任务模型对于越界数据的表现，同时保持对内界数据的准确度。实验表明，与之前的方法相比，该方法在提高模型对越界数据的表现方面具有更好的效果。
May, 2020
提出了一种名为 BMBI 的方法，用于减轻多选问题回答模型中的偏见。通过观察一个查询实例对另一个实例的影响来度量查询实例的偏见水平，并将其作为优化目标，形成一个多任务学习设置。引入了一个新的偏见评估度量方法，以全面而敏感的方式量化偏见。实验证明，该方法可应用于多个偏见类别的多个问题回答公式，在不降低问题回答准确性的情况下显著降低了 BBQ 数据集中的 9 个偏见类别的偏见水平。
Oct, 2023
通过引入一种简单而有效的去偏置框架，利用主模型的浅层表示来推导一个偏置模型，并同时训练两个模型，我们在三个广泛研究的自然语言理解任务中演示了该方法的有效性，尽管其简单性，但其在越界测试集上表现不俗，明显优于其他去偏执方法，并且仍然能够提供高性能的内分布结果。
Sep, 2021
通过结合提示方法和线性探针 fine-tuning 策略，我们提出了一种新颖的方法，可以有效提高生成模型和判别模型的泛化能力，特别在跨领域问题回答 (QA) 任务上表现优异。
May, 2023