提出了一种用于检测和减轻语言模型中性别偏见的新方法，通过因果分析确定了问题模型组件，发现中上部前馈层最容易传递偏见，根据分析结果通过线性投影来改进模型，该方法（DAMA）显著减少了偏见，并保持了模型在下游任务上的性能。

Oct, 2023

本文通过提出使用专用去偏置适配器的可持续模块化去偏置方法 ADELE，解决当前使用预训练语言模型存在的去偏置方法计算代价高和可能导致遗忘的问题，在性别去偏置任务上展示了 ADELE 的有效性，并证明其模块化特性使其在大规模下游训练后仍能保持公平，并成功将其运用到六种目标语种。

Sep, 2021

通过使用结构化知识和大型生成模型，在多个偏见维度上以半自动的方式构建多样化反事实数据扩充（CDA），我们提出了一种模块化地消除预训练语言模型中的多个偏见维度。我们强调现有的去偏见方法未考虑多个社会偏见之间的相互作用，并提出了一种在各种社会偏见之间利用协同效应、能够同时进行多偏见去偏见的模型。通过在多个任务和多种语言上进行广泛评估，证明了我们的方法的有效性。

Feb, 2024

本文研究如何使用计算资源相对较小的方法，结合反事实数据增强技术（CDA）来减少预先训练的语言模型中的偏见，发现参数有效的方法能够有效地减少性别偏见，但对于种族和宗教偏见效果较差，且与全细调的性能相当。

Jun, 2023

这篇论文介绍了一种名为 Controllable Gate Adapter（ConGater）的新型模块化门控机制，其具有可调节的灵敏度参数，可以在推理时从有偏态的模型逐渐过渡到完全去偏态的版本，该机制可以在实践中调节偏倚减少的程度以实现性能和公平性之间的权衡。

Jan, 2024

最近的研究发现，深度神经网络在许多实际场景中可能表现出偏见。本研究提出了一种快速模型去偏方法（FMD），该方法通过显式的反事实概念识别偏见属性，并使用影响函数量化数据样本的影响，进而设计了一种基于机器遗忘的策略来高效有效地消除模型中的偏见。实验证明，与现有先进方法相比，我们的方法在达到更高或相当的准确性的同时，具有更少的偏见和更低的去偏成本要求。

Oct, 2023

当前的自然语言处理（NLP）研究倾向于仅关注一到两个维度，如性能、隐私、公平性或效率，这可能导致次优的结论，并常常忽视实现可信赖的 NLP 的更广泛目标。适配器模块的工作主要关注提高性能和效率，并未对公平性等其他方面的意外后果进行调查。我们在三个文本分类数据集上进行实验，通过（1）微调所有参数或（2）使用适配器模块来研究性能和效率。关于性能和效率，我们确认了先前的发现，即适配器增强模型的准确性大致与完全微调的模型相当，而训练时间大大缩短。关于公平性，我们发现适配器模块在敏感群体之间造成了混合的公平性。进一步研究发现，当标准微调模型表现出有限的偏见时，适配器模块通常不会引入额外的偏见。另一方面，当微调模型表现出增加的偏见时，适配器模块对偏见的影响变得不可预知，可能会导致对某些群体的偏见显著放大的风险。我们的发现强调了需要进行个案评估，而非一刀切的判断。

May, 2024

本文介绍了一种基于对抗学习的机器翻译性别偏见缓解框架，该框架通过在预训练的大型语言模型上微调网络目标，以及从数据自身推断保护变量的任务中开发措施，实现了对机器翻译中的性别偏见的缓解，提高了男女实体翻译质量的差异。

Mar, 2022

通过提出稀疏的自适应器混合 (SMoA) 方法，可以更有效地解决多个数据集的偏差，进而提高自然语言推理和近义词鉴定任务的表现，并且 SMoA 方法的可解释性有助于捕捉训练数据中的特定模式并用来处理特定的偏差。

Feb, 2023

本文通过适配器模块与中间融合层来调整预训练语言模型，从而建立了适应多模态任务的基于 BERT 的体系结构 AMB，并在情感分析方面取得 3.4% 的误差相对降低率和 2.1% 的 7 级分类精度相对提高率的最好表现，展现了 AMB 的高效性与稳健性。

Dec, 2022