通过利用一种新颖的统计测试方法，我们发现词汇分布与文本蕴含类之间存在显著关联，强调词汇是一种明显的偏差源。为了减轻这些问题，我们提出了几种自动数据增强策略，从字符到词级别。通过对 ELECTRA 预训练语言模型进行微调，我们将有增强数据的模型与基准模型进行了比较。实验证明，所提出的方法可以有效提高模型准确性，并分别减少偏差约 0.66% 和 1.14%。

Dec, 2023

大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

Sep, 2023

为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

Jun, 2021

大型语言模型（LLMs）中存在的性别偏见令人担忧，但提出了一种无需访问模型参数的新方法，即通过手动设计的文本前言和职业描述句来有效抑制性别偏见，并且对下游任务性能影响最小。

Sep, 2023

本文提出了一个名为 MMBias 的基准数据集，用于评估自我监督多模态模型中的偏差，并介绍了一种旨在缓解偏差的去偏置方法。

Mar, 2023

该论文研究了大型语言模型对社会性偏见的影响，特别是在韩语环境中，通过平衡数据分布和应用去偏的正则化方法，减少种族、性别以及种族偏见。

Mar, 2024

本文探讨了深度学习模型在自然语言推理方面存在数据偏见的现象，并提出了数据级和模型级去偏见的方法，实验表明采用正交性方法可以更好地去偏见且保持高准确率。

May, 2020

通过引入一个偏差放大的训练集和一个反偏袒的测试集来评估模型的性能，我们提出为了开发对这些偏差具有稳健性的模型，应该将数据集的偏差放大。实验表明，这种评估体系对模型来说比原始的数据拆分和手工制作的挑战集都更具挑战性。

May, 2023

这篇研究使用变换器语言模型研究了其训练数据所带来的偏见问题，并提出了一种去偏方法，得到的去偏模型在下游任务上保持了良好的表现。

May, 2023

最近人工智能方面的进展，包括高度复杂的大型语言模型（LLM）的发展，已在许多实际应用中证明其益处。然而，这些 LLM 中存在的固有偏见的证据引发了对公平性的担忧。作为回应，涉及偏见的研究增加了，包括量化偏见和开发去偏技术的研究。针对二元性别分类和道德 / 种族考虑，还开发了基准偏见数据集，主要关注美国人口统计信息。然而，在了解和量化与少数族裔社会有关的偏见方面几乎没有研究。受对用于量化少数族裔社会偏见的注释数据集缺乏的启发，我们努力为新西兰（NZ）人口创建基准数据集。然而，尽管有三名注释者的数据，我们在这个过程中面临了许多挑战。这项研究概述了手动注释过程，概述了我们遇到的挑战和所学到的教训，并提出了未来研究的建议。

Sep, 2023