该论文研究了大型语言模型对社会性偏见的影响，特别是在韩语环境中，通过平衡数据分布和应用去偏的正则化方法，减少种族、性别以及种族偏见。

Mar, 2024

通过构建基于英文偏见基准 BBQ 的日语偏见基准数据集 JBBQ，并分析日本 LLM 的社会偏见，本研究发现，虽然当前的日本 LLM 通过指导调整提高了在 JBBQ 上的准确性，但其偏见程度却增加了。此外，通过在提示中加入关于社会偏见的警告，可以减轻某些模型中的偏见影响。

Jun, 2024

为了保证 Large Language Models（LLMs）的安全性，同时保持其上下文准确性，提出了 MBIAS 框架，通过在自定义数据集上进行指令微调，优化 LLMs 生成中的偏见和毒性问题，实验结果表明，MBIAS 能够在保持关键信息的同时，将总体偏见和毒性减少 30% 以上，且在各个人口统计学数据上的测试中，偏见和毒性减少超过 90%。

May, 2024

为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

Jun, 2021

我们引入了一个来自韩国著名 SNS 平台的全面、大规模数据集，该数据集提供了对文本样本的三种注释：（1）偏好，（2）亵渎，和（3）九种偏见类型，实现了用户生成文本的多任务学习的同时分类。通过利用最先进的基于 BERT 的语言模型，我们的方法在各种度量标准下超越了人类水平的准确性。除了学术贡献，我们的工作可以为实际的仇恨言论和偏见减轻提供实际解决方案，直接有助于提升在线社区的健康。我们的工作为未来旨在提高在线话语质量和促进社会福祉的研究奠定了坚实的基础。所有源代码和数据集都可以在此 https 链接上公开访问。

Oct, 2023

现代大型语言模型拥有丰富的世界知识，可以在正确利用的情况下在常识推理和知识密集型任务方面取得强大的性能。然而，语言模型也能够学习社会偏见，可能对社会造成重大危害。本文提出了一种使用知识图谱增强生成模型的攻击语言模型的新方法，并采用敌对攻击策略诱导多个开源和闭源语言模型产生偏见性回应。我们发现我们的方法增加了所有模型的偏见，即使那些经过安全保护性训练的模型也是如此。这表明在 AI 安全领域需要进一步的研究，以及在这个新的敌对空间中的进一步工作。

May, 2024

大型语言模型 (LLMs) 的研究及应用中存在偏见问题，本论文提出了一种基于上下文的偏见指标和评估分数 (COBIAS) 来测量偏见的可靠性，并且通过创建可靠的数据集来改善偏见减轻工作。

Feb, 2024

本文利用自然语言生成中存在的偏见漏洞，探索了六个不同在线社区的偏见。通过对 GPT-Neo 1.3B 进行精细调整，该文评估了生成模型的偏见，并通过不同的人口属性来比较情感和毒性价值，从而揭示了各种模型的偏见类型和强度的差异。此外，本文所生成的示例还展示了在偏见研究中使用自动情感和毒性分类器的局限性。

Jun, 2023

IndiBias 是一个专门为评估印度社会偏见而设计的全面基准数据集，它将现有的 CrowS-Pairs 数据集过滤和翻译成印地语，并利用 ChatGPT 和 InstructGPT 等大型语言模型增加了印度独特的社会偏见和刻板印象维度，同时还针对交叉偏见构建了相应的资源。该数据集包含 800 个过滤后的句子和用于不同人口统计的偏见测量元组，提供英语和印地语两种语言的版本，规模可与现有的基准数据集相媲美。通过使用 IndiBias，我们比较了十种不同的语言模型在多个偏见测量指标上的表现，发现语言模型在大多数交叉群体中表现出更多偏见。

Mar, 2024

本研究提出了一种新的框架，用于探索语言模型中的社会偏见，通过采集探索数据集和利用一种新的公平性评分方法，发现语言模型中的偏见更加复杂，并揭示不同宗教身份导致各种模型中最明显的不平等处理。

Nov, 2023