本文探究了现有代码生成系统中基于大型语言模型的偏见在特定情况下可能泄漏到生成代码中的问题，提出了一种自动消除提示并暴露各种偏见的框架，并将其应用于三个编码挑战中测试，发现代码生成模型存在特定提示结构和关键字的偏见，最后，我们展示了如何将我们的框架作为数据转换技术，这是更强大的代码生成方向。

Oct, 2022

基于最新的大型语言模型 (LLMs) ，本研究提出了一个面向代码生成任务的新型偏差评估框架，并对九种最先进的 LLM-based 代码生成模型进行了广泛评估。研究发现，我们评估的代码生成模型中有 31.45% 到 79.93% 的代码函数存在偏差，其中 9.68% 到 37.37% 的代码函数受到偏差的影响，这意味着不仅代码生成模型存在偏差，而且在某些情况下，偏差直接影响生成代码的功能，存在无意和可能有害的软件行为风险。为了减轻代码生成模型的偏差，我们提出了三种缓解策略，可以将偏差代码比例降低到非常低的水平，即 0.4% 到 4.57%。

Sep, 2023

通过调查，我们着重讨论了语言生成中社会偏见的数据和技术对偏见的影响及降低偏见的进展，并进行了实验来量化解码技术的影响，提出了语言生成应用公平和包容性考虑的重要性。

May, 2021

本文分析了影响社会偏见结果的文本补全的具体选择、度量、自动工具和抽样策略，发现在不同的实验设置下，测量偏见的实践很容易产生相互矛盾的结果，并提供了有关开放式语言生成中报告偏见的建议，从而更完整地展示给定语言模型所展示的偏见。

May, 2022

为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

Jun, 2021

该研究提出了 BiasPainter，这是一个新颖的变态测试框架，可以准确、自动、全面地触发图像生成模型中的社会偏见，并对其公平性进行评估。实验证明，BiasPainter 成功触发了 100% 的测试案例中的社会偏见。

Jan, 2024

我们提出了一种通用方法来控制自然语言生成中的社会偏见。通过对特定人口群体进行输入提示的提及，我们开发了一种诱发社会偏见的方法，并对两种情况进行了分析：在一种人口群体中诱发负面偏见，同时在另一种人口群体中诱发正面偏见，并使偏见在不同人口群体之间相等。该方法被证明在减轻偏见过程中是有效的。

May, 2020

提出了一种先进的搜索和优化框架，基于大型语言模型生成高质量代码，用于解决数据分析和生成软件系统中的错误和偏差问题，并使用 Solomonoff 归纳作为理论基础，通过扩展 Kolmogorov 条件复杂性来评估候选程序集。

Oct, 2023

本研究旨在揭示 Text-to-SQL 模型中的社会偏见，通过建立测试基准和展示如何利用我们的方法来揭示并评估下游 Text-to-SQL 任务中的社会偏见。

May, 2023

研究旨在探讨最新的预训练模型中是否比旧模型更负责任地发展，以便降低固有的社会偏见以及探究三个最近的模型（ELECTRA，DeBERTa 和 DistilBERT）在减少偏见方面的总体趋势。实验比较这些模型与基准 BERT 的关联指标，并发现所有研究对象都存在有偏差，但完整指标相对于 BERT 有所提高。

Apr, 2023