研究了预训练代码生成模型中的社交偏见问题，提出了一种新的方法来构建代码提示，以量化生成代码中的社交偏见严重程度并找出不同人口群体之间的细微差异，并分析得出低社交偏见的代码生成模型选择的有用见解。

May, 2023

提出了一种先进的搜索和优化框架，基于大型语言模型生成高质量代码，用于解决数据分析和生成软件系统中的错误和偏差问题，并使用 Solomonoff 归纳作为理论基础，通过扩展 Kolmogorov 条件复杂性来评估候选程序集。

Oct, 2023

基于最新的大型语言模型 (LLMs) ，本研究提出了一个面向代码生成任务的新型偏差评估框架，并对九种最先进的 LLM-based 代码生成模型进行了广泛评估。研究发现，我们评估的代码生成模型中有 31.45% 到 79.93% 的代码函数存在偏差，其中 9.68% 到 37.37% 的代码函数受到偏差的影响，这意味着不仅代码生成模型存在偏差，而且在某些情况下，偏差直接影响生成代码的功能，存在无意和可能有害的软件行为风险。为了减轻代码生成模型的偏差，我们提出了三种缓解策略，可以将偏差代码比例降低到非常低的水平，即 0.4% 到 4.57%。

Sep, 2023

本文分析了影响社会偏见结果的文本补全的具体选择、度量、自动工具和抽样策略，发现在不同的实验设置下，测量偏见的实践很容易产生相互矛盾的结果，并提供了有关开放式语言生成中报告偏见的建议，从而更完整地展示给定语言模型所展示的偏见。

May, 2022

我们提出了一个名为 GPTBIAS 的偏见评估框架，它利用 LLMs 的高性能来评估模型的偏见，提供偏见分数以及包括偏见类型、受影响的人群、关键词和改进建议在内的详细信息，通过广泛的实验证明了该评估框架的有效性和可用性。

Dec, 2023

基于因果分析的方法用于系统地分析大语言模型（LLMs）输入提示与生成代码之间的因果关系，研究结果展示了该技术在提供 LLMs 有效性方面的潜力，并帮助最终用户理解预测，同时提供改进 LLMs 生成代码质量的可操作见解。

Oct, 2023

为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

Jun, 2021

大语言模型可以生成具有偏见的回答。然而，先前的直接探测技术包含性别提及或预定义的性别刻板印象，这些很难全面收集。因此，我们提出了一种基于条件生成的间接探测框架，旨在诱使大语言模型揭示其性别偏见，即使没有显式的性别或刻板印象提及。我们探索了三种不同的策略来揭示大语言模型中的显式和隐式性别偏见。我们的实验证明，所有经过测试的大语言模型都表现出显式和 / 或隐式的性别偏见，即使输入中没有性别刻板印象。此外，模型大小的增加或模型对齐会放大大多数情况下的偏见。此外，我们通过超参数调整、指导性指导和去偏调整这三种方法来研究大语言模型中的偏见缓解。值得注意的是，即使没有显式的性别或刻板印象，这些方法也被证明是有效的。

Feb, 2024

本文提出了第一种自动发现黑盒生成模型中安全漏洞的方法，并基于少量提示提出了新颖的黑盒逆转方法。通过对高风险安全弱点的代码生成模型进行研究，我们展示了我们的方法可以自动系统地发现各种代码生成模型中的上千个安全漏洞，包括商业黑盒模型 GitHub Copilot。

Feb, 2023

通过引入名为 Galeras 的基准测试策略，将统计学严谨性引入 LLMs 的评估，该论文展示了因果推断评估在降低混杂偏差方面的实践成果，为分析准确度指标提供了可解释性的解决方案。

Aug, 2023