本文探究了现有代码生成系统中基于大型语言模型的偏见在特定情况下可能泄漏到生成代码中的问题，提出了一种自动消除提示并暴露各种偏见的框架，并将其应用于三个编码挑战中测试，发现代码生成模型存在特定提示结构和关键字的偏见，最后，我们展示了如何将我们的框架作为数据转换技术，这是更强大的代码生成方向。

Oct, 2022

基于最新的大型语言模型 (LLMs) ，本研究提出了一个面向代码生成任务的新型偏差评估框架，并对九种最先进的 LLM-based 代码生成模型进行了广泛评估。研究发现，我们评估的代码生成模型中有 31.45% 到 79.93% 的代码函数存在偏差，其中 9.68% 到 37.37% 的代码函数受到偏差的影响，这意味着不仅代码生成模型存在偏差，而且在某些情况下，偏差直接影响生成代码的功能，存在无意和可能有害的软件行为风险。为了减轻代码生成模型的偏差，我们提出了三种缓解策略，可以将偏差代码比例降低到非常低的水平，即 0.4% 到 4.57%。

Sep, 2023

本文提出了一种框架来生成具有特定类型偏差和它们的组合的合成数据，以分析在机器学习模型中存在的各种偏差，讨论它们与道德和正义框架的关系，并利用我们提出的合成数据发生器在不同场景中（包括存在不同偏差组合的场景）进行实验，因此分析了偏差对未减轻和减轻的机器学习模型的性能和公平度指标的影响。

Sep, 2022

研究了预训练代码生成模型中的社交偏见问题，提出了一种新的方法来构建代码提示，以量化生成代码中的社交偏见严重程度并找出不同人口群体之间的细微差异，并分析得出低社交偏见的代码生成模型选择的有用见解。

May, 2023

使用大规模生成模型和较小的编码器模型，语言模型可以帮助软件开发人员提高生产力，包括代码生成、代码补全、代码搜索等任务，并且可以通过新的基准数据集 GenCodeSearchNet (GeCS) 来评估语言模型对编程语言理解的泛化能力。

Nov, 2023

本文提出一个系统研究深度生成模型的偏差和泛化的框架，并通过认知心理学实验方法探讨其生成新属性和组合的特点与人类心理学的相似之处。作者发现这些模式与常用模型和结构一致。

Nov, 2018

该研究论文提出了一种系统，用于自动预测代码 - 注释对的有用性，并研究了大型语言模型生成的数据对原始基础数据以及相应源代码的影响。通过使用评论和相应代码的神经上下文表示来训练基于机器学习的模型，我们开发了一个框架来预测代码 - 注释对的有用性，并分析了与基础数据使用 LLM 生成数据的性能。在官方评估中，我们的系统相对于基准线提高了 4% 的 F1 得分，并提高了生成数据的质量。

Oct, 2023

大型语言模型的出现引入了一种新的搜索引擎范式，使用生成模型来收集和总结信息以回答用户查询。我们正式将这种新兴技术统一归类为生成引擎，并认为它具有生成准确和个性化的回答的潜力，正在快速取代谷歌和必应等传统搜索引擎。为了解决内容创作者面临的挑战，我们引入了生成引擎优化（GEO），这是一种通过黑盒优化框架来优化和定义可见性指标，以帮助内容创作者提高其内容在生成引擎回应中的可见性，且经过严格评估，我们展示了 GEO 在生成引擎回应中可提高可见性高达 40％的效果，同时也强调了对特定领域的需求。我们的工作在信息发现系统领域开辟了新的前沿，并对生成引擎和内容创作者产生了深远的影响。

Nov, 2023

合成数据生成已成为金融机构的重要课题，本研究提出了一种新的合成数据生成框架，将监督组件与元学习方法结合，为特定下游任务学习最佳混合分布的已有合成分布。

Sep, 2023

使用逐步条件生成模型和贝叶斯优化的方法，通过生成对抗网络来分析分类器在种族和性别方面的偏差。

May, 2019