在该项目中，我们探索了新兴的提示工程领域，并将其应用于检测语言模型偏见的下游任务。具体而言，我们研究如何设计能够指示 4 种不同类型偏见（性别、种族、性取向和基于宗教）的提示。我们在多个流行和公认的模型（BERT、RoBERTa 和 T5）的不同变体上应用这些提示来评估其偏见。我们提供了这些模型的比较分析，并采用两种方法进行评估：使用人的判断来决定模型预测是否存在偏见，并利用模型级别的判断（通过进一步的提示）来了解模型是否能够自我诊断其预测的偏见。

Sep, 2023

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023

本文探讨在情感分类任务上使用软提示调整识别大型语言模型（LLMs）如 OPT 和 Galactica 语言模型中的偏见，使用群体公平性（偏见）来检查模型偏见，并发现有趣的偏见模式，以便在实践中部署这些模型之前，识别这些偏见。

Jun, 2023

本文分析了影响社会偏见结果的文本补全的具体选择、度量、自动工具和抽样策略，发现在不同的实验设置下，测量偏见的实践很容易产生相互矛盾的结果，并提供了有关开放式语言生成中报告偏见的建议，从而更完整地展示给定语言模型所展示的偏见。

May, 2022

通过量化和定性分析 90 个偏见测试，本文在应用测量建模框架来创造捕捉偏见测试目标的属性分类法的基础上，揭示了偏见测试的核心概念和操作存在的不明确、含蓄、或不匹配的偏差种类及其频度，并提出指导方案，以便更全面地探索偏见空间和更全面地评估语言模型的实验设计。

May, 2023

评估指令微调语言模型通过零样本提示，包括思维链（CoT）提示，识别偏见的能力，其中 Alpaca 7B 在偏见识别任务中具有 56.7％的准确性，同时展示了 LLM 规模和数据多样性的扩大可能会进一步提高性能。

Jul, 2023

本文通过创建一个基于职业的自然句子语料库来评估语言模型上的偏差，与以往只使用合成数据集的研究方法有所不同，证明使用基于自然句子的提示会比基于预设模板的提示更为准确和系统化地评估性别 - 职业偏差。

May, 2022

通过系统评估多种 LLM 模型和不同提示策略的方法，我们展示出基于第二系统推理提示的复杂方法在减少偏见的平均输出中表现更好，对下游任务具有竞争性能，这为以最终用户为焦点的评估框架在 LLM 使用方面提供了研究方向和潜力。

May, 2024

我们提出了一种空输入提示方法，通过使用来自 GPT-4 的多样化的空意义输入来为预训练语言模型的内在偏差校准提供基准，从而提高了零 / 少样本学习的性能。

Feb, 2024

通过使用不同的语法结构，本文提出了一种鲁棒的自然语言生成系统偏见评估方法，其结果显示采用语法多样性的提示可以实现更鲁棒的 NLG（偏见）评估。

Dec, 2022