对话场景外提示提升大型语言模型预测的公平性和鲁棒性

Jun, 2024

对话场景外提示提升大型语言模型预测的公平性和鲁棒性

Out-Of-Context Prompting Boosts Fairness and Robustness in Large Language Model Predictions

Leonardo Cotta, Chris J. Maddison

TL;DR通过利用因果关系作为一种工具来提高大型语言模型的可信度，我们提出了一种测试时解决方案 —— 利用开放背景提示来鼓励公平性和稳健性，以使模型在不同基准数据集上提供更可靠的预测。

Abstract

Frontier large language models (LLMs) are increasingly being deployed for high-stakes decision-making. On the other hand, these models are still consistently making predictions that contradict users' or society's expectations, e.g., hallucinating, or discriminating. Thus, it is importa

large language models trustworthiness causality fairness robustness

发现论文，激发创造

大型语言模型的上下文忠实提示

本文探讨了大型语言模型在知识获取任务中通过设计启示策略，特别是意见为基础的提示和反事实演示，有效提高了上下文的真实性，并在三个数据集上进行实验，结果表明在上下文中的忠实度有了显著提高。

Mar, 2023

大语言模型的公平指导少样本提示

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023

因果启发式：基于前门调整的大型语言模型提示去偏

通过揭示结构性因果模型的因果关系，提出了一种基于前门调整的新颖因果提示方法，通过设计不访问大型语言模型的参数和逻辑回归的提示，实施因果干预，并通过前门调整计算输入提示和输出答案之间的因果效应来减轻模型偏差。

Mar, 2024

通过利用不确定性感知型上下文学习提高大型语言模型的可靠性

通过引入一种不确定性感知的上下文学习框架，我们改进了大规模语言模型的响应质量，并过滤掉具有较高不确定性的答案，从而提高了模型的准确性。

Oct, 2023

有监督的知识提升大语言模型在上下文学习中的表现

通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

Dec, 2023

您的大型语言模型暗自支持公平性，您应该像公平支持者一样进行提示

通过为大型语言模型提供具体角色，我们开发了一个自动生成角色的流程，使得大型语言模型能够表达多元化的观点，从而解决其存在的公平性问题。

Feb, 2024

设计合理思考：关于结构化提示对消除语言模型偏见的有效性的思考

通过系统评估多种 LLM 模型和不同提示策略的方法，我们展示出基于第二系统推理提示的复杂方法在减少偏见的平均输出中表现更好，对下游任务具有竞争性能，这为以最终用户为焦点的评估框架在 LLM 使用方面提供了研究方向和潜力。

May, 2024

基于 LLM 的决策中引导群体公平性

通过评估 LLM（大型语言模型）在毒性分类任务中的公平性表现，我们引入多种修复技术并对公平性和性能进行了评估，以鼓励在基于 LLM 的分类器中进行更多关于群体公平性的研究。

Jun, 2024

更加注意源语言上下文：减轻大型语言模型带来的不忠译

在这篇研究中，我们提出了一种方法来解决大型语言模型在翻译过程中因未对齐问题而导致的不准确翻译的困扰，该方法通过调整源语言和目标语言的注意力权重、压制无关目标前缀的影响以及避免过度依赖目标前缀来改善翻译质量，实验证明该方法在多种语言对上的效果显著，有效地减少幻觉式翻译，并促进准确翻译的生成。

Jun, 2024

少样本公平性：揭示 LLM 对公平感知分类的潜力

利用大型语言模型（LLM）在各种下游应用中进行分类等工作至关重要，通过公平性可以确保包容性，基于种族、性别等因素实现平等代表和促进负责任的人工智能部署。本研究引入了一个框架来概述与各种公平性定义相一致的公平性规定，每个定义均由不同程度的抽象调控。我们通过在流程中将公平规则纳入，并使用 RAG 选择上下文演示来探索上下文学习的配置和过程。通过与不同 LLM 的实验比较，发现 GPT-4 在准确性和公平性方面的结果都优于其他模型。本研究是利用 LLMs 通过上下文学习实现预测任务公平性的早期尝试之一。

Feb, 2024