May, 2024

设计合理思考：关于结构化提示对消除语言模型偏见的有效性的思考

PDF
TL;DR通过系统评估多种 LLM 模型和不同提示策略的方法，我们展示出基于第二系统推理提示的复杂方法在减少偏见的平均输出中表现更好，对下游任务具有竞争性能，这为以最终用户为焦点的评估框架在 LLM 使用方面提供了研究方向和潜力。
发现论文，激发创造
  • 因果启发式：基于前门调整的大型语言模型提示去偏

    通过揭示结构性因果模型的因果关系，提出了一种基于前门调整的新颖因果提示方法，通过设计不访问大型语言模型的参数和逻辑回归的提示，实施因果干预，并通过前门调整计算输入提示和输出答案之间的因果效应来减轻模型偏差。

    Mar, 2024

  • 驾驭 LLMs 朝向无偏响应：一个因果引导的去偏框架

    使用因果理解指导设计提示机制的去偏置语言模型框架，能有效减少大型语言模型中的社会偏见。

    Mar, 2024

  • 理解迭代提示对真实性的影响

    大语言模型的发展已经明显改变了许多领域，提供了令人印象深刻的文本生成能力，然而模型的可靠性和真实性仍然是令人担忧的问题。为了解决这个问题，我们研究了迭代提示的方法，这被假设能够完善大语言模型的回答，并评估其对模型真实性的影响，这是一个尚未被彻底探索的领域。我们的大量实验深入探讨了迭代提示方法的细微差别，检查它们对模型回答的准确性和校准性的影响。我们的研究发现，朴素的提示方法严重损害了真实性，导致校准错误加剧。针对这些挑战，我们引入了几种设计用于解决已确定问题的提示变种。这些变种相比现有基准显示出明显的改善，为未来研究指明了一个有前途的方向。我们的工作提供了对迭代提示的微妙理解，并引入了增强大语言模型真实性的新方法，从而为开发更准确可信的 AI 系统做出了贡献。

    Feb, 2024

  • 基于提示的多任务学习中社交偏见的测量

    本论文探讨了在多任务文本生成模型中，使用问题 - 答案格式输入与前提 - 假设格式输入是否会影响模型的社会偏见，并使用两个基准测试评估了 T0 模型在其中的表现，结果表明前者会使得模型表现出更多的社会偏见。

    May, 2022

  • 指示微调语言模型是否能够通过提示识别社会偏见？

    评估指令微调语言模型通过零样本提示，包括思维链（CoT）提示，识别偏见的能力，其中 Alpaca 7B 在偏见识别任务中具有 56.7％的准确性，同时展示了 LLM 规模和数据多样性的扩大可能会进一步提高性能。

    Jul, 2023

  • 基于语法多样性提示的鲁棒自然语言生成偏差评估

    通过使用不同的语法结构，本文提出了一种鲁棒的自然语言生成系统偏见评估方法，其结果显示采用语法多样性的提示可以实现更鲁棒的 NLG（偏见）评估。

    Dec, 2022

  • 大语言模型的公平指导少样本提示

    本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

    Mar, 2023

  • 量化语言模型对触发设计中伪特征的敏感性，或：我如何开始担忧触发格式

    大语言模型的关键因素在于提示设计对其性能会产生巨大影响，通过许多方面的分析研究，我们发现几种常用开源大语言模型对微妙的提示格式变化具有极高的敏感性，这种敏感性在不断增加模型大小、样本数量或进行指令调整时仍然存在。

    Oct, 2023

  • 小心提示偏见！研究和缓解事实知识提取中的提示偏见

    该研究量化了各种类型提示的偏差，并评估了其对不同基准测试的影响。通过提出一种基于表示的方法来缓解提示偏差，研究发现该方法不仅可以纠正由提示偏差引起的过拟合性能，还可以显著提高提示检索能力。

    Mar, 2024

  • 基于软提示调节的大型语言模型偏置评估

    本文探讨在情感分类任务上使用软提示调整识别大型语言模型（LLMs）如 OPT 和 Galactica 语言模型中的偏见，使用群体公平性（偏见）来检查模型偏见，并发现有趣的偏见模式，以便在实践中部署这些模型之前，识别这些偏见。

    Jun, 2023