ACLJun, 2024

揭示选择偏见：大型语言模型中的顺序和标记敏感性探索

PDF
TL;DR我们在这篇论文中研究了大型语言模型（LLMs）中的 “选择偏差” 现象，专注于模型在从有序序列中选择最佳选项的问题。我们深入探讨了与选项顺序和标记使用相关的偏差，这些偏差显著影响了 LLMs 的决策过程。通过多个模型和任务的广泛实证分析，我们还对这些偏差的影响进行了量化。此外，我们提出了缓解策略以增强模型性能。我们的主要贡献有三个方面：1）精确量化了选项顺序和标记对 LLMs 的影响；2）开发了缓解标记和顺序敏感性以增强鲁棒性的策略；3）详细分析了不同模型和任务的敏感性，为选择问题的更稳定可靠的 LLMs 应用程序的创建提供了指导。
发现论文，激发创造
  • 大型语言模型对多项选择题选项顺序的敏感性

    在这篇论文中，我们研究了大型语言模型在多项选择题中的鲁棒性，发现其对选项顺序敏感，并存在位置偏差的问题。通过详细的分析和实验证明，通过调整选项的位置策略可以缓解或者放大模型的偏见，并提出了校准预测的两种方法，成功提高了不同模型和评估指标的性能。

    Aug, 2023

  • 大语言模型的选择碰撞器偏差

    本文旨在探讨样本选择所导致的碰撞偏差对大型语言模型的影响，描述了一种利用由此产生的错误相关性的方法来确定模型对其预测存在不确定性的不确定度度量，并提出了人类不确定性匹配的不确定度度量，并在网络上提供演示。

    Aug, 2022

  • 大型语言模型中的偏见和公平性研究综述

    大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

    Sep, 2023

  • 当基准成为目标：揭示大型语言模型排行榜的敏感性

    利用基准排名构建的大型语言模型（LLM）排行榜经常被用来指导实践者选择模型，但我们展示了这是一个（潜在的昂贵）错误。在现有的排行榜中，LLM 的相对性能对（通常微小的）细节非常敏感。我们通过对多个选择题基准进行实验，比如改变选项的顺序或答案选择方法，我们发现这些微小扰动会导致排名变化高达 8 个位置。我们通过对三类基准扰动进行系统性实验并确定其来源来解释这个现象。我们的分析得出了一些最佳实践建议，包括使用混合评分方法进行答案选择。我们的研究强调了依赖简单基准评估的风险，并规划了更健壮的评估方案的路径。

    Feb, 2024

  • 超越性能：量化和减轻 LLMs 中的标签偏差

    通过评估不同方法对模型预测中的标签偏倚进行量化研究，我们提出了一种专门用于少样本提示的新型标签偏倚校准方法，其在提高性能和减轻标签偏倚方面优于最近的校准方法。我们的结果强调大型语言模型中标签偏倚对其可靠性的影响。

    May, 2024

  • 探测大型语言模型中的未预料偏见

    通过探索新的方法来检测大型语言模型中的潜在偏见，本研究聚焦于不确定性量化和可解释人工智能方法，旨在提高模型决策的透明性，以识别和理解不明显的偏见，从而为更加公平和透明的人工智能系统的发展做出贡献。

    Apr, 2024

  • 基于似然的大型语言模型评估偏差的缓解

    大型语言模型广泛用于自然语言生成任务的自动评估指标，然而，由于句子中的表面差异（如词序和句子结构），可能会导致语言模型的可能性有所偏差，本文研究了基于语言模型的评估器中可能存在的可能性偏见，并提出了缓解可能性偏见的方法，该方法利用高度偏倚的实例作为少样本示例进行上下文学习，实验证明我们测试的几个语言模型存在可能性偏见，而且我们提出的方法成功地缓解了这种偏见，并显著提高了评估性能（与人类评分的相关性）。

    Feb, 2024

  • 关于大型语言模型在多选题中的选择偏差

    通过对大型语言模型中多项选择题的研究，我们发现选项编号与选择偏见之间存在密切关系。为了减轻选择偏见，我们提出了一种名为 PriDe 的新方法，它通过计算先验分布来解决这一问题，该先验分布将选项内容与选项编号分离。PriDe 方法不仅无需标签，而且在推断过程中具有更高的效果和计算效率，通过对不同领域的样本进行训练，我们证明了 PriDe 方法估计出的先验分布具有良好的泛化能力，在更广泛的场景中具有实用潜力。

    Sep, 2023

  • 认知负荷下的补偿性偏差：降低大型语言模型中的选择偏差

    大型语言模型（LLMs）（如 gpt-3.5-turbo 和 claude-instant-1.2）在解释和执行基于语义的任务方面发挥了重要作用。然而，这些模型天生存在的偏见，类似于人类的认知偏见，对它们的性能产生了负面影响。本研究关键地审查了这些偏见并量化了其对代表性列表选择任务的影响。通过进行一系列控制实验，控制温度、列表长度、对象身份、对象类型、提示复杂度和模型，从而使我们能够分离和测量偏见对选择行为的影响。我们的发现表明，偏见结构与模型强相关，对象类型调节了效应的幅度。存在较为显著的首位效应，使列表中的首个对象在输出中被过度代表。此外，当在选择任务中与守卫栏结合使用时，保证回答结构的提示工程方法可能会增加偏见并降低指令遵循性。当分离守卫栏步骤与列表抽样步骤时，偏见被消除，降低了每个个体任务的复杂性。本研究的意义是双重的，实践上提供了设计无偏 LLMs 应用的指南，理论上暗示了 LLMs 体验到了一种通过增加偏见来补偿的认知负荷。

    Jan, 2024

  • 探索价值偏见：LLM 模型向理想状态的偏离

    一项研究发现，大型语言模型的非故意回应存在价值偏差，倾向于偏爱高价值选项，该偏差在不同领域的语言模型中都存在，并对相关应用场景选择起到影响。

    Feb, 2024