通过消除输入段落顺序的不同，我们的方法改变了因果注意力，使其变为段落之间的双向关注，并利用模型关注值来决定段落的相对顺序，从而实现了段落级的位置不变推理（PINE），消除位置偏差使得模型在广泛存在位置偏差的下游任务中获得更好的性能和可靠性。

Jul, 2024

本文研究了大型语言模型中的位置偏见问题，发现注意力权重和因果性注意掩码是位置偏见的微观表现，提出了通过调整位置隐状态来减轻位置偏见的方法，并通过在多个任务上进行实验验证了该方法的有效性和普适性。

Jun, 2024

通过对大型语言模型中多项选择题的研究，我们发现选项编号与选择偏见之间存在密切关系。为了减轻选择偏见，我们提出了一种名为 PriDe 的新方法，它通过计算先验分布来解决这一问题，该先验分布将选项内容与选项编号分离。PriDe 方法不仅无需标签，而且在推断过程中具有更高的效果和计算效率，通过对不同领域的样本进行训练，我们证明了 PriDe 方法估计出的先验分布具有良好的泛化能力，在更广泛的场景中具有实用潜力。

Sep, 2023

通过引入自然提示方法，即使用问题和答案选项来训练模型，使模型明确比较各个选项并减少计算成本，同时结合对多个选择符号的绑定能力，这篇论文探讨了 GPT-3 等大型语言模型在多项选择问题上能力的提升。

Oct, 2022

在这篇论文中，我们研究了大型语言模型在多项选择题中的鲁棒性，发现其对选项顺序敏感，并存在位置偏差的问题。通过详细的分析和实验证明，通过调整选项的位置策略可以缓解或者放大模型的偏见，并提出了校准预测的两种方法，成功提高了不同模型和评估指标的性能。

Aug, 2023

本研究发现在训练集中，答案位置分布呈高度偏斜时，使用位置预测作为答案的提取型问答模型容易学习到虚假的位置线索，并且在不同位置上无法提供正确的答案。因此，对于 BiDAF 和 BERT 等受到位置偏见影响的模型，我们实现了多种消除位置偏见的方法，发现使用答案先验分布作为偏见模型非常有效，在受到偏见的 SQuAD 数据集上，BERT 性能从 37.48% 提高到 81.64%。

Apr, 2020

通过从题库自动检索题目并将其用作合适的上下文示例，本研究提出了一种引导 ChatGPT 等大型语言模型生成相关干扰项的策略，通过对现有测试集进行数量评估和教师质量评注，我们发现教师评价中有 53% 的生成干扰项被评为高质量，即可立即使用，优于最先进的模型，与零样本 ChatGPT 和少样本 ChatGPT 通过静态示例进行比较，显示了我们方法在生成高质量干扰项方面的优势。

Jul, 2023

本研究旨在有意地引入偏见到大型语言模型的响应中，以创建特定的互动媒体角色。我们探索了 Falcon-7b 等开源模型与 Open AI 的 GPT-4 模型之间的差异，并对两个系统的响应进行了一些量化比较。我们发现，GPT-4 的专家混合模型中的防护措施虽然在确保 AI 的整体对齐方面很有用，但在构建具有各种不寻常观点的角色时却具有负面影响。本研究旨在为未来探索大型语言模型中的有意偏见奠定基础，以便这些实践可以应用于创意领域和新型媒体。

Nov, 2023

在这项研究中，我们探索了多选题答题（MCQA）作为评估大规模语言模型（LLMs）的方法，并发现 LLMs 在只给出选项的提示情况下选择正确答案的准确性较高，未来需要加强 MCQA 基准测试，并进一步研究 LLMs 的决策过程。

Feb, 2024

通过研究，我们发现文本答案比第一个标记概率更具鲁棒性，特别是在问题干扰和选项顺序改变的情况下，这进一步证明了对文本答案的评估优于对第一个标记概率的评估。

Apr, 2024