EMNLPApr, 2020

问答系统中的位置偏差

PDF
TL;DR本研究发现在训练集中，答案位置分布呈高度偏斜时，使用位置预测作为答案的提取型问答模型容易学习到虚假的位置线索，并且在不同位置上无法提供正确的答案。因此，对于 BiDAF 和 BERT 等受到位置偏见影响的模型，我们实现了多种消除位置偏见的方法，发现使用答案先验分布作为偏见模型非常有效，在受到偏见的 SQuAD 数据集上，BERT 性能从 37.48% 提高到 81.64%。
extractive question answering modelsposition biasbertde-biasing methodssquad dataset
发现论文，激发创造
  • 向右看：减轻答疑中的相对位置偏差

    研究发现，抽取式问答模型可能会利用表面提示预测答案，而不是真正理解问题。相对位置也可能被利用作为这种表面提示的一种方式。为了构建一个具有普适性的抽取式问答模型，有必要找出那些有可能被利用的表面提示，并采取一些方法去防止模型利用表面提示。作者提出了一种基于集成的去除偏见的方法，无需事先了解相对位置的分布。 实验证明，该方法可以缓解模型对相对位置的依赖关系，从而提高其在实际应用中的泛化能力。

    Oct, 2022

  • 消除语言模型的位置偏见：一种机制化方法

    通过消除输入段落顺序的不同，我们的方法改变了因果注意力，使其变为段落之间的双向关注，并利用模型关注值来决定段落的相对顺序，从而实现了段落级的位置不变推理（PINE），消除位置偏差使得模型在广泛存在位置偏差的下游任务中获得更好的性能和可靠性。

    Jul, 2024

  • 通过子部分对齐实现鲁棒的问答

    提出一种将问题回答建模为一种对齐问题的结构支持向量机方法，通过将问题和上下文分解成基于语义角色的单元，并将问题与上下文的子图进行对齐以找到答案，该模型可用于跨领域问题回答，且通过对齐得分派生出的限制使模型更加鲁棒。

    Apr, 2020

  • 通过缩放单一维度来减轻大型语言模型的位置偏见

    本文研究了大型语言模型中的位置偏见问题，发现注意力权重和因果性注意掩码是位置偏见的微观表现，提出了通过调整位置隐状态来减轻位置偏见的方法，并通过在多个任务上进行实验验证了该方法的有效性和普适性。

    Jun, 2024

  • 位置偏差对于令牌分类中的语言模型的影响

    本研究调查了语言模型中 Token Classification 任务位置偏差对性能的影响，提出 Random Position Shifting 和 Context Perturbation 两种方法缓解该影响，并在实验中发现这两种方法可提高模型在 CoNLL03、UD_en 和 TweeBank 三个数据集上的性能大约 2%。

    Apr, 2023

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • 采用句子级语义匹配和答案位置推断来改善问题生成

    本文提出了一个能够改进问题生成中的关键词生成和全局问题语义缺失问题的神经问题生成模型，并且利用了句子级别的语义匹配和答案位置推断功能，并运用了基于答案感知的门控融合机制来增强解码器的初始状态，结果表明我们的模型在 SQuAD 和 MARCO 数据集上领先于现有的最先进模型，同时还对现有模型进行了显著改进。

    Dec, 2019

  • 在大型语言模型时代从位置偏差的角度重新审视零样本抽象摘要生成

    我们通过测量位置偏差来表征和研究大型语言模型中的零样本抽象概括，位置偏差是我们提出的对前人文献中更为严格的引导偏差现象的一种普遍公式。通过在四个多样化的实际数据集上进行多次实验，我们研究了 GPT 3.5-Turbo、Llama-2 和 Dolly-v2 等多个 LLM 模型以及 Pegasus 和 BART 等最先进的预训练编码解码抽象概括模型中的位置偏差。我们的发现为零样本概括任务的模型性能和位置偏差带来了新的见解和讨论。

    Jan, 2024

  • 基于预训练生成模型的问题回答适应性

    本文介绍了一种新颖的方法，利用预训练的生成模型来解决抽取式問答任务，通过生成与回答的上下文标记或句子相对应的索引，实现了在多个抽取式問答数据集上优于现有 state-of-the-art 模型的卓越性能。

    Nov, 2023

  • 锚定答案：揭示 GPT-2 在多项选择问题中的位置偏差

    通过利用机械解释性方法，研究人员发现并修改 GPT-2 模型内部造成 MCQs 错位偏差的特定数值向量，从而显著提高 GPT-2 模型对 MCQs 的预测准确性。

    May, 2024