本研究发现在训练集中，答案位置分布呈高度偏斜时，使用位置预测作为答案的提取型问答模型容易学习到虚假的位置线索，并且在不同位置上无法提供正确的答案。因此，对于 BiDAF 和 BERT 等受到位置偏见影响的模型，我们实现了多种消除位置偏见的方法，发现使用答案先验分布作为偏见模型非常有效，在受到偏见的 SQuAD 数据集上，BERT 性能从 37.48% 提高到 81.64%。

Apr, 2020

提出一种将问题回答建模为一种对齐问题的结构支持向量机方法，通过将问题和上下文分解成基于语义角色的单元，并将问题与上下文的子图进行对齐以找到答案，该模型可用于跨领域问题回答，且通过对齐得分派生出的限制使模型更加鲁棒。

Apr, 2020

通过消除输入段落顺序的不同，我们的方法改变了因果注意力，使其变为段落之间的双向关注，并利用模型关注值来决定段落的相对顺序，从而实现了段落级的位置不变推理（PINE），消除位置偏差使得模型在广泛存在位置偏差的下游任务中获得更好的性能和可靠性。

Jul, 2024

本文提出了一种新的参数化集值检索模型，能够处理具有多个文档和无法回答的查询，通过对检索候选项进行边际化，进而降低样本标注噪声带来的影响，并在两个多文档 QA 数据集上取得了最优表现。

Mar, 2021

本研究提出了一个开放式检索问答数据集 SituatedQA，旨在研究在不同时间和地点提出相同问题的语境下，答案是否会发生变化。通过构建该数据集并对现有模型进行实验，发现模型对于更新频繁或少见地点的答案产生困难，同时模型对于过去采集的数据无法在新问答中适应，因此建议将 extra-linguistic context 纳入开放式检索 QA 评估标准中。

Sep, 2021

本文提出基于自我关注机制的绝对位置嵌入和相对位置嵌入方法，通过增加查询、键和相对位置嵌入之间的交互，进一步优化了位置信息的利用。其最有前途的一种方法是将绝对位置嵌入泛化，相比之前的位置嵌入方法，在 SQuAD1.1 上有更好的表现。本文还通过实验证明了相对位置嵌入方法具有合理的泛化性和鲁棒性。最后，还展示了这种新方法可以用于在小的计算预算下提高大型模型的准确性。

Sep, 2020

本文研究了大型语言模型中的位置偏见问题，发现注意力权重和因果性注意掩码是位置偏见的微观表现，提出了通过调整位置隐状态来减轻位置偏见的方法，并通过在多个任务上进行实验验证了该方法的有效性和普适性。

Jun, 2024

本文介绍了一种使用 document-level distant super-vision 解决抽取式问答问题的方法，该方法通过将问题及相关文档与答案字符串配对来实现。作者比较了概率空间和远程 supervisions assumptions 的区别，并证明了不同配置提供互补的益处。他们展示了一种多目标模型，可以高效地结合多个假设的优点并表现出更好的性能，超过了此前在 TriviaQA-Wiki 中各方面表现最好的模型 4.3 个 F1 点和 NarrativeQA 摘要中的 1.7 个 Rouge-L 点。

May, 2020

本文介绍了一种新颖的方法，利用预训练的生成模型来解决抽取式問答任务，通过生成与回答的上下文标记或句子相对应的索引，实现了在多个抽取式問答数据集上优于现有 state-of-the-art 模型的卓越性能。

Nov, 2023

本研究探讨电影问答数据集中存在的语言偏见，提出一个简单的模型，通过合适的词向量训练，能够在不考虑视频和字幕等故事情境的情况下，通过观察问题和答案来回答约一半的问题。与排行榜上发表的最佳论文相比，我们的简单问题 + 答案模型在视频 + 字幕类别精度提高了 5％，在字幕、DVS 和剧本方面精度更是提高了 15％，这表明使用适当的词向量训练能够大大提高问答准确度。

Nov, 2019