通过使用 Retrieval as Attention (ReAtt) 和 Transformer，我们的研究表明，通过端到端的培训，单个模型可以同时实现有竞争力的提取和问答表现，在监督和无监督的设置中显著提高其在超领域数据集上的性能。

Dec, 2022

本篇论文通过系统地研究检索器的预训练，提出了一种利用反向填空任务和掩盖显著跨度的无监督预训练方法，并在问题 - 上下文对上进行有监督微调的方法。此外还探讨了两种 OpenQA 模型的端对端有监督培训方法，并展示了这些方法在性能方面相对于较小模型的一致性提升。实验结果表明这些方法效果显著优于现有的一些模型。

Jan, 2021

该论文介绍了一种新的开放域问答框架，其中检索器和阅读器相互迭代交互，引入了多步推理机制，有助于从长度为百万级的语料库中检索信息性段落，并应用于不同的问答数据集和模型中均取得了一致性的提升。

May, 2019

本文提出了一种检索 - 阅读器模型，该模型能够在回答问题过程中学习关注必要的词语，该模型包括一个选择器来确定问题中最重要的词语，再重新制定查询，搜索相关证据； 和一种增强阅读器来区分必要词语和分心的词语以预测答案，在多个开放域多项选择 QA 数据集上进行了评估，尤其在 AI2 推理挑战（ARC）数据集上达到了业界最高水平。

Aug, 2018

本文提出了一种新的 open domain question answering 方法，利用问题 - 回答对来同时学习 retriever 和 reader，将 Wikipedia 中的证据检索视为潜在变量，并通过 Inverse Cloze Task 进行预训练。我们的方法在五个 QA 数据集上进行测试，表明在用户真正寻求答案的数据集上，学习检索至关重要，完全匹配方面的得分比传统的 IR 系统（如 BM25）高达 19 个点。

Jun, 2019

本文研究了一种混合的提取式和生成式阅读器方法，以及如何结合这两种方法进行问答。我们通过一些新技术对预训练的神经语言模型进行了改进，证明了这种方法比以前最先进的模型效果更好，取得了 3.3 和 2.7 的提升。

Jan, 2021

本文提出了一种受到知识蒸馏启发的学习信息检索器的技术，在没有标注的查询和文档对的情况下，利用阅读器模型的注意力分数来获得检索器的合成标签，用于下游任务，最终在问题回答方面达到了最先进的结果。

Dec, 2020

本文介绍了一种使用维基百科引用构建大规模预训练语料库以满足开放域问答系统的需求的方法，并测试了改进后的 retriever 和 reader 在精确度和 top-20 准确率方面的表现。

Mar, 2022

本文介绍了 Variational Open-Domain（VOD）框架，用于训练和评估检索增强模型（开放领域问答和语言建模），研究了 Rényi 变分界限，使用重要性采样从辅助检索器抽取样本，并利用该框架在多项选择医学考试问题上训练了读者 - 检索器 BERT 模型。

Sep, 2022

本文提出了 RE$^3$QA，一种统一的问答模型，它结合了上下文检索、阅读理解和答案重排序来预测最终答案。与以往的流水线方法不同，RE$^3$QA 跨不同的组件共享上下文化的文本表示，并设计了高质量的上游输出来直接监督下游模块，从而避免了上下文不一致的问题，实现了端到端的训练。实验证明，我们的模型优于管道基线，在两个版本的 TriviaQA 和两个变体的 SQuAD 上实现了最先进的结果。

Jun, 2019