从阅读器向检索器提取知识以作问答之用
该论文介绍了一种新的开放域问答框架，其中检索器和阅读器相互迭代交互，引入了多步推理机制，有助于从长度为百万级的语料库中检索信息性段落，并应用于不同的问答数据集和模型中均取得了一致性的提升。
May, 2019
本文提出了一种新的open domain question answering方法, 利用问题-回答对来同时学习retriever和reader，将Wikipedia中的证据检索视为潜在变量，并通过Inverse Cloze Task进行预训练。我们的方法在五个QA数据集上进行测试，表明在用户真正寻求答案的数据集上，学习检索至关重要，完全匹配方面的得分比传统的IR系统（如BM25）高达19个点。
Jun, 2019
研究使用生成模型在开放领域问答中的表现，发现利用文本段落检索可以显著提高性能，证明生成模型擅长聚合和组合多个段落的证据，同时在 Natural Questions 和 TriviaQA 开放式基准测试中取得最好的结果。
Jul, 2020
本篇论文通过系统地研究检索器的预训练，提出了一种利用反向填空任务和掩盖显著跨度的无监督预训练方法，并在问题-上下文对上进行有监督微调的方法。此外还探讨了两种OpenQA模型的端对端有监督培训方法，并展示了这些方法在性能方面相对于较小模型的一致性提升。实验结果表明这些方法效果显著优于现有的一些模型。
Jan, 2021
提出了一种针对获取增强型开放领域问答系统的端到端可区分训练方法，它结合多个已检索文件的信息来生成答案，通过期望最大化算法的近似计算来建模检索决策，证明了该方法优于现有同类方法，达到了新的最高水平。
Jun, 2021
本研究提出了一种基于transformer架构的内部逐层注意力机制，将知识库搜索模型和重排模型整合为统一的模型，并进行端到端训练，以实现高效利用模型容量并提高梯度流量。该模型可以在固定参数预算内显著优于现有模型，达到1.0和0.7的精准匹配得分。
Dec, 2021
本文介绍了一种基于无监督预训练的 ODQA 方法，通过 recurrent span retrieval 从文档中创建伪例子进行对比学习，控制 pseudo 查询和相关段落之间的术语重叠，从而允许模拟它们之间的词汇和语义关系，得到命名为“Spider”的模型，具有出色的性能，且不需要任何有标签的训练数据。
Dec, 2021
针对开放领域问答模型的检索-阅读器管道方法容易出现阅读器性能较差的问题，本研究提出了一种基于知识图谱的阅读器，即Grape，并通过构建本地二分图，采用图神经网络来学习关系知识，并将图和上下文表示融合到阅读器模型的隐藏状态中，实验表明这种方法的性能可以比已有的方法提高2.2个精确匹配分数。
Oct, 2022
通过使用Retrieval as Attention (ReAtt)和Transformer，我们的研究表明，通过端到端的培训，单个模型可以同时实现有竞争力的提取和问答表现，在监督和无监督的设置中显著提高其在超领域数据集上的性能。
Dec, 2022
利用REALM框架进行适应性评估，开发了第一个挪威基于检索的语言模型，证明了检索增强语言建模可提高读者在摘要问答上的表现，并表明这种类型的训练不会以其他功能为代价。
Apr, 2023