提出了一种使用从多个文档中动态检索的文本百科知识使输入文本脱离上下文进行表征的方法，并将该方法应用于阅读理解任务，其过程中将与实体相关的背景句子编码为问题和段落，并表明将文本中的背景知识进行集成对实现基于事实推理的任务是有效的，而且可以通过基于自监督遮蔽模型目标的适当预训练来进一步提高知识集成能力，在 TriviaQA 上，该方法相对于不动态整合背景知识的 RoBERTa 模型取得了 1.6 到 3.1 F1 的性能提升，在一组多样化的 QA 数据集上，如 BioASQ、TextbookQA 和 DuoRC，该方法在任务内有相当的提升，而在任务外的性能提升显著。

Apr, 2020

本论文介绍了一种分解对话问答任务的方法，包括问题重写和问题回答。通过引入一种新的对话 QA 架构和一个问题重写模型，证明了这种方法在 TREC CAsT 2019 建议检索数据集上已经达到了最新的技术水平，并在 QuAC 数据集中优于我们的基准模型。这个问题重写模型在两个数据集上的性能接近于人类的表现，而对话 QA 任务的终端性能差距主要是由于回答中的错误导致的。

Apr, 2020

本文提出了一种以问答对为基础的编码 - 解码模型，通过该模型的预训练策略，能够在单跳及多跳问题上达到强大性能，并进一步提高了对模型的解释和控制能力，缩小了与段落检索系统之间的性能差距。

Apr, 2022

我们提出了一种基于查询的生成模型，用于解决问题生成和问题回答两个任务， 在查询理解方面，该模型使用经典的编码器 - 解码器框架，通过与多个角度的文章进行匹配来执行查询理解。在进行培训时，我们利用政策梯度强化学习算法来克服暴露偏差，这是由于交叉熵损失的序列学习而引起的主要问题。

Sep, 2017

本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

Oct, 2021

我们提出了一种无监督训练 QA 模型的方法，该方法使用生成的伪数据训练，为 QA 训练生成问题，通过对相关检索到的句子应用简单模板，而非原始上下文句子来实现，从而使模型能够学习更复杂的上下文问题关系。 使用这些数据训练 QA 模型可在 SQuAD 数据集上获得 14％的 F1 分数相对提高，并且在答案为命名实体时提高 20％，从而实现无监督 QA 的最新性能。

Apr, 2020

在自然语言处理的问答任务中，本文的关键方向是提高表示质量和效率，通过挑战现有的问题 - 答案编码惯例，探索更精细的表示方法，并测试了不同池化方法和知识图谱的集成对于性能的影响，结果显示这些方法在提高内存效率的同时，性能上有较小牺牲，大大增加了吞吐量。

Mar, 2024

本文中，我们展示了数据处理、预训练任务、神经网络建模或微调的方法如何单独影响性能，以及当这些方法共同考虑预训练模型时，语言模型在特定的问答任务上表现出最佳结果；具体地，我们提出了一种扩展的预训练任务和一种新的邻居感知机制，能更多地关注邻近的标记，从而捕捉预训练语言建模的上下文丰富性。我们的最佳模型在 SQuAD 1.1 上实现了 95.7％的 F1 和 90.6％的 EM，也在 SQuAD 2.0 基准上超过了现有的预训练语言模型，如 RoBERTa，ALBERT，ELECTRA 和 XLNet。

Mar, 2022

本文提出一种新的方法，通过在 fine-tuning 过程中为模型提供对比监督信号，通过最大化问题 - 证据的相似性，明确区分支持证据句子和负面证据句子，从而为长上下文问答模型提供更好的支持证据识别，取得了一致的性能提升。

Dec, 2021

本文介绍了一种新颖的方法，利用预训练的生成模型来解决抽取式問答任务，通过生成与回答的上下文标记或句子相对应的索引，实现了在多个抽取式問答数据集上优于现有 state-of-the-art 模型的卓越性能。

Nov, 2023