本文针对无数模型的集成、易受对抗攻击、敏感度等当前阅读理解系统的困境，提出基于知识蒸馏的方法，首先对纯知识蒸馏模型对答案跨度预测的有效性进行了论证，其次，提出两种创新方法，它们不仅惩罚了对混淆答案的预测，还利用了集成中蒸馏出来的对齐信息来指导训练。实验表明，我们的最佳学生模型在推理期间仅运行 12 倍的时间，与集成模型相比，在 SQuAD 测试集上仅有 0.4％的 F1 得分下降，在对抗 SQuAD 数据集和 NarrativeQA 基准测试中甚至胜过老师。
Aug, 2018
本文提出了一种检索 - 阅读器模型，该模型能够在回答问题过程中学习关注必要的词语，该模型包括一个选择器来确定问题中最重要的词语，再重新制定查询，搜索相关证据； 和一种增强阅读器来区分必要词语和分心的词语以预测答案，在多个开放域多项选择 QA 数据集上进行了评估，尤其在 AI2 推理挑战（ARC）数据集上达到了业界最高水平。
提出了一种针对获取增强型开放领域问答系统的端到端可区分训练方法，它结合多个已检索文件的信息来生成答案，通过期望最大化算法的近似计算来建模检索决策，证明了该方法优于现有同类方法，达到了新的最高水平。
Jun, 2021
本文提出了一种新的 open domain question answering 方法，利用问题 - 回答对来同时学习 retriever 和 reader，将 Wikipedia 中的证据检索视为潜在变量，并通过 Inverse Cloze Task 进行预训练。我们的方法在五个 QA 数据集上进行测试，表明在用户真正寻求答案的数据集上，学习检索至关重要，完全匹配方面的得分比传统的 IR 系统（如 BM25）高达 19 个点。
Jun, 2019
本研究探讨使用仅通过回答标签的远程监督来训练模型，从大规模语料库中学习寻找证据的能力，提出了一种新的方法（DistDR），该方法在多跳和单跳问答基准测试中与全监督的最先进方法不相上下。
Oct, 2021
该论文介绍了一种新的开放域问答框架，其中检索器和阅读器相互迭代交互，引入了多步推理机制，有助于从长度为百万级的语料库中检索信息性段落，并应用于不同的问答数据集和模型中均取得了一致性的提升。
May, 2019
本篇论文提出三个方面的方法，包括新的模型架构、IR 导向的预训练任务、生成大规模训练数据，以解决神经检索器面临的问题，并探讨了多模式查询的未来研究方向和相应的解决方法。
May, 2022
本文提出了一种新方法，通过筛选不会被回答的问题来提高问答系统的效率，这基于一个有趣的新发现：基于最先进的问答系统的答案置信度分数可以用仅使用输入问题文本的模型很好地逼近，这使得非答案置信度分数低于系统阈值的问题可以进行预先拦截。
Sep, 2021
本文研究了响应检索中的跨编码器架构及其应用领域，并在此基础上提出了一种新的跨编码器架构，将其应用于双编码器模型中可以大幅提升其检索性能，并在三个响应检索数据集上进行了详细分析。
Apr, 2020
通过注意力蒸馏机制，综合评估了提取增强模型的工作流程，明确了影响检索 - 增强语言模型学习质量的关键因素，并提出了优化模型训练方法和避免无效训练的指标。
Feb, 2024