本文提出了一种多样化的 BERT 模型，通过使用多个片段并全局规范化答案分数，并得到统一的分数，性能提高了 4％。通过使用段落评分器选择高质量的段落，多通道 BERT 获得了额外的 2％。实验结果表明，我们的方案在所有基准测试上均优于现有模型，特别是在 OpenSQuAD 数据集上，我们的模型比所有非 BERT 模型和基于 BERT 的模型都表现出色。

Aug, 2019

通过对 MS MARCO 段落重新排序数据集的实证研究，分析 fine-tuned BERT 模型的结果，探讨 BERT 在检索方面成功和失败的潜在原因及其性能中 成功的细节

May, 2019

本文介绍了一个新的基于维基百科的、特定于非事实性答案段落检索的集合，其中包含成千上万个带注释的答案和问题，展示了各种先进神经架构和检索模型的基准结果，并展示了未来研究在主题相关文件中答案段落检索所面临的独特挑战。

May, 2018

本文研究了预先训练的 BERT 在排名任务中的表现和行为，探索了在两种排名任务中优化 BERT 的几种不同方法，并实验证明了 BERT 在问题回答焦点的段落排名任务中的强有效性，以及 BERT 作为强交互式序列到序列匹配模型的事实。

Apr, 2019

本文介绍了一个基于查询的段落重排的 BERT 的简单重新实现，该系统在 TREC-CAR 数据集上处于技术先进地位，是 MS MARCO 段落检索任务排行榜中的前列，优于以前的技术领先 27%（相对于 MRR @ 10）。

Jan, 2019

本文介绍一种利用远程监督的数据增强技术来优化基于 passage retrieval 和 BERT 阅读器的问答模型的方法，通过迭代式的参数微调方法在多个数据集上进行实验，并在英文和中文数据集上取得了明显的提升。

Apr, 2019

本研究探索了将 BERT 应用于问答的成功之后简单应用于特定文档检索的方法，并通过将推理应用于单个句子，然后将它们的得分汇总以产生文档得分来解决文档比 BERT 输入限制更长的挑战，实验证明，我们的方法虽然简单但有效，报告了我们所知道的使用神经方法在 TREC 微型博客和新闻线路测试集上的最高平均精度。

Mar, 2019

提出一种高效的问答方法，通过利用 BERT 层每个 transformer 的隐藏状态激活信息（在典型的 BERT 推断中被丢弃）显著减少了对扩展 BERT 微调的需求，进一步通过与 BERT 预测集成的模型提高性能，并发现通过较少的训练数据可以实现接近最优的 QA span 注释性能， 该方法不仅适用于 span 注释，而且适用于分类任务，可能可推广到更广泛的任务范围。

Feb, 2022

本文利用变压器模型和深度神经网络提出了一种有效的自动生成问题的方法，并通过 SQuAD 1.1 数据集实验证明所提出的模型可以产生语义正确且多样化的问题，并且在半监督学习中表现优异，为小数据领域内的问题生成提供了强大的支持。

Nov, 2019

该论文提出了一种利用 BERT 表示和 learning-to-rank 模型进行文档排序的机器学习算法。在公共基准测试中，采用这种方法可以取得更好的表现。最新的实验使用 RoBERTa 和 ELECTRA 模型，取得了较之其它方法更好的排名成绩。

Apr, 2020