本研究提出一种将 transformer MRC 模型解耦为输入组件和交叉组件的方法，以减少计算成本和延迟，通过知识蒸馏和学习表示压缩层来保持解耦 transformer 的准确性，并可使在线 MRC 的计算成本和延迟降低 30％-40％，与标准 transformer 相比，只有 1.2 个 F1 分数下降。

Aug, 2021

本文探讨了在大规模数据集上对 transformer 模型进行语言模型的预训练，并在 QA 和 CQA 数据集上微调 BERT 模型进行答案选择任务，在 QA 数据集中观察到了最大 13.1% 的提升，在 CQA 数据集中观察到了最大 18.7% 的提升。

Nov, 2020

本论文提供了一种使用 BERT 模型选择相关文档块进行扩展的新型查询扩展模型，能够在标准 TREC Robust04 测试集上显著优于 BERT-Large 模型，有助于解决查询扩展方法引入不相关信息的问题。

Sep, 2020

本文使用预训练的 BERT 模型来处理表格检索任务，研究如何编码表格内容以及如何将其他文献中的特征与 BERT 模型联合训练，实验表明这一方法在公共数据集上表现卓越。

May, 2020

本文提出了一种三阶段文件 QA 方法，包括从 PDF 中提取文本，从提取的文本中检索证据以形成良好的上下文，以及从上下文中提取 3 种类型的知识（抽取式、生成式或布尔式）。通过对 QASPER 的评估，DRC 系统在交付更优的上下文选择的同时，Answer-F1 达到了 +7.19 的提高。结果表明，DRC 在科学文献 QA 中有很大的亮点。

Oct, 2022

提出了一种使用从多个文档中动态检索的文本百科知识使输入文本脱离上下文进行表征的方法，并将该方法应用于阅读理解任务，其过程中将与实体相关的背景句子编码为问题和段落，并表明将文本中的背景知识进行集成对实现基于事实推理的任务是有效的，而且可以通过基于自监督遮蔽模型目标的适当预训练来进一步提高知识集成能力，在 TriviaQA 上，该方法相对于不动态整合背景知识的 RoBERTa 模型取得了 1.6 到 3.1 F1 的性能提升，在一组多样化的 QA 数据集上，如 BioASQ、TextbookQA 和 DuoRC，该方法在任务内有相当的提升，而在任务外的性能提升显著。

Apr, 2020

我们使用经过适当调整的表示方法和少量示例来对商业用户感兴趣的问题进行分组，并制作可用于数据探索或员工培训的可视化。

Jun, 2022

论文研究了使用神经网络和预训练语言模型来提取文件中问题的答案，通过提供丰富的上下文表示并允许模型在上下文相关和上下文无关的单词表示之间进行选择，可以获得比现有技术更好的性能。

Dec, 2017

利用 ColBERT 模型定义了 ColBERT-QA，采用细粒度相互作用和弱监督策略来提升开放域问答的效果，实验结果表明在三个数据集上均取得了最先进的提取式开放域问答性能。

Jul, 2020

介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

Oct, 2018