本文提出了一个简单的构建神经QA基线系统的启发式方法，并发现了两种必要的构建高性能神经QA系统的因素：第一，处理上下文时需要注意问题单词；第二，需要超越简单的词袋建模，例如循环神经网络。我们的结果表明，满足这两个要求的FastQA系统可以与现有模型实现非常有竞争力的性能。我们认为这一令人惊讶的发现将之前系统的结果和最近QA数据集的复杂性放在了一个更加客观的角度。

Mar, 2017

本篇论文提出了一种新的预训练模型SSPT，即Span Selection Pre-Training，通过将预训练模型任务转换为阅读理解，从而提高BERT及其他预训练模型的学习能力，实验证明该方法对于数据集有限的场景下表现尤为出色。

Sep, 2019

本文针对自然语言处理中使用的BERT和RoBERTa模型进行了压缩，使用结构化剪枝和专门化蒸馏相结合的方法，实现了在保持高精度的同时速度大幅提升。

Oct, 2019

本研究通过对知识图谱建立的基于神经网络（包括BERT和BiLSTM）的简单问题回答模型进行评估，探究在数据稀疏的情况下BERT模型的表现。

Jan, 2020

本研究提出了两种方法以改善无监督问答：从维基百科中收集问题-答案对以自动构建语料库，利用QA模型提取更合适的答案迭代地优化RefQA数据。经过对SQuAD 1.1和NewsQA进行的实验证明我们的方法在无监督情况下优于之前的方法，并与早期的监督模型具有竞争力。我们还在少样本学习方面证明了我们方法的有效性。

May, 2020

本研究探讨了基于Transformer的QA模型中问题、答案和上下文的隐藏表示，并通过观察回答表示中的一致性模式来自动评估预测出的答案跨度是否正确，其方法不需要任何标记数据且优于强启发式基线，在两个数据集和七个领域上均能够达到较高准确率。

Oct, 2020

本研究提出一种将transformer MRC模型解耦为输入组件和交叉组件的方法，以减少计算成本和延迟，通过知识蒸馏和学习表示压缩层来保持解耦transformer的准确性，并可使在线MRC的计算成本和延迟降低30％-40％，与标准transformer相比，只有1.2个F1分数下降。

Aug, 2021

提出一种高效的问答方法，通过利用BERT层每个transformer的隐藏状态激活信息（在典型的BERT推断中被丢弃）显著减少了对扩展BERT微调的需求，进一步通过与BERT预测集成的模型提高性能，并发现通过较少的训练数据可以实现接近最优的QA span注释性能， 该方法不仅适用于span注释，而且适用于分类任务，可能可推广到更广泛的任务范围。

Feb, 2022

本文提出了一种以问答对为基础的编码-解码模型，通过该模型的预训练策略，能够在单跳及多跳问题上达到强大性能，并进一步提高了对模型的解释和控制能力，缩小了与段落检索系统之间的性能差距。

Apr, 2022

使用Length Adaptive Transformer和MiniLM distillation加上低位量化技术，我们设计出一个高效的模型QuaLA-MiniLM，在SQuAD1.1数据集上达到x8.8个速度提升且不到1%的精度损失。

Oct, 2022