提出一种使用知识图谱扩展预训练文本到文本语言模型的方法，通过从知识图谱中提取子图，使用基于 Transformer 的模型线性化提取的子图并重新对答案候选项进行排序，使得预训练文本到文本语言模型的 Hits@1 评分提升 4-6%。

Oct, 2023

本文研究采用预训练的神经语言模型 Fine-tuning 技术回答问题，证实这种方法不需要额外的上下文或知识，并能有效解决竞争性问题。我们提供代码和训练的模型以促进可重复性和未来的工作。

Feb, 2020

本文介绍了一种称为 Self-QA 的创新框架，利用大量无监督知识代替传统的人工撰写指导文件种子，从而生成更多正确和特定于领域的指导数据，以克服创建用于指导调整的监督配对问答数据所面临的挑战。

May, 2023

我们在本文中提出了一种通过多任务监督预训练和密集检索系统的组合来实现对具有挑战性的复合问题的泛化的方法，并且展示了通过添加用于训练的检索增强数据集可以显著提高模型的性能。

Aug, 2023

通过在医学学科上对小型语言模型进行微调和使用 GPT-4 生成类似下游任务的问题进行微调，我们提出了一种方法来提高医学领域中小型语言模型的熟练度。此外，我们还引入了包含相关问题序列的 “渐进问题” 的 ECN-QA，以展示我们的训练策略的好处。

May, 2024

本文提出一种基于向量特征表示的问题回答方法，使用弱监督资源训练，并结合了优化过的随机梯度下降和微调步骤，实现了在基于弱标注数据下，对知识库回答表现的显著提升。

Apr, 2014

本论文提出了一种模型，通过生成文本提供细节信息，使多选题回答模型更容易理解，并采用多种损失函数来鼓励自然文本输出，从而达到与端到端架构相当的性能水平。

Apr, 2020

在常识问题回答的情境下，我们使用更小的语言模型通过更新 elaboration generator 和 answer predictor 两种语言模型来相互影响，最终取得了比同样规模的其他模型更好的性能，且在四个常识问题回答基准测试中，差距越变越小。

Sep, 2022

本文探究了大规模预训练在知识引导对话中的应用。通过各种方法获取大型模型的知识，利用后验重加权和嘈杂训练策略进一步挖掘其价值，并在两个基准数据上进行了实验，结果表明其优于现有的最新方法。

Nov, 2022

本文利用变压器模型和深度神经网络提出了一种有效的自动生成问题的方法，并通过 SQuAD 1.1 数据集实验证明所提出的模型可以产生语义正确且多样化的问题，并且在半监督学习中表现优异，为小数据领域内的问题生成提供了强大的支持。

Nov, 2019