通过基于检索的预训练弥合语言模型与机器阅读理解之间的鸿沟
我们提出了 Pre-trained Machine Reader (PMR)，这是一种新方法，旨在将预训练的语言模型（PLMs）转换为机器阅读理解（MRC）模型，而无需获取标记数据， 显示出在包括提取问题回答和命名实体识别在内的提取任务上的显着改进。
Dec, 2022
本文中，我们提出了一种用于从头开始联合训练检索增强语言模型的架构和训练流程，名为 Retrieval-Pretrained Transformer（RPT），并使用四个长程语言建模任务进行了评估，横跨图书、代码和数学写作，证明了与强基线相比，RPT 改善了整体的检索质量和困惑度。
Jun, 2023
本研究提出一种利用深度概率逻辑学习框架提取证据句子的方法，在三个具有挑战性的多项选择机器阅读理解数据集上实现了可比较或更好的性能，为多项选择机器阅读理解提供了新的思路。
Feb, 2019
本文提出了一种将外部关联知识与多任务学习相结合的方法，以提高机器阅读理解的效果，并在两个多选基准数据集上进行了实验，结果表明该方法在常识推理方面表现优异。
Aug, 2019
本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。
Apr, 2020
本研究介绍了 GPT-RE，这是一种解决大型语言模型在关系提取中局限性的方法，包括任务特定实体表现的使用和黄金标签引导推理逻辑的使用。该方法在四个数据集上的实验结果表明其超过了 GPT-3 基线并且在 Semeval 和 SciERC 数据集上实现了 SOTA 表现。
May, 2023
mPMR 是一种新颖的多语言机器阅读理解 (MRC) 预训练方法，旨在指导多语言预训练语言模型 (mPLM) 在多种语言中执行自然语言理解 (NLU)（包括序列分类和跨度提取）。mPMR 通过 MRC 样式的预训练，直接继承多语言 NLU 能力，从而为目标语言获取更好的 NLU 能力。此外，它还提供了一个统一的求解器，处理跨语言跨度提取和序列分类，从而实现对文本分类的解释。
May, 2023
本文介绍了基于话语表示结构的多语言预训练语言含义模型，在预训练阶段包括语义表示，并采用交叉语言迁移学习，以进一步提高非英语任务的性能。实验结果显示，该方法在多语言 DRS 解析和 DRS 到文本生成任务上实现了最佳性能。
May, 2023
本文提出了一种使用少量半结构化解释 “教” 机器阅读理解的方法，同时提取结构化变量和规则，并组成神经模块作为下游 MRC 模型的训练实例的注释，使用可学习的神经模块和软逻辑来处理语言变化并克服模型覆盖率不足。在 SQuAD 数据集上，使用 26 个解释进行监督训练，该方法实现了 70.14% 的 F1 得分，与使用 1100 个标记实例的普通监督学习相比，速度提高了 12 倍。
May, 2020