Dec, 2022

从填空到理解：将预训练的语言模型改装为预训练的机器阅读器

PDF
TL;DR我们提出了 Pre-trained Machine Reader (PMR)，这是一种新方法，旨在将预训练的语言模型（PLMs）转换为机器阅读理解（MRC）模型，而无需获取标记数据， 显示出在包括提取问题回答和命名实体识别在内的提取任务上的显着改进。
发现论文，激发创造
  • mPMR: 规模化的多语言预训练机器阅读器

    mPMR 是一种新颖的多语言机器阅读理解 (MRC) 预训练方法，旨在指导多语言预训练语言模型 (mPLM) 在多种语言中执行自然语言理解 (NLU)（包括序列分类和跨度提取）。mPMR 通过 MRC 样式的预训练，直接继承多语言 NLU 能力，从而为目标语言获取更好的 NLU 能力。此外，它还提供了一个统一的求解器，处理跨语言跨度提取和序列分类，从而实现对文本分类的解释。

    May, 2023

  • 通过基于检索的预训练弥合语言模型与机器阅读理解之间的鸿沟

    使用自我监督的方法在预训练过程中引入两个任务强化证据提取，从而增强证据提取能力，以提高 Pre-trained Language Models 在机器阅读理解方面的表现。

    May, 2021

  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023

  • 机器阅读理解：上下文语言模型的作用与发展

    本篇综述论文全面比较了机器阅读理解的研究，主要介绍了它的起源、发展历程、对 NLP 社区的影响、定义、数据集、技术方法、研究亮点，并提出了新的分类和分类法，认为机器阅读理解将浅层文本匹配转化为认知推理的领域，同时也深化了从语言处理到语言理解的进展。

    May, 2020

  • 提高多语言机器阅读理解答案边界检测能力

    本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

    Apr, 2020

  • 跨语言机器阅读理解

    提出了面向非英语语言的跨语言机器阅读理解（CLMRC）任务，通过双向 Bert 模型和回译方法，利用英语作为基础语言的大规模训练数据来提高低资源语言的阅读理解性能，并在中文机器阅读理解数据集上进行了实验，结果表明该方法能够显著提高机器阅读理解的性能。

    Sep, 2019

  • 追溯起源：具有共指关注的机器阅读理解

    本文介绍了一种模拟人类阅读过程并利用实体的指代信息来增强预训练语言模型中的词嵌入以提高模型性能的方法，头两种微调方式，即在预训练模型后添加额外的编码器层以关注实体的指代提及或构建关系图卷积网络来建模实体间的关系。结果表明，在微调阶段明确加入指代信息的方法比在预训练中加入指代信息的方法表现更好。

    Oct, 2021

  • 机器阅读理解的稳健领域自适应

    本文提出了一种名为 RMRC 的方法，使用对话和领域自适应技术构建问题 - 答案对，通过答案提取器和问题选择器以及增强式自训练方法进行优化，从而解决机器阅读理解中因领域迁移引起的问题，包括噪声对应和效率降低，实验证明了该方法的有效性。

    Sep, 2022

  • 多任务学习中基于样本重新加权的机器阅读理解

    本研究提出了一种多任务学习框架，用于学习一个联合的机器阅读理解模型，可应用于不同领域的阅读理解任务。研究采用了样本分配权重的方法，并结合预训练语言模型（如 ELMo），在一组阅读理解数据集上实现了新的最佳效果。

    Sep, 2018

  • 基于语言分支知识蒸馏的跨语言机器阅读理解

    本文提出了一种名为 LBMRC 的创新增强方法和一种多语言蒸馏方法，共同提高跨语言转移性能，并且可以更加鲁棒地处理数据噪声，同时我们在两个 CLMRC 基准测试上进行了广泛的实验并验证了我们的方法的有效性。

    Oct, 2020