ACLMay, 2023

mPMR: 规模化的多语言预训练机器阅读器

PDF
TL;DRmPMR 是一种新颖的多语言机器阅读理解 (MRC) 预训练方法，旨在指导多语言预训练语言模型 (mPLM) 在多种语言中执行自然语言理解 (NLU)（包括序列分类和跨度提取）。mPMR 通过 MRC 样式的预训练，直接继承多语言 NLU 能力，从而为目标语言获取更好的 NLU 能力。此外，它还提供了一个统一的求解器，处理跨语言跨度提取和序列分类，从而实现对文本分类的解释。
发现论文，激发创造
  • 从填空到理解：将预训练的语言模型改装为预训练的机器阅读器

    我们提出了 Pre-trained Machine Reader (PMR)，这是一种新方法，旨在将预训练的语言模型（PLMs）转换为机器阅读理解（MRC）模型，而无需获取标记数据， 显示出在包括提取问题回答和命名实体识别在内的提取任务上的显着改进。

    Dec, 2022

  • 跨语言机器阅读理解

    提出了面向非英语语言的跨语言机器阅读理解（CLMRC）任务，通过双向 Bert 模型和回译方法，利用英语作为基础语言的大规模训练数据来提高低资源语言的阅读理解性能，并在中文机器阅读理解数据集上进行了实验，结果表明该方法能够显著提高机器阅读理解的性能。

    Sep, 2019

  • 提高多语言机器阅读理解答案边界检测能力

    本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

    Apr, 2020

  • 基于语言分支知识蒸馏的跨语言机器阅读理解

    本文提出了一种名为 LBMRC 的创新增强方法和一种多语言蒸馏方法，共同提高跨语言转移性能，并且可以更加鲁棒地处理数据噪声，同时我们在两个 CLMRC 基准测试上进行了广泛的实验并验证了我们的方法的有效性。

    Oct, 2020

  • 通过基于检索的预训练弥合语言模型与机器阅读理解之间的鸿沟

    使用自我监督的方法在预训练过程中引入两个任务强化证据提取，从而增强证据提取能力，以提高 Pre-trained Language Models 在机器阅读理解方面的表现。

    May, 2021

  • 多语言解析与生成的预训练语义模型

    本文介绍了基于话语表示结构的多语言预训练语言含义模型，在预训练阶段包括语义表示，并采用交叉语言迁移学习，以进一步提高非英语任务的性能。实验结果显示，该方法在多语言 DRS 解析和 DRS 到文本生成任务上实现了最佳性能。

    May, 2023

  • M3P：通过多任务、多语言、多模态的预训练学习通用表示

    M3P 是一个多任务多语言多模态预训练模型，通过多任务预训练将多语言预训练和多模态预训练结合到一个统一的框架中。该模型的目标是学习通用表示法，可以将出现在不同模态或不同语言中的对象映射到一个公共的语义空间。此外，该论文还提出了 Multimodal Code-switched Training（MCT）的训练策略，该策略通过代码切换将单语预训练和多模态预训练相结合，以明确地鼓励图像和非英语语言之间的细粒度对齐。在跨两个基准数据集的多语言图像检索任务上进行了实验，包括 MSCOCO 和 Multi30K。M3P 在英语上可以获得可比较的结果，在非英语语言上则获得了最新的最佳结果。

    Jun, 2020

  • 跨语言 AMR 解析的强基线

    该研究旨在通过跨语言的 AMR 解析，使用单个模型来捕捉各种语言中句子的核心语义内容，发现用翻译加解析（T+P）的简单方法在几种语言上的表现比最新的全球最佳系统表现更好。

    Jun, 2021

  • 多语言 AMR-to - 文本生成

    本论文关注结构化数据的文本生成问题，并着眼于通过跨语言嵌入、预训练和多语言模型生成 21 种不同语言的 AMR 到文本模型。通过分析人类评估，我们发现我们的多语言模型能够准确捕捉形态和语序，并被母语人士视为流畅。

    Nov, 2020

  • 机器阅读理解：上下文语言模型的作用与发展

    本篇综述论文全面比较了机器阅读理解的研究，主要介绍了它的起源、发展历程、对 NLP 社区的影响、定义、数据集、技术方法、研究亮点，并提出了新的分类和分类法，认为机器阅读理解将浅层文本匹配转化为认知推理的领域，同时也深化了从语言处理到语言理解的进展。

    May, 2020