COLINGOct, 2020

基于语言分支知识蒸馏的跨语言机器阅读理解

PDF
TL;DR本文提出了一种名为 LBMRC 的创新增强方法和一种多语言蒸馏方法，共同提高跨语言转移性能，并且可以更加鲁棒地处理数据噪声，同时我们在两个 CLMRC 基准测试上进行了广泛的实验并验证了我们的方法的有效性。
cross-lingual machine reading comprehensionlbmrcmultilingual distillationdata noisesclmrc benchmarks
发现论文，激发创造
  • 跨语言机器阅读理解

    提出了面向非英语语言的跨语言机器阅读理解（CLMRC）任务，通过双向 Bert 模型和回译方法，利用英语作为基础语言的大规模训练数据来提高低资源语言的阅读理解性能，并在中文机器阅读理解数据集上进行了实验，结果表明该方法能够显著提高机器阅读理解的性能。

    Sep, 2019

  • 提高多语言机器阅读理解答案边界检测能力

    本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

    Apr, 2020

  • 共享、教学与对齐：熟知的跨语言机器阅读理解的知识迁移

    本文提出了一种新的跨语言机器阅读理解方法 X-STA，利用关注力机制和知识共享技术实现源语言答案转移到目标答案空间，并通过语义对齐和教师引导来增强跨语言迁移能力，实验证明了该方法在多种多语言机器阅读理解数据集上的有效性。

    Nov, 2023

  • 评估跨语言机器阅读理解能力的 XCMRC 模型

    XCMRC 是第一个公开的跨语言理解基准，用于测试机器的跨语言阅读理解能力，其中中英文是丰富资源的语言对，为了研究低资源的跨语言机器阅读理解，除定义通用的任务外，我们还限制了可使用的语言资源来定义了一项伪低资源任务。

    Aug, 2019

  • 机器阅读理解：上下文语言模型的作用与发展

    本篇综述论文全面比较了机器阅读理解的研究，主要介绍了它的起源、发展历程、对 NLP 社区的影响、定义、数据集、技术方法、研究亮点，并提出了新的分类和分类法，认为机器阅读理解将浅层文本匹配转化为认知推理的领域，同时也深化了从语言处理到语言理解的进展。

    May, 2020

  • 运行时机器翻译实现的多语言抽取式阅读理解

    本研究提出一种基于注意力机制的神经机器翻译模型，将源语言（非英语）数据经过翻译转化为目标语言（英语），在英语翻译数据上训练阅读理解模型，在目标语言中生成答案并通过软对齐注意力机制将目标语言中的答案还原回源语言，并且实验表明，我们的方法明显优于最先进的机器翻译系统的回译基线方法。

    Sep, 2018

  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023

  • mPMR: 规模化的多语言预训练机器阅读器

    mPMR 是一种新颖的多语言机器阅读理解 (MRC) 预训练方法，旨在指导多语言预训练语言模型 (mPLM) 在多种语言中执行自然语言理解 (NLU)（包括序列分类和跨度提取）。mPMR 通过 MRC 样式的预训练，直接继承多语言 NLU 能力，从而为目标语言获取更好的 NLU 能力。此外，它还提供了一个统一的求解器，处理跨语言跨度提取和序列分类，从而实现对文本分类的解释。

    May, 2023

  • 面向越南语教育的多项选择阅读理解语料库

    提出了 ViMMRC 2.0，结合多步骤的注意力神经网络和自然语言推理任务，对越南语文本进行了阅读理解测试，结果表明其在新数据集上的测试正确率最高可达 58.81％。

    Mar, 2023

  • 多语言蒸馏和零样本感知训练的跨语言文本分类

    利用教师 - 学生框架从高性能的单语言模型中转移知识，构建了一个基于 MPLMs 的多语言分支模型（MBLM），并使用零射击感知的训练策略令模型从所有分支的零射击表示中学习，我们的方法仅使用任务的监督数据，提高了 MPLMs 的监督性能和零射击性能。

    Feb, 2022