Sep, 2018

运行时机器翻译实现的多语言抽取式阅读理解

PDF
TL;DR本研究提出一种基于注意力机制的神经机器翻译模型，将源语言（非英语）数据经过翻译转化为目标语言（英语），在英语翻译数据上训练阅读理解模型，在目标语言中生成答案并通过软对齐注意力机制将目标语言中的答案还原回源语言，并且实验表明，我们的方法明显优于最先进的机器翻译系统的回译基线方法。
发现论文，激发创造
  • 跨语言机器阅读理解

    提出了面向非英语语言的跨语言机器阅读理解（CLMRC）任务，通过双向 Bert 模型和回译方法，利用英语作为基础语言的大规模训练数据来提高低资源语言的阅读理解性能，并在中文机器阅读理解数据集上进行了实验，结果表明该方法能够显著提高机器阅读理解的性能。

    Sep, 2019

  • 提高多语言机器阅读理解答案边界检测能力

    本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

    Apr, 2020

  • 基于语言分支知识蒸馏的跨语言机器阅读理解

    本文提出了一种名为 LBMRC 的创新增强方法和一种多语言蒸馏方法，共同提高跨语言转移性能，并且可以更加鲁棒地处理数据噪声，同时我们在两个 CLMRC 基准测试上进行了广泛的实验并验证了我们的方法的有效性。

    Oct, 2020

  • 共享、教学与对齐：熟知的跨语言机器阅读理解的知识迁移

    本文提出了一种新的跨语言机器阅读理解方法 X-STA，利用关注力机制和知识共享技术实现源语言答案转移到目标答案空间，并通过语义对齐和教师引导来增强跨语言迁移能力，实验证明了该方法在多种多语言机器阅读理解数据集上的有效性。

    Nov, 2023

  • 评估跨语言机器阅读理解能力的 XCMRC 模型

    XCMRC 是第一个公开的跨语言理解基准，用于测试机器的跨语言阅读理解能力，其中中英文是丰富资源的语言对，为了研究低资源的跨语言机器阅读理解，除定义通用的任务外，我们还限制了可使用的语言资源来定义了一项伪低资源任务。

    Aug, 2019

  • 基于轴心的非英语语言神经机器翻译迁移学习

    本文提出了三种有效的预训练策略来提高神经机器翻译的性能，通过使用一种中间语言来实现对原语言和目标语言对之间关系的增强，从而在 WMT 2019 的 法德和德捷语任务中超过了多语言模型，同时优化了零样本 / 零资源情境下的翻译效果。

    Sep, 2019

  • 利用单语语料库进行非监督式机器翻译

    提出了一种基于单语语料的机器翻译方法，该方法使用深度学习技术将两种不同语言的句子映射到相同的潜在空间中，从而学习翻译而不使用任何标记数据，该方法在两种语言对的两个广泛使用的数据集上表现出色。

    Oct, 2017

  • 通过机器翻译和跨语言转移在捷克语阅读理解

    该研究针对捷克语读解系统建立，通过自动翻译 SQuaD 1.1 和 2.0 数据集，并训练和评估了多个 BERT 和 XLM-RoBERTa 基准模型，证明了跨语言转移方法的成功性。

    Jul, 2020

  • 从填空到理解：将预训练的语言模型改装为预训练的机器阅读器

    我们提出了 Pre-trained Machine Reader (PMR)，这是一种新方法，旨在将预训练的语言模型（PLMs）转换为机器阅读理解（MRC）模型，而无需获取标记数据， 显示出在包括提取问题回答和命名实体识别在内的提取任务上的显着改进。

    Dec, 2022

  • 使用中间语言进行神经机器翻译

    介绍了基于枢轴语言的神经机器翻译的联合训练算法，通过提出三种方法来连接两个模型并在训练期间使其相互交互，实验表明，与独立训练相比，源 - 枢轴和枢轴 - 目标模型的联合训练在各种语言中都取得了显著的改进。

    Nov, 2016