Nov, 2017

ParaNMT-50M：用数百万机器翻译推进释义句嵌入的极限

PDF
TL;DR使用神经机器翻译将大型平行语料库的非英语部分翻译为英语，生成超过五千万个英语句子的同义句数据集 PARANMT-50M，该数据集可用于同义句生成，提供丰富的语义知识以改善下游自然语言理解任务。我们使用 PARANMT-50M 训练了同义句嵌入，能在所有 SemEval 基于语义相似度的比赛中胜过所有监督系统，并展示了它在同义句生成中的应用。
发现论文，激发创造
  • ParaBank：基于词汇约束神经机器翻译的单语种双语文本生成和句子改写

    该论文介绍 ParaBank，这是一个大规模的英语释义数据集，使用神经机器翻译和词汇约束生成英语句子的多个高质量释义版本，可用于句子改写任务。

    Jan, 2019

  • 从回译双语语料中学习复述句嵌入

    本研究使用神经机器翻译通过回译双语句子对生成句子的解释，并对语料对进行了筛选处理，在此基础上建立通用的释义句子表示模型，结果显示该模型对于很多语言领域其正确率与手动编写的英语释义句子相当。

    Jun, 2017

  • WikiMatrix: 从维基百科挖掘出 1620 种语言对中的 1.35 亿个平行句子

    使用多语句子嵌入的方法自动从 85 种语言的维基百科文章中提取平行句子，共提取了 1.35 亿个平行句子，并且在 1886 种语言对上训练神经机器翻译基线系统，取得了较高的 BLEU 分数。WikiMatrix bitexts 可以对离散的语言进行机器翻译训练，而不需要通过英语来进行桥接。

    Jul, 2019

  • NMT 衍生的语言中介嵌入的实证分析及其在平行语句识别中的应用

    该研究系统研究了端到端的神经机器翻译的上下文向量作为句子的交互语言表征的功效，并在可比较语料库中取得了较高的平行句子识别准确率。

    Apr, 2017

  • CCMatrix: 在 WEB 上挖掘数十亿高质量平行句子

    通过使用边际化双语挖掘技术在多语言句子空间内，我们能够针对百亿级别的单语语料库，挖掘出 45 亿双语句子。使用这些挖掘的数据，我们在 TED、WMT 和 WAT 的测试集上，超越了 WMT'19 的最佳结果，并且对于远程语言对（如俄语 / 日语），我们的表现非常出色。

    Nov, 2019

  • 使用多语言句子嵌入进行基于边际的平行语料库挖掘

    提出一种基于多语言句子嵌入的平行语料库过滤新方法，通过考虑给定句子对及其最接近的候选句子之间的间隔来修正余弦相似性的尺度不一致性，将结果与现有方法进行比较，结果表明该方法显著提高了翻译自动化水平。

    Nov, 2018

  • ParaAMR：一种大规模的语法多样化释义数据集，基于 AMR 回译得出

    本文介绍了一种通过抽象意义表示来创建大规模句法多样的同义句数据集 ParaAMR，并证明了其在各种 NLP 应用方面的巨大潜力。

    May, 2023

  • 无监督神经机器翻译

    本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

    Oct, 2017

  • 搜索引擎引导的非参数神经机器翻译

    本研究提出了一种基于注意力机制的神经机器翻译（NMT）模型，并允许它在训练后访问整个平行句子对训练集。该模型由两个阶段组成：检索阶段和翻译阶段，实现了在源句子和一组检索的平行句子对之间的平滑翻译。在三种语言（En-Fr，En-De 和 En-Es）上的实证评估表明，该方法显著优于基准方法，并且当检索到更相关的平行句子对时，改进效果更为显著。

    May, 2017

  • 基于短语和神经网络的无监督机器翻译

    该研究研究了如何在只有大型单语语料库的情况下学习翻译。提出了两种模型，一种是神经模型，一种是基于短语的模型。这些模型通过参数的精心初始化、语言模型的去噪效应和反向迭代自动生成的并行数据来提高翻译性能。在 WMT'14 英语 - 法语和 WMT'16 德语 - 英语 基准测试上，这些模型分别获得 28.1 和 25.2 BLEU 分数，比现有方法的 BLEU 分数高出 11 个分数。方法在英语 - 乌尔都语和英语 - 罗马尼亚语等低资源语言中也取得了良好的结果。

    Apr, 2018