Jun, 2017

从回译双语语料中学习复述句嵌入

PDF
TL;DR本研究使用神经机器翻译通过回译双语句子对生成句子的解释，并对语料对进行了筛选处理，在此基础上建立通用的释义句子表示模型，结果显示该模型对于很多语言领域其正确率与手动编写的英语释义句子相当。
paraphrastic sentence embeddingsneural machine translationback-translationdata filtering techniqueslanguage pairs
发现论文，激发创造
  • 来自平行翻译的简单有效的释义相似度

    从双语语料中直接学习释义句子嵌入的模型和方法，有效消除创建释义文本体的耗时环节。进一步地，该模型可用于跨语言任务，其性能优于且比最先进的复杂基线算法快几个数量级。

    Sep, 2019

  • 从自动挖掘的同义句训练有效的神经句子编码器

    本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

    Jul, 2022

  • ParaBank：基于词汇约束神经机器翻译的单语种双语文本生成和句子改写

    该论文介绍 ParaBank，这是一个大规模的英语释义数据集，使用神经机器翻译和词汇约束生成英语句子的多个高质量释义版本，可用于句子改写任务。

    Jan, 2019

  • 规模理解后向翻译

    使用单语数据生成目标语反向翻译的有效方法能够提高神经机器翻译质量。本研究比较了几种方法生成合成源句子的效果，发现使用采样或噪声束搜索的反向翻译方法效果最好，并证实这种合成数据的训练信号强于束搜索或贪婪搜索的数据，同时也比较了它们与真实的平行语料库的效果，并研究了不同领域对它们的影响。最终，将这种方法扩展到数亿条单语数据，获得了 35 BLEU 的 WMT'14 英德测试集上的最新记录。

    Aug, 2018

  • 自训练上下文嵌入的无监督双语挖掘与翻译

    采用无监督学习方法使用多语言 BERT 创建伪平行语料库以提高机器翻译性能，并在不同任务中获得显著提高。

    Oct, 2020

  • ParaNMT-50M：用数百万机器翻译推进释义句嵌入的极限

    使用神经机器翻译将大型平行语料库的非英语部分翻译为英语，生成超过五千万个英语句子的同义句数据集 PARANMT-50M，该数据集可用于同义句生成，提供丰富的语义知识以改善下游自然语言理解任务。我们使用 PARANMT-50M 训练了同义句嵌入，能在所有 SemEval 基于语义相似度的比赛中胜过所有监督系统，并展示了它在同义句生成中的应用。

    Nov, 2017

  • CCMatrix: 在 WEB 上挖掘数十亿高质量平行句子

    通过使用边际化双语挖掘技术在多语言句子空间内，我们能够针对百亿级别的单语语料库，挖掘出 45 亿双语句子。使用这些挖掘的数据，我们在 TED、WMT 和 WAT 的测试集上，超越了 WMT'19 的最佳结果，并且对于远程语言对（如俄语 / 日语），我们的表现非常出色。

    Nov, 2019

  • 使用双语句子嵌入的有效并行语料库挖掘

    该研究提出了一种有效的并行语料库挖掘方法，使用双语句子嵌入进行训练，通过引入硬负例来实现。该方法是基于语义相似度的，结果表明该方法可以用于重建平行文本，从而训练出 NMT 模型，与使用原始数据训练的模型相差不大。

    Jul, 2018

  • 多语言神经机器翻译中使用外语重述

    本文介绍如何使用包含一致结构的训练数据作为语料库级别的释义，并将释义视为外语词汇进行 Neural Machine Translation 的训练。本方法表现出比过去的单词或短语级别的方法更好的效果，并且在使用多种语言的平行释义进行训练时表现最佳。该方法提高了翻译的 BLEU 分数，增加了词汇选择的熵和多样性。

    Aug, 2018

  • NMT 衍生的语言中介嵌入的实证分析及其在平行语句识别中的应用

    该研究系统研究了端到端的神经机器翻译的上下文向量作为句子的交互语言表征的功效，并在可比较语料库中取得了较高的平行句子识别准确率。

    Apr, 2017