AAAIAug, 2018

通过目标双向一致性正则化神经机器翻译

PDF
TL;DR提出了一种基于 Kullback-Leibler 散度规则的神经机器翻译（NMT）正则化方法，并采用联合训练策略，将左到右和右到左 NMT 解码器改进互动方式，从而有效提高了中英文和英德翻译任务的表现。
neural machine translationmodel regularizationkullback-leibler divergencejoint trainingsequence generation
发现论文，激发创造
  • 通过表示和梯度规范化提高多语言翻译

    本文提出了一种同时在表示层和梯度层面上正则化神经机器翻译（NMT）模型的方法，以解决多语言 NMT 在零 - shot 翻译中出现偏离目标语言及低质量翻译的问题，并在 WMT 和 OPUS 数据集上实现了 5.59 和 10.38 BLEU 的性能提升。

    Sep, 2021

  • 使用一致性正则化的半监督神经机器翻译技术 —— 面向低资源语言

    本文介绍一种半监督的方法来解决低资源语言机器翻译的问题，通过增强高质量的句子对和使用基于 SentenceBERT 的过滤器来提高数据质量，将交叉熵损失和 KL 散度相结合，特别是通过伪目标句子实现无监督训练，实验证明该方法可以显著提高 NMT 基线性能

    Apr, 2023

  • 正反向解码用于正则化端到端 TTS

    该研究提出了两种新方法以解决神经端到端 TTS 模型在挑战性测试集中表现不佳的问题，包括引入差异正则化项和双向解码器正则化，并采用联合训练策略，在提高鲁棒性和自然度方面均取得了显著的改进。

    Jul, 2019

  • 利用单语数据进行神经机器翻译模型的联合训练

    本文提出了一种新方法，通过联合 EM 优化方法融合源语言和目标语言的神经机器翻译模型，以更好地利用单语数据来提高翻译质量，实验结果表明，相对于使用单语数据训练的强基线系统，该方法可以同时提高源到目标和目标到源模型的翻译质量。

    Mar, 2018

  • 同步双向神经机器翻译

    本研究提出了同步双向神经机器翻译模型，通过同时进行从左到右和从右到左解码，以相互交互的方式预测输出，从而利用历史和未来信息，并在大规模数据上实验证明其优于强的 Transformer 模型，达到了中英文和英德文翻译任务的最新性能。

    May, 2019

  • 基于充分性导向学习的神经机器翻译

    通过基于强化学习的翻译策略，以翻译的充分性为奖励，提高神经机器翻译模型的翻译效果。

    Nov, 2018

  • 机器翻译的双重学习

    提出了一种双向学习机制（dual-learning mechanism），通过强化学习过程，使用一个代理模型代表原始任务模型，另一个代理模型代表对偶任务模型，以无监督学习方式自动从无标注数据中学习。实验证明，该方法在英法翻译中表现良好，尤其是在使用单语数据的情况下。

    Nov, 2016

  • 基于重建的神经机器翻译

    通过添加 reconstructor 到 encoder-decoder 框架中，从输出的 target sentence 的隐藏层中重构输入的 source sentence，改善了神经机器翻译的可靠性和翻译质量。

    Nov, 2016

  • 基于协议的双向注意力神经机器翻译联合训练

    通过协商双向翻译模型之间的单词对齐矩阵来优化神经机器翻译的关注机制，并提高翻译质量。

    Dec, 2015

  • 谷歌的神经机器翻译系统：弥合人类翻译和机器翻译之间的差距

    Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络，使用 attention 机制和残差连接，借助词元素 (wordpieces) 将单词划分为子单元，提高了稀有单词处理能力与整体系统精度。

    Sep, 2016