提出了一种双向学习机制(dual-learning mechanism),通过强化学习过程,使用一个代理模型代表原始任务模型,另一个代理模型代表对偶任务模型,以无监督学习方式自动从无标注数据中学习。实验证明,该方法在英法翻译中表现良好,尤其是在使用单语数据的情况下。
Nov, 2016
本研究通过引入可区分的重构损失,将神经机器翻译(NMT)的有限平行文本的利用更加完善,并探索不引入额外参数的不同 iable 采样和双向 NMT 来进行端到端的模型训练。实验表明,在四个语言对中,该方法在向两个方向上均取得了一致的小幅 BLEU 提高,并且优于另一种基于隐藏状态的可区分重构策略
Nov, 2018
本文研究无监督跨语言预训练在神经机器翻译中的应用,通过对编码器输入进行屏蔽或者基于上下文重新排序和替换等不同预训练方法的比较,发现无监督机器翻译对预训练目标的敏感度较高,与有监督机器翻译相比,更需要具有强大跨语言能力的编码器模型。
Jun, 2021
该论文提出了一种半监督的方法来训练神经机器翻译模型,该方法使用标记数据和未标记数据的拼接,通过一个自编码器重建单语语料库,从而利用源语言和目标语言的单语语料库以及双语平行语料库从而在中英数据集上取得了显著的性能提升。
Jun, 2016
本文介绍了一种基于相互信息最大化的神经机器翻译模型,该模型使用一种简单的重新排序方法和一种增加 N-best 列表多样性的解码算法,应用于 WMT 德英和法英任务中,该模型能够在标准 LSTM 和基于注意力的神经机器翻译体系结构上提供持续的性能提升。
Jan, 2016
通过添加 reconstructor 到 encoder-decoder 框架中,从输出的 target sentence 的隐藏层中重构输入的 source sentence,改善了神经机器翻译的可靠性和翻译质量。
该研究提出一种被称为双重监督学习的方法,即同时训练两个双重形式的任务模型,并明确利用它们之间的概率关联来规范训练过程。该方法可同时提高多种应用程序的实际性能,包括机器翻译,图像处理和情感分析。
Jul, 2017
提出并实现了一种基于抽取 - 编辑方法的无监督神经机器翻译,与以往仅使用错误积累法的基准性方法相比,在多个语言对和领域(包括低资源语言)的实验中表现更加优异。
Apr, 2019
本研究提出了一种基于无监督学习和半监督学习的组合方法,将双重学习与零样本学习相结合,通过加强翻译任务的对偶性,并且只需要被翻译成的单一语言的单语数据,来优化机器翻译质量,结果表明该方法在零样本条件下英语、西班牙语和法语三者之间,取得了较传统 NMT 系统更好的翻译表现。
May, 2018
本文提出一种简单但有效的方法,即将目标语句重新排序以匹配源语序,并将其作为另外一种训练时的监督信号,从而在模拟低资源日语 - 英语和真实低资源维吾尔 - 英语语种中获得显着改进。
Aug, 2019