使用 Delta 后验的确定性推断实现潜变量非自回归神经机器翻译

AAAIAug, 2019

使用 Delta 后验的确定性推断实现潜变量非自回归神经机器翻译

Latent-Variable Non-Autoregressive Neural Machine Translation with Deterministic Inference Using a Delta Posterior

Raphael Shu, Jason Lee, Hideki Nakayama, Kyunghyun Cho

TL;DRLaNMT 是一种基于最近的改进方法的潜变量非自回归模型，具有连续潜变量和确定性推断过程，在推断期间，翻译的长度自动适应，在 ASPEC Ja-En 数据集上的解码速度比自回归算法快 8.6 倍，在 WMT'14 En-De 数据集上，解码速度比自回归基线快 12.5 倍，且独立的并行解码和教师模型再评分可以将性能差距进一步降至 1.0 BLEU point。

Abstract

Although neural machine translation models reached high translation quality, the autoregressive nature makes inference difficult to parallelize and leads to high translation latency. Inspired by recent refinement

neural machine translation non-autoregressive model latent variables inference procedure translation quality

发现论文，激发创造

非自回归神经机器翻译

本文提出一种新的神经机器翻译模型，通过避免自回归的特性，以并行方式生成输出，进而做到了比先前方法更低的延迟时间。通过知识蒸馏，潜在变量，以及多样本策略梯度微调等技术手段，几乎没有损失性能，达到了先进的翻译效果。

Nov, 2017

非自回归神经机器翻译中两种语言共享的潜在空间

本研究提出一种新的潜变量建模方法，名为 LadderNMT，并通过在非自回归神经机器翻译中的实验结果展示了其在跨语言翻译任务中显著提高翻译质量的优势。该方法基于双重重建视角和先进的分层潜变量建模方法，共享两种语言的潜空间，以减轻或解决了以前方法中存在的多模态问题，参数过多，无法获取全部输入信息的缺点。

May, 2023

非自回归神经机器翻译的模仿学习

本文提出了基于仿真学习的非自回归机器翻译框架，该框架仍然具有快速翻译速度但与其自回归对应方法相比具有可比较的翻译性能。通过对 IWSLT16、WMT14 和 WMT16 数据集进行实验，发现我们提出的模型在保持翻译质量可比的同时，比自回归模型有更快的翻译速度。在推断时并行采样句子长度，WMT16 Ro→En 的 BLEU 值达到 31.85，而 IWSLT16 En→De 的 BLEU 值为 30.68。

Jun, 2019

分层预测与深度监督的非自回归翻译

本研究提出了 DSLP 模型，可以通过使用深度监督和层次预测训练非自回归 Transformer 以进行高效且高性能的机器翻译，实验结果表明，与基础模型相比，我们的方法始终改善了 BLEU 得分，尤其在推理效率方面提高了 14.8 倍。

Oct, 2021

连续空间迭代优化非自回归神经机器翻译

该研究提出了一种基于连续空间的非自回归机器翻译推理过程，采用连续潜在变量模型进行翻译，使用梯度优化方法在推理时逐步细化翻译，相比于现有方法在标记空间进行细化，该方法具备计算效率高、较高的边缘概率和 BLEU 评分等优势。

Sep, 2020

全非自回归神经机器翻译：技巧窍门

本研究提出了一种全非自回归神经机器翻译（NAT）的方案，采用依赖关系减少等方法，缩短推理延迟同时提升翻译质量，在三个翻译基准测试中实现了新的全自然机器翻译模型的最高水平，并在推理时间上取得了大约 16.5 倍的速度提升。

Dec, 2020

条件变分自编码器用于神经机器翻译

探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能，通过引入连续潜变量来增强编码器 - 解码器 NMT 范例，利用 Inference Network 中的共同关注机制来扩展该模型，使用不同方法试图缓解后验崩溃问题，并且探究学习潜空间的能力，该模型能有效地优化翻译模型。

Dec, 2018

使用连接时序分类的端到端非自回归神经机器翻译

提出基于 CTC 的非自回归结构，可用于神经机器翻译，相比其他的非自回归结构，本文所提出的模型可以进行端到端的训练，并在 WMT 英罗马尼亚和英德数据集上实现了可比的翻译质量及较大的速度提升。

Nov, 2018

混合回归神经机器翻译

本文提出了一种叫做混合回归翻译的翻译模型，它结合了自回归翻译和非自回归翻译模式的优势，通过在自回归过程中预测部分结果，再通过非自回归方式填充其余结果的方式，开发出了一种基于这两种模式的翻译模型，并对其效率和准确性进行了评估和比较。

Oct, 2022

将本地翻译机制融入非自回归翻译中

本研究介绍了一种新的局部自回归翻译机制，将其应用于非自回归翻译模型中，以捕捉目标输出的局部依赖关系。同时，设计出一种高效的合并算法来对齐和合并输出序列。我们在 5 个翻译任务上进行了实证结果，表明相比 CMLM，我们的方法在更少的译码迭代次数下取得了可比或更好的性能，加速了 2.5 倍。进一步的分析表明，我们的方法减少了重复翻译，并且在较长的句子上表现更好。

Nov, 2020