ICMLMay, 2022

有向无环 Transformer 模型用于非自回归机器翻译

PDF
TL;DR通过将隐藏状态表示成有向无环图，在非自回归的情况下同时捕获多个翻译，并促进快速预测，DA-Transformer 在 WMT 基准测试的原始训练数据上实验表明，DA-Transformer 比以前的 NATs（非自回归 transform）平均优于 3 BLEU，是第一个在不依赖于知识蒸馏的情况下实现与自回归 Transformer 竞争性结果的 NAT 模型。
non-autoregressive transformersdirected acyclic transfomerdecoding latencytranslationwmt benchmark
发现论文，激发创造
  • 有向无环转换器的维特比解码在非自回归机器翻译中的应用

    本文提出了一种基于维特比解码的 DA-Transformer 模型，能够在保持速度优势的同时提高翻译效果，适用于非自回归模型的神经机器翻译。

    Oct, 2022

  • 利用对比学习优化非自回归变换器

    本文提出了一种基于 DA-Transformer 模型和从模型分布中采点的对比约束的非自回归 Transformer 模型，通过这种方式减轻模态学习的难度，取得了在机器翻译，文本摘要和改写等多个基准数据集中显著的最新非自回归 Transformer 模型的性能。

    May, 2023

  • 全非自回归神经机器翻译：技巧窍门

    本研究提出了一种全非自回归神经机器翻译（NAT）的方案，采用依赖关系减少等方法，缩短推理延迟同时提升翻译质量，在三个翻译基准测试中实现了新的全自然机器翻译模型的最高水平，并在推理时间上取得了大约 16.5 倍的速度提升。

    Dec, 2020

  • 定向无环 Transformer 预训练用于高质量的非自回归文本生成

    提出一种 Pre-trained Directed Acyclic Transformer（PreDAT）和新颖的预训练任务来促进 NAR 生成中的预测一致性。在五个文本生成任务上的实验表明，PreDAT 明显优于现有的预先训练的 NAR 模型（平均得分 + 4.2），甚至在基于 n-gram 的指标上比预先训练的自回归基线效果更好，并且吞吐量提高了 17 倍。

    Apr, 2023

  • Control-DAG: 使用加权有限状态自动机对非自回归有向无环 T5 进行约束解码

    Directed Acyclic Transformer（有向无环 Transformer）是一种快速的非自回归（NAR）模型，它在神经机器翻译中表现良好。然而，在应用于一般的自然语言生成（NLG）任务时存在两个问题：频繁的词汇外（OOV）错误和无法准确生成实体名称。我们引入了 Control-DAG，一种用于我们的 Directed Acyclic T5（DA-T5）模型的约束解码算法，它提供了词汇、词汇表和长度控制。我们展示了 Control-DAG 在 Schema Guided Dialogue 和 DART 数据集上显著提升了 DA-T5 的表现，为任务导向对话和数据到文本的自然语言生成领域建立了强大的非自回归结果。

    Apr, 2024

  • 非自回归 Transformer 模型的学习

    本文分析了非自回归 Transformer 的学习挑战，提出统一视角来理解存在的成功。研究表明，我们的视角可以解释 NAT 学习中的现象并指导新的训练方法的设计。

    Jun, 2022

  • 有向无环图中的模糊对齐用于非自回归机器翻译

    本文提出了一种新的方法，使用模糊对齐分数来训练基于有向无环图结构的非自回归翻译模型，从而解决多模态问题，在主要 WMT 基准数据上取得了显著的翻译性能提升和置信度提高，为非自回归翻译模型的训练提供了一个新的方向。

    Mar, 2023

  • 辅助规则下的非自回归机器翻译

    本文提出通过在 NAT 模型的训练过程中引入两个辅助正则化项来提高解码器的隐藏表示质量，以解决重复和不完整翻译的问题，并在几个基准数据集上进行了广泛实验，表明正则化策略是有效的，可以显著提高 NAT 模型的准确性和效率。

    Feb, 2019

  • 为非自回归神经机器翻译检索连续信息

    本论文提出了两种增强 Non-Autoregressive Transformer (NAT) 翻译能力的方法：一种基于一种新的强化学习算法的序列级训练方法，叫做 Reinforce-NAT；还有一种名为 FS-decoder 的新型 Transformer 解码器，可以将目标顺序信息融合到解码器的顶层中。实验结果表明，Reinforce-NAT 在三个翻译任务上的表现优于基线模型 NAT，FS-decoder 的翻译性能与自回归 Transformer 相当，但速度更快。

    Jun, 2019

  • RenewNAT: 为非自回归 Transformer 续期潜在翻译

    本文提出了一种名为 RenewNAT 的灵活框架，实现了高效和有效的翻译过程，结合了自然语言机器翻译的全非自回归模型和迭代模型。通过在单个通道中生成潜在的翻译结果，RenewNAT 在不引入额外模型参数和解码延迟的情况下，显着提高强大的全自然模型（例如 GLAT 和 DSLP）的性能。

    Mar, 2023