ACLFeb, 2019

基于插入的解码方法与自动推断的生成顺序

PDF
TL;DR该论文提出了一种名为 InDIGO 的新型解码算法，该算法通过插入操作支持任意顺序的序列生成，并使用 Transformer 实现。实验结果显示，InDIGO 能够生成遵循任意顺序的序列，同时与传统的从左到右生成方法相比表现出竞争力甚至更好的性能。
neural autoregressive decodingindigotransformersequence generationadaptive orders
发现论文，激发创造
  • 插入变压器：通过插入操作实现灵活序列生成

    本研究提出插入变换器，是基于插入操作的迭代，部分自回归模型，可在解码期间在序列中的任何位置插入标记，这种灵活性提供了多种性能优势，特别是在 WMT 2014 英德机器翻译任务中表现出色，成功恢复原始 Transformer 的性能，同时只需要对数次迭代即可完成。

    Feb, 2019

  • 使用变分推理发现非单调自回归顺序

    该研究提出了一种无监督、可并行学习的语言模型生成算法，使用置换矩阵表示自回归顺序，并通过多步生成式注意力将其作为目标顺序进行训练，并在语言建模任务中获得了有竞争力或者优秀的表现。

    Oct, 2021

  • 快速交替双向序列生成

    本文提出了一种交叉双向的解码器，它能同时进行从左到右和从右到左的目标词语生成，并且相较于自回归解码等传统解码方式在保持质量的情况下能实现达到 2 倍的解码速度提升。此外，作者还探索了同时预测多个相邻 token 的方法，以及根据目标序列进行分区解码的多向模型，这些方法也能够在不损失太多准确度的情况下进一步提高解码速度。

    Oct, 2020

  • 使用积极解码的 Seq2seq 生成无损加速

    本文提出了一种名为 Aggressive Decoding 的解码算法，通过创新性的 Aggressive Decoding 和 Verification 的协同合作来实现加速 seq2seq 生成模型解码的过程，并在多个 seq2seq 任务上进行了测试，实现了同等甚至更高的质量和显著的加速。

    May, 2022

  • 机器翻译生成顺序的实证研究

    本文通过实证研究生成顺序来探讨机器翻译的效果，发现对于英德翻译任务，以字母和最短优先等方式生成的效果相当于标准 Transformer 生成的效果，提出了不必严格遵循从左到右的翻译方式。而对于英中翻译任务，由于语言对齐度低，生成的效果则对生成顺序更加敏感。

    Oct, 2019

  • 利用排序信息指导非自回归神经机器翻译解码

    本研究提出了一种名为 ReorderNAT 的新型非自回归神经机器翻译框架，该框架利用可确定性和不确定性解码战略以缩小解码空间，从而更好地模拟了编码过程中的重新排序信息，实验结果表明，该模型在各种广泛使用的数据集上表现出更好的性能，并且通过显着的加速实现了与自回归翻译模型相媲美的翻译质量。

    Nov, 2019

  • 无向序列模型生成顺序的学习和分析

    通过强化学习训练预训练的无向翻译模型的生成顺序，从而实现了比从左到右或学习自 Mansimov 等人 (2019) 学习的顺序得到的输出 BLEU 分数更高的翻译结果。

    Dec, 2021

  • 具有位置对齐的快速图像字幕生成

    提出了一种非自回归解码框架用于图片描述，该框架使用位置对齐和推理策略来指导更进一步的句子生成，实验结果表明此模型相对于自回归模型有显著的加速效果，并且相较于 NA 模型有更好的表现。

    Dec, 2019

  • 非单调序列文本生成

    本文使用递归二叉树模型，提出了一种用于生成文本的框架，能够训练模型采用非单调生成方式，模型能够直接学习适宜的生成次序，且不需要额外的标注。文章利用模拟学习的方法，从模仿 Oracle 到加强自己的喜好，达到了无需预定生成顺序的文字生成，同时达到了与传统的从左到右生成相当的性能。

    Feb, 2019

  • 通过并行解码加速 Transformer 推理以进行翻译

    本文提出使用雅可比和高斯 - 塞德尔迭代方法对机器翻译的标准贪心自回归解码进行并行重构，以解决 transformers 对机器翻译的效率问题，实现了速度提高，而翻译质量保持。三种并行解码算法被提出并在不同语言和模型上进行了测试，速度提升最多可达 38％，在并行资源上实现的速度几乎达到 2 倍。同时，为了更好地理解模型的条件依赖关系和检查解码过程，提出了解码依赖图可视化器（DDGviz）

    May, 2023