插入变压器：通过插入操作实现灵活序列生成

Feb, 2019

插入变压器：通过插入操作实现灵活序列生成

Insertion Transformer: Flexible Sequence Generation via Insertion Operations

Mitchell Stern, William Chan, Jamie Kiros, Jakob Uszkoreit

TL;DR本研究提出插入变换器，是基于插入操作的迭代，部分自回归模型，可在解码期间在序列中的任何位置插入标记，这种灵活性提供了多种性能优势，特别是在 WMT 2014 英德机器翻译任务中表现出色，成功恢复原始 Transformer 的性能，同时只需要对数次迭代即可完成。

Abstract

We present the insertion transformer, an iterative, partially autoregressive model for sequence generation based on insertion operations. Unlike typical autoregressive models which rely on a fixed, often left-to-

insertion transformer autoregressive model sequence generation machine translation decoding

发现论文，激发创造

Levenshtein Transformer

本文提出了一种部分自回归模型 Levenshtein Transformer，在线性时间复杂度内支持插入和删除操作，实现了互补的拆解和精细化的设计思路，成功地提高了机器翻译和文本自动编辑的效率。

May, 2019

插入删除变换器

提出了插入删除变压器 —— 一种用于序列生成的新型基于变压器的神经结构和训练方法。其中模型由插入阶段和删除阶段两个执行迭代的阶段组成，通过插入模型输出直接获取删除模型的信号。在合成翻译任务上，相较于仅插入模型，插入删除变压器在 BLEU 分数上有显著的提高。

Jan, 2020

基于插入的解码方法与自动推断的生成顺序

该论文提出了一种名为 InDIGO 的新型解码算法，该算法通过插入操作支持任意顺序的序列生成，并使用 Transformer 实现。实验结果显示，InDIGO 能够生成遵循任意顺序的序列，同时与传统的从左到右生成方法相比表现出竞争力甚至更好的性能。

Feb, 2019

半自回归神经机器翻译

本论文提出一种用于快速序列生成的新型模型：半自回归 Transformer (SAT)，该模型在保持全局自回归属性的同时减轻了本地自回归属性，从而能够在每个时间步骤同时产生多个连续的词。在英德翻译和中英翻译任务上进行的实验证明，SAT 实现了翻译质量和解码速度之间的良好平衡。

Aug, 2018

不解析，直接插入：基于插入解码的多语言语义解析

本文介绍了一种基于插入变换器的非自回归解析器来提高语义解析效率和跨语言迁移学习的能力，并在多个数据集上进行测试。

Oct, 2020

POINTER：基于插入式生成预训练的受限渐进式文本生成

本文介绍了一种新颖的插入式方法 POINTER，用于在硬性限制文本生成中生成文本。在维基百科数据集上进行预训练和下游微调后，该方法在新闻和 Yelp 数据集上取得了最先进的性能。

May, 2020

ENCONTER: 基于插入式 Transformer 的实体约束渐进式序列生成

该研究分析自回归语言模型在硬词汇约束下表现不佳的问题，并提出了一种称为 Entity-constrained insertion transformer (ENCONTER) 的新型插入变压器，该变压器在不损失太多生成效率的情况下解决了这个问题。实验结果显示，ENCONTER 在多个性能指标上优于其他基线模型，更适用于实际应用。

Mar, 2021

基于 Transformer 的增量自然语言理解模型实证分析

本文探讨了在英语 NLU 中使用线性变压器（LT）实现增量式处理的可行性。我们的结果显示，与标准变压器和具有重启增量性的 LT 相比，循环 LT 模型具有更好的增量性能和更快的推理速度，代价是部分非增量（完整序列）的质量下降。我们表明通过训练模型等待正确的上下文也有助于减轻性能下降以及使用输入前缀进行训练有助于提供正确的部分输出。

Sep, 2021

非自回归神经机器翻译

本文提出一种新的神经机器翻译模型，通过避免自回归的特性，以并行方式生成输出，进而做到了比先前方法更低的延迟时间。通过知识蒸馏，潜在变量，以及多样本策略梯度微调等技术手段，几乎没有损失性能，达到了先进的翻译效果。

Nov, 2017

序列建模：基于插补和动态规划的模型

本文提出 Imputer，一种神经序列模型，通过插值迭代地生成输出序列。Imputer 是一种迭代生成模型，只需要恒定数量的生成步骤，与输入或输出标记的数量无关。Imputer 可以被训练成近似边际化输入和输出序列之间所有可能的对齐和所有可能的生成顺序等。我们提出了一种可行的动态规划训练算法，它产生对数边际似然的下界。在端到端语音识别中，Imputer 优于之前的非自回归模型，并与自回归模型取得竞争性的结果。在 LibriSpeech test-other 上，Imputer 取得了 11.1 WER 的成绩，优于 13.0 WER 的 CTC 和 12.5 WER 的 seq2seq。

Feb, 2020