本研究提出插入变换器，是基于插入操作的迭代，部分自回归模型，可在解码期间在序列中的任何位置插入标记，这种灵活性提供了多种性能优势，特别是在 WMT 2014 英德机器翻译任务中表现出色，成功恢复原始 Transformer 的性能，同时只需要对数次迭代即可完成。

Feb, 2019

本文提出了一种部分自回归模型 Levenshtein Transformer，在线性时间复杂度内支持插入和删除操作，实现了互补的拆解和精细化的设计思路，成功地提高了机器翻译和文本自动编辑的效率。

May, 2019

本研究在 Encoder-Decoder transformer 模型中提出了 4 种编辑任务，并展示了这种直接干预方法的高效性，只需一个有效实例就能修复错误的负面模型行为。

Nov, 2022

本文介绍了一种基于编辑的转换器，其通过编辑假设使序列生成更加灵活。 实验证明，它在处理序列时，比 Levenshtein Transformer 更有效，并且在标准的机器翻译任务中可以实现与 Levenshtein Transformer 相媲美的翻译质量和更快的解码速度。

Nov, 2020

本文提出了一种更广泛的 DDPMs，能够处理序列数据中插入和删除元素的噪声，该模型在算术序列任务和 text8 数据集上表现出较好的结果，并可用于拼写错误的修复。

Jul, 2021

本研究通过引入特殊的 [null] token 建立了一个简单而有效的预训练模型来解决中文 BERT 模型在词插入和删除方面的表现缺陷。通过设计预测任务，模型能够联合给定上下文同时预测非存在词和实际词汇，并进一步创造了一个评估数据集以促进词插入和删除研究的发展。实验结果表明，相较于现有的中文 BERT 模型，本研究方法的 F1 得分分别从 24.1% 和 26.5% 提升到了 78.1% 和 68.5%。

Apr, 2022

提出了 Speechformer 的架构，该架构通过减少注意层中的内存使用，避免了初始的失真压缩，并根据更具信息的语言标准仅在较高级别上聚合信息，该架构在三种语言对 (en->de/es/nl) 上的实验表明了其有效性。

Sep, 2021

本文介绍了一种新颖的插入式方法 POINTER，用于在硬性限制文本生成中生成文本。在维基百科数据集上进行预训练和下游微调后，该方法在新闻和 Yelp 数据集上取得了最先进的性能。

May, 2020

本文介绍了一种基于 Transformer 模型的系统，旨在将德语源句子翻译成其英语目标句子，通过 WMT'13 数据集上的新闻评论德英平行句子的实验，我们发现在训练中加入 IWSLT'16 数据集的泛领域数据可以提高 Transformer 模型性能的 2 个 BLEU 分数点，从而改善生成翻译句子的质量。

Sep, 2022

介绍了我们在 WMT'22 翻译建议共享任务中提交的系统，该系统基于多种翻译架构的集合，并使用三种策略构建合成数据以补偿监督数据的缺乏，并引入多阶段预训练策略，并在英德和英汉双向任务中排名第二和第三。

Oct, 2022