本论文介绍了一种基于序列标记的简单，高效的文本简化系统 (TST), 使用预训练的 Transformer-based 编码器，在现有系统的训练和推断中进行简单的数据增强和调整，使其不太依赖于大量的平行训练数据，提供了更多对输出的控制并实现了更快的推断速度，目前取得了基准测试数据集任务的几乎最新性能。

Mar, 2021

本研究提出了一种基于迭代文本编辑的数据到文本生成新方法，使用两个先前训练模型 LaserTagger 和 GPT-2，并通过简单的启发式筛选和已训练语言模型对输出进行筛选和重新排序。

Nov, 2020

Felix 是一种灵活的文本编辑方法，利用双向上下文解码和自我监督预训练的思想，将文本编辑任务分解为标记子任务和插入子任务，通过指针机制和掩模语言模型设计非自回归模型，以在低资源和快速推理的情况下建模灵活的输入输出转换，在句子融合、机器翻译、自动后期编辑、文本简化等自然语言生成任务中具有较好的性能。

Mar, 2020

本文提出了一种部分自回归模型 Levenshtein Transformer，在线性时间复杂度内支持插入和删除操作，实现了互补的拆解和精细化的设计思路，成功地提高了机器翻译和文本自动编辑的效率。

May, 2019

本研究将文本编辑作为一项模仿游戏，使用行为克隆方法将传统序列转序列数据转化为状态 - 操作演示，通过引入双解码器结构来并行解码操作，实现对操作之间的依赖进行保留，以及利用轨迹增强技术缓解模仿学习常常遇到的分布偏移问题。对一组算术方程基准测试进行了实验，结果显示该模型在性能、效率和稳健性方面均优于自回归基线。期望该研究成果能为以后在强化学习中应用序列级操作生成的自然语言处理研究提供启示。

Oct, 2022

我们提出了一种新颖的非自回归文本编辑方法，通过使用潜在的 CTC 对齐模型来解决 Seq2Edit 方法中存在的生成固执性和推广到其他语言的困难问题。我们通过在编辑空间中引入复制操作对 CTC 进行关键扩展，从而更有效地处理文本重叠。我们的实验证明，我们的方法在语法错误校对和句子融合任务上明显优于现有的 Seq2Edit 模型，并且与 Seq2Seq 相比，速度提高了 4 倍以上，并在德语和俄语上表现出良好的一般化能力。深入分析揭示了我们的方法在各种情境下的鲁棒性和生成流畅灵活的输出的优势。

Oct, 2023

本研究基于双向 LSTM 神经机器翻译模型探索了基于 transformer 的句子 / 文档嵌入模型 T-LASER，并使用距离约束损失函数增强 NMT 损失函数，提升模型在多语言文本处理方面的性能。

Aug, 2020

本文提出了一种多任务学习框架，利用文本数据来提高自动语音识别和语音翻译的性能，其中包括基于注意力的序列到序列建模、去噪自动编码器、机器翻译等技术。在英语语音识别任务中，该方法相对于基线线下降了 10~15% 的词错误率，在 MuST-C 任务中有 3.6~9.2 BLEU 的提高。

Oct, 2020

EdiT5 是一种新颖的半自回归文本编辑模型，可在比传统的序列到序列（seq2seq）模型更快地推理时，能够建模灵活的输入 - 输出转换。该模型将生成过程分解成三个子任务：标记、重新排序和插入。EdiT5 的性能比 T5 在低资源环境下更好，对句子融合、语法错误更正和去文本化等 NLG 任务具有可比性。

May, 2022

本文介绍了一种基于编辑的转换器，其通过编辑假设使序列生成更加灵活。 实验证明，它在处理序列时，比 Levenshtein Transformer 更有效，并且在标准的机器翻译任务中可以实现与 Levenshtein Transformer 相媲美的翻译质量和更快的解码速度。

Nov, 2020