EdiT5：使用 T5 预热进行半自回归文本编辑

EMNLPMay, 2022

EdiT5：使用 T5 预热进行半自回归文本编辑

EdiT5: Semi-Autoregressive Text-Editing with T5 Warm-Start

Jonathan Mallinson, Jakub Adamek, Eric Malmi, Aliaksei Severyn

TL;DREdiT5 是一种新颖的半自回归文本编辑模型，可在比传统的序列到序列（seq2seq）模型更快地推理时，能够建模灵活的输入 - 输出转换。该模型将生成过程分解成三个子任务：标记、重新排序和插入。EdiT5 的性能比 T5 在低资源环境下更好，对句子融合、语法错误更正和去文本化等 NLG 任务具有可比性。

Abstract

We present EdiT5 - a novel semi-autoregressive text-editing model designed to combine the strengths of non-autoregressive text-editing and autoregressive decoding. EdiT5 is faster during inference than convention

text-editing model semi-autoregressive sequence-to-sequence nlg tasks t5

发现论文，激发创造

具有复制感知潜在对齐的非自回归文本编辑

我们提出了一种新颖的非自回归文本编辑方法，通过使用潜在的 CTC 对齐模型来解决 Seq2Edit 方法中存在的生成固执性和推广到其他语言的困难问题。我们通过在编辑空间中引入复制操作对 CTC 进行关键扩展，从而更有效地处理文本重叠。我们的实验证明，我们的方法在语法错误校对和句子融合任务上明显优于现有的 Seq2Edit 模型，并且与 Seq2Seq 相比，速度提高了 4 倍以上，并在德语和俄语上表现出良好的一般化能力。深入分析揭示了我们的方法在各种情境下的鲁棒性和生成流畅灵活的输出的优势。

Oct, 2023

使用非自回归模型的文本编辑模仿学习课程

提出了一个框架以训练非自回归序列到序列模型进行编辑任务，在此过程中，原始输入序列被迭代地编辑以生成输出。通过两种策略解决了在机器翻译训练的模仿学习算法在编辑场景下导致的训练和推断之间不匹配问题，从而显著提高了英文编辑任务上的输出质量和输出复杂度。

Mar, 2022

UT5：使用展开去噪预训练非自回归性 T5 模型

通过展开去噪并展示其在下游生成任务中的最先进结果，我们研究了 T5 模型的非自回归无监督预训练。

Nov, 2023

使用文本编辑模型生成文本

本文介绍了文本编辑模型和 seq2seq 模型，分析了它们的优缺点，探讨了生产化和应对文本生成中的幻觉和偏见等挑战。

Jun, 2022

编码、标签、实现：高精度文本编辑

LaserTagger 是一种将文本生成转换为文本编辑任务的序列标注方法，并通过使用 BERT 编码器和自回归 Transformer 解码器的新型模型来预测编辑操作。在四个任务中测试表明，LaserTagger 在三个任务上取得了新的最优结果，并在训练示例数量有限的情况下优于 seq2seq 模型。同时，LaserTagger 在推理时的标注速度比相似的 seq2seq 模型快两个数量级。

Sep, 2019

基于编辑和重定位的编辑器 —— 用于具有软词汇约束的神经机器翻译

本文介绍了一种基于编辑的转换器，其通过编辑假设使序列生成更加灵活。实验证明，它在处理序列时，比 Levenshtein Transformer 更有效，并且在标准的机器翻译任务中可以实现与 Levenshtein Transformer 相媲美的翻译质量和更快的解码速度。

Nov, 2020

文本编辑作为模拟游戏

本研究将文本编辑作为一项模仿游戏，使用行为克隆方法将传统序列转序列数据转化为状态 - 操作演示，通过引入双解码器结构来并行解码操作，实现对操作之间的依赖进行保留，以及利用轨迹增强技术缓解模仿学习常常遇到的分布偏移问题。对一组算术方程基准测试进行了实验，结果显示该模型在性能、效率和稳健性方面均优于自回归基线。期望该研究成果能为以后在强化学习中应用序列级操作生成的自然语言处理研究提供启示。

Oct, 2022

通过标注和插入实现灵活的文本编辑

Felix 是一种灵活的文本编辑方法，利用双向上下文解码和自我监督预训练的思想，将文本编辑任务分解为标记子任务和插入子任务，通过指针机制和掩模语言模型设计非自回归模型，以在低资源和快速推理的情况下建模灵活的输入输出转换，在句子融合、机器翻译、自动后期编辑、文本简化等自然语言生成任务中具有较好的性能。

Mar, 2020

通过标记实现文本简化

本论文介绍了一种基于序列标记的简单，高效的文本简化系统 (TST), 使用预训练的 Transformer-based 编码器，在现有系统的训练和推断中进行简单的数据增强和调整，使其不太依赖于大量的平行训练数据，提供了更多对输出的控制并实现了更快的推断速度，目前取得了基准测试数据集任务的几乎最新性能。

Mar, 2021

迭代文本编辑的数据生成

本研究提出了一种基于迭代文本编辑的数据到文本生成新方法，使用两个先前训练模型 LaserTagger 和 GPT-2，并通过简单的启发式筛选和已训练语言模型对输出进行筛选和重新排序。

Nov, 2020