使用文本编辑模型生成文本
本研究通过提出一种交互式文本生成设置,在其中用户通过向系统发出编辑现有文本的命令与系统进行交互,来解决神经文本生成中一次生成的局限性,并介绍了一种新的文本编辑任务。通过使用 Wikipedia 中的单句编辑构成了一个名为 WikiDocEdits 的数据集,使用基于 transformer 的模型在其中进行训练以提高其自动产生的成果和用户评估结果。在此基础上,本研究分别从经验和定性分析方面展示了该模型的性能表现。
Oct, 2020
本文提出了一种通过多步编辑的方式,建立生成序列的生成模型,以及训练该模型的神经网络,并基于多步编辑提出了基础结果和度量标准。实验结果表明,所提出的模型在相关下游任务上的表现优于以往单步编辑模型的表现。
May, 2022
本研究提出了一种基于迭代文本编辑的数据到文本生成新方法,使用两个先前训练模型 LaserTagger 和 GPT-2,并通过简单的启发式筛选和已训练语言模型对输出进行筛选和重新排序。
Nov, 2020
本研究将文本编辑作为一项模仿游戏,使用行为克隆方法将传统序列转序列数据转化为状态 - 操作演示,通过引入双解码器结构来并行解码操作,实现对操作之间的依赖进行保留,以及利用轨迹增强技术缓解模仿学习常常遇到的分布偏移问题。对一组算术方程基准测试进行了实验,结果显示该模型在性能、效率和稳健性方面均优于自回归基线。期望该研究成果能为以后在强化学习中应用序列级操作生成的自然语言处理研究提供启示。
Oct, 2022
提出了一个框架以训练非自回归序列到序列模型进行编辑任务,在此过程中,原始输入序列被迭代地编辑以生成输出。通过两种策略解决了在机器翻译训练的模仿学习算法在编辑场景下导致的训练和推断之间不匹配问题,从而显著提高了英文编辑任务上的输出质量和输出复杂度。
Mar, 2022
本论文介绍了一种基于序列标记的简单,高效的文本简化系统 (TST), 使用预训练的 Transformer-based 编码器,在现有系统的训练和推断中进行简单的数据增强和调整,使其不太依赖于大量的平行训练数据,提供了更多对输出的控制并实现了更快的推断速度,目前取得了基准测试数据集任务的几乎最新性能。
Mar, 2021
Seq2Edits 是一种基于开放词汇的序列编辑方法,适用于自然语言处理 (NLP) 任务,其中每个序列到序列转换表示为一系列编辑操作,用于替换源跨度或保持其不变。该方法在五个 NLP 任务上进行了评估,并在各个方面都取得了有竞争力的结果。其中在语法错误修正方面,与完整序列模型相比,该方法提高了推理速度达 5.2 倍,而推理时间取决于编辑数而不是目标标记数。
Sep, 2020
我们提出了一种新颖的非自回归文本编辑方法,通过使用潜在的 CTC 对齐模型来解决 Seq2Edit 方法中存在的生成固执性和推广到其他语言的困难问题。我们通过在编辑空间中引入复制操作对 CTC 进行关键扩展,从而更有效地处理文本重叠。我们的实验证明,我们的方法在语法错误校对和句子融合任务上明显优于现有的 Seq2Edit 模型,并且与 Seq2Seq 相比,速度提高了 4 倍以上,并在德语和俄语上表现出良好的一般化能力。深入分析揭示了我们的方法在各种情境下的鲁棒性和生成流畅灵活的输出的优势。
Oct, 2023
提出了一个计算机辅助文本编辑的框架,通过神经序列到序列建模和引入一个以输入句子和更改标记为输入的神经网络来解决翻译后编辑和改写问题,并通过用户研究评估了该模型的效果。
Nov, 2017
对序列到序列方法进行的纠错实验中发现,基于字符的模型通常比基于单词的模型和通过卷积编码子单词信息的模型更有效,并且将输出数据建模为一系列差异可提高效果,而我们最强的序列到序列模型比最强的基于短语的统计机器翻译模型在数据相同的情况下得分提高了 6 M2 点(0.5 GLEU)。此外,在标准 CoNLL-2014 设置的数据环境中,我们证明了建模(并调整)差异可以使用更简单的模型和 / 或比以前的序列到序列方法少得多的数据获得类似或更好的 M2 得分。
Jul, 2017