EMNLPOct, 2022

文本编辑作为模拟游戏

PDF
TL;DR本研究将文本编辑作为一项模仿游戏，使用行为克隆方法将传统序列转序列数据转化为状态 - 操作演示，通过引入双解码器结构来并行解码操作，实现对操作之间的依赖进行保留，以及利用轨迹增强技术缓解模仿学习常常遇到的分布偏移问题。对一组算术方程基准测试进行了实验，结果显示该模型在性能、效率和稳健性方面均优于自回归基线。期望该研究成果能为以后在强化学习中应用序列级操作生成的自然语言处理研究提供启示。
发现论文，激发创造
  • 使用非自回归模型的文本编辑模仿学习课程

    提出了一个框架以训练非自回归序列到序列模型进行编辑任务，在此过程中，原始输入序列被迭代地编辑以生成输出。通过两种策略解决了在机器翻译训练的模仿学习算法在编辑场景下导致的训练和推断之间不匹配问题，从而显著提高了英文编辑任务上的输出质量和输出复杂度。

    Mar, 2022

  • 使用文本编辑模型生成文本

    本文介绍了文本编辑模型和 seq2seq 模型，分析了它们的优缺点，探讨了生产化和应对文本生成中的幻觉和偏见等挑战。

    Jun, 2022

  • 指令式文本编辑

    本研究通过提出一种交互式文本生成设置，在其中用户通过向系统发出编辑现有文本的命令与系统进行交互，来解决神经文本生成中一次生成的局限性，并介绍了一种新的文本编辑任务。通过使用 Wikipedia 中的单句编辑构成了一个名为 WikiDocEdits 的数据集，使用基于 transformer 的模型在其中进行训练以提高其自动产生的成果和用户评估结果。在此基础上，本研究分别从经验和定性分析方面展示了该模型的性能表现。

    Oct, 2020

  • QuickEdit: 通过划掉单词进行文本和翻译编辑

    提出了一个计算机辅助文本编辑的框架，通过神经序列到序列建模和引入一个以输入句子和更改标记为输入的神经网络来解决翻译后编辑和改写问题，并通过用户研究评估了该模型的效果。

    Nov, 2017

  • 迭代文本编辑的数据生成

    本研究提出了一种基于迭代文本编辑的数据到文本生成新方法，使用两个先前训练模型 LaserTagger 和 GPT-2，并通过简单的启发式筛选和已训练语言模型对输出进行筛选和重新排序。

    Nov, 2020

  • 编码、标签、实现：高精度文本编辑

    LaserTagger 是一种将文本生成转换为文本编辑任务的序列标注方法，并通过使用 BERT 编码器和自回归 Transformer 解码器的新型模型来预测编辑操作。在四个任务中测试表明，LaserTagger 在三个任务上取得了新的最优结果，并在训练示例数量有限的情况下优于 seq2seq 模型。同时，LaserTagger 在推理时的标注速度比相似的 seq2seq 模型快两个数量级。

    Sep, 2019

  • 具有复制感知潜在对齐的非自回归文本编辑

    我们提出了一种新颖的非自回归文本编辑方法，通过使用潜在的 CTC 对齐模型来解决 Seq2Edit 方法中存在的生成固执性和推广到其他语言的困难问题。我们通过在编辑空间中引入复制操作对 CTC 进行关键扩展，从而更有效地处理文本重叠。我们的实验证明，我们的方法在语法错误校对和句子融合任务上明显优于现有的 Seq2Edit 模型，并且与 Seq2Seq 相比，速度提高了 4 倍以上，并在德语和俄语上表现出良好的一般化能力。深入分析揭示了我们的方法在各种情境下的鲁棒性和生成流畅灵活的输出的优势。

    Oct, 2023

  • EdiT5：使用 T5 预热进行半自回归文本编辑

    EdiT5 是一种新颖的半自回归文本编辑模型，可在比传统的序列到序列（seq2seq）模型更快地推理时，能够建模灵活的输入 - 输出转换。该模型将生成过程分解成三个子任务：标记、重新排序和插入。EdiT5 的性能比 T5 在低资源环境下更好，对句子融合、语法错误更正和去文本化等 NLG 任务具有可比性。

    May, 2022

  • 现场表示优化的文本修订

    本文提出了一种基于 Transformer、掩蔽语言模拟和属性分类的迭代就地文本修订方法，可以实现无需平行数据的文本修订，并在两个典型的文本修订任务上实现了竞争性和甚至更好的性能。

    Apr, 2022

  • 基于语义分割的未完整话语改写

    本研究提出一种将不完整话语改写问题表述成语义分割问题，通过预测单词级别的编辑矩阵来引入编辑操作，能够捕捉到局部和全局信息，取得了多个公共数据集上的最新成果。此外，我们的方法在推理中比标准方法快四倍。

    Sep, 2020