Oct, 2019

使用 XLNet 进行句子后编辑的 XL-Editor

PDF
TL;DR本文提出了一种名为 XL-Editor 的框架，通过可变长度插入概率使得 XLNet 模型可以修改给定的句子并进行后处理操作，无需按照自左向右的生成顺序；基于此，本文首先在文本插入和删除任务上展示了 XL-Editor 的改进效果，随后在非成对文本风格转换任务中实现了重大进展。
neural sequence generation modelsxl-editorvariable-length insertion probabilitypost-editing capabilitiesunpaired text style transfer task
发现论文，激发创造
  • 基于编辑和重定位的编辑器 —— 用于具有软词汇约束的神经机器翻译

    本文介绍了一种基于编辑的转换器，其通过编辑假设使序列生成更加灵活。 实验证明，它在处理序列时，比 Levenshtein Transformer 更有效，并且在标准的机器翻译任务中可以实现与 Levenshtein Transformer 相媲美的翻译质量和更快的解码速度。

    Nov, 2020

  • XLNet：语言理解的泛化自回归预训练

    我们提出了 XLNet—— 一种广义的自回归预训练方法，它通过最大化分解顺序的所有排列的期望似然来学习双向上下文，并且集成了 Transformer-XL 的思想，从而在 20 项任务中胜过了 BERT，包括问题回答、自然语言推断、情感分析和文档排名等方面。

    Jun, 2019

  • 使用 XLNet 改进词汇约束句子生成：展示修改方法

    本文提出了使用分类器指导 MCMC 进行词汇限制句子生成的技术，并采用了两步方法 “预测和修订” 生成符合限制的句子，实验结果表明该方法在句子流畅度和多样性方面优于先前的方法。

    Sep, 2021

  • QuickEdit: 通过划掉单词进行文本和翻译编辑

    提出了一个计算机辅助文本编辑的框架，通过神经序列到序列建模和引入一个以输入句子和更改标记为输入的神经网络来解决翻译后编辑和改写问题，并通过用户研究评估了该模型的效果。

    Nov, 2017

  • Transformer-XL: 超越固定长度上下文的关注式语言模型

    提出了一种名为 Transformer-XL 的神经架构，它能够在语言模型的设定中超越固定长度的依赖关系，并且不会破坏时间上的一致性。通过分段级别的循环机制和一种新颖的位置编码方案，Transformer-XL 不仅能够捕捉更长期的依赖关系，而且还解决了上下文破碎问题。在评估期间，它的速度比普通的 Transformers 要快 1,800 多倍，并且在短序列和长序列上表现更好。实验结果显示，在多个语料库上，Transformer-XL 都比目前的最先进结果表现要好。

    Jan, 2019

  • DialogXL: 一体化的 XLNet 多方会话情感识别

    本文介绍了我们使用预训练语言模型进行情感识别的研究，提出了使用增强记忆和对话感知自注意力的全能型 XLNet 模型 DialogXL, 通过对四个 ERC 基准测试的实验表明，该模型在所有数据集上都优于基线模型。

    Dec, 2020

  • 指令式文本编辑

    本研究通过提出一种交互式文本生成设置，在其中用户通过向系统发出编辑现有文本的命令与系统进行交互，来解决神经文本生成中一次生成的局限性，并介绍了一种新的文本编辑任务。通过使用 Wikipedia 中的单句编辑构成了一个名为 WikiDocEdits 的数据集，使用基于 transformer 的模型在其中进行训练以提高其自动产生的成果和用户评估结果。在此基础上，本研究分别从经验和定性分析方面展示了该模型的性能表现。

    Oct, 2020

  • 通过标注和插入实现灵活的文本编辑

    Felix 是一种灵活的文本编辑方法，利用双向上下文解码和自我监督预训练的思想，将文本编辑任务分解为标记子任务和插入子任务，通过指针机制和掩模语言模型设计非自回归模型，以在低资源和快速推理的情况下建模灵活的输入输出转换，在句子融合、机器翻译、自动后期编辑、文本简化等自然语言生成任务中具有较好的性能。

    Mar, 2020

  • EdiT5：使用 T5 预热进行半自回归文本编辑

    EdiT5 是一种新颖的半自回归文本编辑模型，可在比传统的序列到序列（seq2seq）模型更快地推理时，能够建模灵活的输入 - 输出转换。该模型将生成过程分解成三个子任务：标记、重新排序和插入。EdiT5 的性能比 T5 在低资源环境下更好，对句子融合、语法错误更正和去文本化等 NLG 任务具有可比性。

    May, 2022

  • 使用非自回归模型的文本编辑模仿学习课程

    提出了一个框架以训练非自回归序列到序列模型进行编辑任务，在此过程中，原始输入序列被迭代地编辑以生成输出。通过两种策略解决了在机器翻译训练的模仿学习算法在编辑场景下导致的训练和推断之间不匹配问题，从而显著提高了英文编辑任务上的输出质量和输出复杂度。

    Mar, 2022