Dec, 2022

GanLM: 带有辅助鉴别器的编码器 - 解码器预训练

PDF
TL;DR本文提出了一种名为 GanLM 的基于生成对抗网络（GANs）的编码器 - 解码器预训练模型，利用辨别器和训练目标：替换标记检测和替换标记去噪，有选择地使用去噪数据以提高语言理解和生成能力，在语言生成基准测试中取得了最先进的性能。
pre-traininggansencoder-decoderlanguage understandinglanguage generation
发现论文，激发创造
  • 无需强化学习的对抗文本生成

    本文利用自编码器生成低维度语句向量空间，再用生成对抗网络利用这个空间生成真实文本，与竞争基线相比，经人工审核和 BLEU 分数表明模型可以生成逼真的文本。

    Oct, 2018

  • 使用语言模型作为鉴别器的无监督文本风格转移

    本研究提出了一种新的方法，使用目标域语言模型作为辨别器，为生成模型提供更丰富和更稳定的令牌级反馈，以便用于二进制分类器在 GAN-based 无监督风格转换系统中。该模型可使用从生成模型下的连续近似离散采样而训练，且相较于以前使用卷积神经网络（CNN）作为辨别器的先前工作，我们的方法在单词替换解密、情感修改和相关语言翻译三项任务上表现出了更好的性能，同时可以省略训练期间的对抗步骤，使过程更加稳定。

    May, 2018

  • 鉴别式语言模型预训练的实例正则化

    该研究提出了一种新的语言模型预训练方法，通过估计原始语句与噪声语句之间的复杂度以及修复被破坏的语句对预训练进行优化，实现了自然语言理解和阅读理解方面的效率、效果和鲁棒性的提高。

    Oct, 2022

  • DeltaLM: 使用预训练多语言编码器扩充编码器 - 解码器预训练，以用于语言生成和翻译

    介绍了一种名为 DeltaLM 的预训练多语言编码器 - 解码器模型，桥接了预训练编码器和自然语言生成之间的鸿沟，采用自监督方式的跨语言数据预训练任务。实验显示，DeltaLM 在机器翻译、文本摘要、数据生成和问题生成等自然语言生成和翻译的任务上都优于强基线。

    Jun, 2021

  • ELECTRA：将文本编码器视为判别器而非生成器的预训练

    提出了一种更节省样本的预训练任务，叫做替换标记检测。该方法是通过一个小的生成网络从语料库中替换一些标记，然后通过训练一个判别模型，以预测输入标记是否被替换，而不是预测被替换的标记的原始身份来破坏输入，从而定义所有输入标记的任务，比普通的 Masked language modeling 更有效，并表现出比 BERT 更好的上下文表示学习效果。

    Mar, 2020

  • 通过敌对训练利用多语言能力在低资源神经机器翻译中的应用

    本文提出了一个 DAASI 方法用于多语言语言对的句子插值， 该方法可通过学习源语言和目标语言的中间潜在表示来优化基于 GAN 的多语言翻译模型。实验证明，在低资源语言对上，该方法的表现超过了现有的最先进方法，性能提高了最多 4 BLEU 分数。

    Mar, 2023

  • TextGAIL: 文本生成的生成对抗模仿学习

    本文提出一种基于预训练语言模型的文本生成生成对抗性学习框架，采用对比鉴别器和近端策略优化来稳定和改进文本生成性能，实验证明该方法在无条件和有条件文本生成任务上均优于 MLE 基线。

    Apr, 2020

  • 将多语言理解模型推广为多语言生成器

    这篇论文介绍了如何通过一种 SEMANTIC-GUIDED ALIGNMENT-THEN-DENOISING (SGA) 方法将一个多语言编码器 (XLM-R) 转化成一个强大的生成模型，实验结果表明改进的模型在机器翻译、问题生成和故事生成等任务中的表现均优于现有的方法。

    May, 2023

  • 语言生成的对抗排名

    本文提出了一种新颖的生成对抗网络 RankGAN，用于生成高质量的自然语言描述，其通过给定一个参考组来分析和排名一组人工编写和机器编写的句子，通过相对排名分数来评估数据集的质量以帮助学习更好的生成器，并使用策略梯度技术来优化 RankGAN。多个公共数据集的实验结果清楚地证明了所提出方案的有效性。

    May, 2017

  • 生成对抗训练可以提高神经语言模型的表现

    本文提出了一种基于生成对抗网络和对抗性训练的正则化方法，可以在神经语言模型中防止过拟合，与常见的对抗性训练方法相比，本方法不需要经过时间的二次反向传播，并且其开销不超过基准方法的 20%。

    Nov, 2022