Jun, 2022

贝叶斯可控语言模型的训练和推理之间的桥梁

PDF
TL;DR本文提出一种控制语言生成的技术 Gemini Discriminator，有效解决了 Bayesian Controllable Language Models 中的训练和推断不匹配的问题，并在情感和主题控制任务中取得了最新的最优结果。
pre-trained language modelscontrollable language generationbayesian controllable language modelsgemini discriminatorsentiment controltopic control
发现论文，激发创造
  • 面向开放域创造力和公平性的可控文本生成

    本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

    Sep, 2022

  • MEGATRON-CNTRL：基于大规模语言模型的可控外部知识故事生成

    本文介绍了一个新的框架 MEGATRON-CNTRL，通过结合外部知识库，利用大规模语言模型实现生成文本的控制，并由关键字预测器，知识检索器，上下文知识排名器和条件文本生成器四个部分组成。实验结果表明，相较于之前的 ROC story 数据集，该模型生成更加流畅、一致、连贯且重复率低，差异性高的故事，使用新关键词进行控制后，人类评价结果表明 77.5% 的故事已经成功受到了控制。同时，由 124million 经验推广到 8.3billion 再次展示了大规模模型提高生成质量和控制性能的过程。

    Oct, 2020

  • GeDi: 生成式判别器引导序列生成

    本论文提出了一种名为 GeDi 的方法，通过引入更小的 LM 作为生成鉴别器以指导在大型 LM 上更安全和可控的生成。GeDi 计算每个标记的分类概率，以便于实现对生成的控制，并且可以使 GPT-2 在不影响语言质量的情况下显著降低毒性，同时还能够使用较少的主题进行控制生成。

    Sep, 2020

  • 基于 Transformer 预训练语言模型的可控文本生成综述

    本文系统评述了基于预训练语言模型的可控文本生成技术的主要任务、方法和评价方法，并讨论了当前领域面临的挑战和未来研究方向。

    Jan, 2022

  • 语言学习项目的受控语言生成

    本研究旨在使用自然语言生成技术快速生成英语语言学习应用的内容，并控制生成的结果以满足相关要求。根据语言学习水平及语法结构等因素，我们尝试使用预训练深度模型进行控制，评价结果表明，我们可以控制实现多样化、定制化内容的同时，实现较高的语法质量。

    Nov, 2022

  • 使用语言模型作为鉴别器的无监督文本风格转移

    本研究提出了一种新的方法，使用目标域语言模型作为辨别器，为生成模型提供更丰富和更稳定的令牌级反馈，以便用于二进制分类器在 GAN-based 无监督风格转换系统中。该模型可使用从生成模型下的连续近似离散采样而训练，且相较于以前使用卷积神经网络（CNN）作为辨别器的先前工作，我们的方法在单词替换解密、情感修改和相关语言翻译三项任务上表现出了更好的性能，同时可以省略训练期间的对抗步骤，使过程更加稳定。

    May, 2018

  • DisCup: 判别器协作非可能性提示调整技术用于可控文本生成

    本文提出了一种新的文本生成方法 —DisCup，该方法利用判别器的属性知识来优化控制提示，引导一个固定的 CLM 生成属性特定的文本，可以实现最新的控制性能并保持高效和高质量的文本生成。

    Oct, 2022

  • 语言生成的高效无需训练控制

    引入一个名为 Gamma Sampling 的新方法，该方法无需任何的训练数据即可进行可控的语言生成，并在生成时间上保持快速性，实验证明，用于 GPT2 时，Gamma Sampling 在生成样本的多样性、属性相关性和总体质量方面优于代表性基线方法。

    May, 2022

  • 大型语言模型的适应性逻辑控制

    通过引入适应性框架 Ctrl-G，该研究提出了一种可实现对大型语言模型的可控生成的方法，并将其应用于交互文本编辑和有限状态自动机表示的逻辑约束，结果显示 Ctrl-G 在人类评估中相比于 GPT4 以及 GPT3.5 取得了 30% 以上的满意率提升，并在标准基准测试中超越了中型语言模型。此外，该研究还进行了 Grade School Math 基准测试作为概念验证，展示了 Ctrl-G 在辅助大型语言模型推理方面的潜力。

    Jun, 2024

  • 控制生成文本的发展

    本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

    Mar, 2017