May, 2022

分类器是可控文本生成的更好专家

PDF
TL;DR本研究提出了一种基于分类器的自由形式抽样（CAIF sampling）的可控文本生成方法，在可用的分类器权重下调整语言模型的 logits，从而引导文本生成向预测的分类器结果或远离分类器结果，实验表明该方法在毒性避免和情感控制方面优于最近的 PPLM、GeDi 和 DExperts，并且相对于其他方法，更易于实现和调整，并且要求更少的限制和要求。
text generationclassifierlogitstoxicity avoidancesentiment control
发现论文，激发创造
  • 面向开放域创造力和公平性的可控文本生成

    本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

    Sep, 2022

  • 柔性文本生成用于反事实公平探究

    本文介绍了一种使用大型语言模型生成对抗样本的方法，该方法克服了现有方法的局限性，能够产生复杂的对抗样本，并在 Civil Comments 数据集上比较了各种方法的性能和价值，并展示了其在评估毒性分类器方面的价值。

    Jun, 2022

  • 即插即用语言模型：一种简单的控制文本生成方法

    该研究提出了一种简单的方法 —— 插拔式语言模型（PPLM），结合预训练语言模型和一个或多个简单的属性分类器来进行可控语言生成，其通过属性模型推动预训练语言模型的隐层激活，从而实现对话题和情感样式的控制。

    Dec, 2019

  • 受控文本生成的不变特征学习表征

    本文探讨了在生成文本中使用分类器控制文本的生成过程中，生成的文本分布与分类器训练集不一致所导致的问题，并提出了一种基于不变性学习的解决方案和选择自然环境的启发式策略。通过实验，本文证明了分布转换对于生成文本的困难性以及不变性方法在解决这个问题上的潜力。

    May, 2023

  • 控制生成文本的发展

    本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

    Mar, 2017

  • 属性对齐：控制预训练语言模型的文本生成

    提出一种简单而灵活的方法，通过对齐分离的属性表示，控制文本生成，用于控制情感极性或特定主题的目标属性。与之前的方法不同，我们使用相同的数据学习对齐函数，而不是通过训练鉴别器来扰动属性的令牌级分布。我们在情感极性和主题控制生成上评估了我们的方法，并表现出大幅度的性能提升，同时保持流畅性和多样性。

    Mar, 2021

  • 面向所有人的敏捷文本分类器

    本文介绍并评估了一种针对特定策略快速开发分类器的敏捷文本分类方法，实验表明使用尽少至 80 个示例的标记数据集对大型语言模型（PaLM 62B）进行快速调整能够实现最先进的性能，并认为这种方法有助于支持更安全的在线话语模型

    Feb, 2023

  • FAST: 基于反馈感知自训练的文本生成控制性改进

    这篇论文针对控制文本生成算法中可能存在的潜在问题，利用因果推断技术发现了训练数据中的关联错误，提出通过倾向得分采样和反事实版本生成机制消除这些关联，实验结果表明该方法在生成性能和语言品质上都得到了显著提升。

    Oct, 2022

  • 智能人工代理数据增强的可控文本生成

    通过文本生成技术，使用编码器 - 解码器生成模型来增加受训人工智能代理的训练数据，从而实现更快地开发新功能。该方法需要直接优化，适用于有限的数据，并明显优于以往的受控文本生成技术。此外，生成的数据用作外在意图分类任务的附加训练样本，增强了低资源情况下高达 5％绝对 f-score 性能的表现，证实了该方法的实用性。

    Oct, 2019

  • 个性化文本生成与细粒度语言控制

    对于控制细粒度属性的文本生成研究，本文通过引入新的基准测试，系统调查了不同大型语言模型在生成个性化文本方面的性能，并从影响性能的因素中获得了一些见解。

    Feb, 2024