May, 2023

使用隐藏表示转换的控制文本生成

PDF
TL;DR提出了一种名为 CHRT 的控制隐藏表征转换框架，可以通过修改基础模型的隐藏表征来控制翻译的属性，通过对比七个基线模型，实验结果表明 CHRT 在解决文本毒性、正面情感导向和文本简化方面的效果优于其他方法，并且保持了语言质量，在推断延迟方面也表现最佳，可适用于高性能生产环境中。
controlled language generationhidden representation transformationcontrastive learningmulti-attribute controltoxicity
发现论文，激发创造
  • 大型语言模型的动态属性图控制文本生成

    控制性文本生成旨在生成具有特定期望属性的文本。本研究中，我们介绍了一种用于大型语言模型的可插拔的控制性文本生成框架（DATG），名为动态属性图控制性文本生成。该框架利用属性评分器评估语言模型生成的句子的属性，并构建动态属性图。DATG 通过调节关键属性词和关键反属性词的出现频率，在不损害模型原始能力的情况下实现了有效的属性控制。我们在两个任务的四个数据集上进行实验：毒性缓解和情感转换，并使用五种语言模型作为基础模型。我们的发现突出了控制精度的显著提高，在四个数据集中最优任务上改进了 19.29％。此外，我们观察到困惑度显著减少，文本流畅性得到显著改善。

    Feb, 2024

  • 受控文本生成的不变特征学习表征

    本文探讨了在生成文本中使用分类器控制文本的生成过程中，生成的文本分布与分类器训练集不一致所导致的问题，并提出了一种基于不变性学习的解决方案和选择自然环境的启发式策略。通过实验，本文证明了分布转换对于生成文本的困难性以及不变性方法在解决这个问题上的潜力。

    May, 2023

  • CTRL: 条件可控的 Transformer 语言模型生成器

    发布了一个 1.63 亿参数的条件变换器语言模型 CTRL，它被训练用于控制由结构派生而来的控制代码来控制风格、内容和任务特定行为，从而提供更明确的文本生成控制。

    Sep, 2019

  • 具有剩余记忆变换器的可控文本生成

    本研究提出了一种用于控制文本生成的非侵入式、轻量级控制插件，名为 Residual Memory Transformer（RMT），通过与 Causal Language Models（CLMs）合作，采用残余学习范式，实现了更灵活、更通用和更高效的控制生成。通过各种自动和人工评估的广泛实验证明了 RMT 的优越性，证明了我们方法的有效性和多样性。

    Sep, 2023

  • 控制生成文本的发展

    本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

    Mar, 2017

  • 具有属性控制的内容保留文本生成

    通过该研究，我们提出了一种能够修改文本内容以满足先决条件要求的模型，其通过建立重建和生成关系实现条件兼容和多属性控制。经过定量、定性和人类评估的验证，证明该模型与以往的方法相比，其生成了更加符合先决条件的流畅的句子。

    Nov, 2018

  • 不添加，不错过：从预选文本片段中有效地生成保留内容

    我们通过增强内容保留限制，改进了已有的基线模型，并利用 GPT-4 精馏方法大幅提高银标注训练数据的质量，从而在满足摘要生成式任务需求的情况下，提供了一个可靠的 CTR 模型。

    Oct, 2023

  • 通过编辑纠缠隐式表示实现可控非监督文本属性转移

    我们提出了一种基于 Transformer 自编码器和快速梯度迭代修改算法的非监督文本属性转移框架，可在不使用任何平行数据的情况下更改特定属性，同时保留其属性独立内容，并且能够灵活控制转移程度和同时转移多个方面。

    May, 2019

  • 基于 Transformer 预训练语言模型的可控文本生成综述

    本文系统评述了基于预训练语言模型的可控文本生成技术的主要任务、方法和评价方法，并讨论了当前领域面临的挑战和未来研究方向。

    Jan, 2022

  • 带自然语言指令的可控文本生成

    本文介绍了一种控制生成文本的框架 InstructCTG，通过自然语言描述和约束条件的演示，将各种内在约束条件融入预训练语言模型中，以达到对生成文本的控制和优化。

    Apr, 2023