Oct, 2023

空气解码：编码时间可控文本生成的属性分布重建

PDF
TL;DR我们提出了一种名为 Air-Decoding 的新型轻量级解码框架，该框架通过重构属性分布来平衡属性单词和非属性单词之间的权重，从而生成更流畅的文本，有效避免了属性崩塌问题，实验结果表明我们的方法实现了最先进的控制性能。
controllable text generationattribute collapsedecoding methodsair-decodingstate-of-the-art control performance
发现论文，激发创造
  • 大型语言模型的动态属性图控制文本生成

    控制性文本生成旨在生成具有特定期望属性的文本。本研究中，我们介绍了一种用于大型语言模型的可插拔的控制性文本生成框架（DATG），名为动态属性图控制性文本生成。该框架利用属性评分器评估语言模型生成的句子的属性，并构建动态属性图。DATG 通过调节关键属性词和关键反属性词的出现频率，在不损害模型原始能力的情况下实现了有效的属性控制。我们在两个任务的四个数据集上进行实验：毒性缓解和情感转换，并使用五种语言模型作为基础模型。我们的发现突出了控制精度的显著提高，在四个数据集中最优任务上改进了 19.29％。此外，我们观察到困惑度显著减少，文本流畅性得到显著改善。

    Feb, 2024

  • 控制、生成、增强：面向多属性文本生成的可扩展框架

    引入了 CGA，一种有条件的 VAE 架构，可用于控制、生成和增强文本，通过对抗学习与上下文感知损失和循环词随机删减程序相结合，能够控制多种语义和句法属性生成自然的英文句子。通过自动和人工评估，证明所生成句子的高质量、多样性和属性控制，用于数据增强的下游 NLP 任务中，相比于强基线和同等数量的真实数据，使用 CGA 模型生成的句子有显著提高，分类性能也有所提升。

    Apr, 2020

  • 具有属性控制的内容保留文本生成

    通过该研究，我们提出了一种能够修改文本内容以满足先决条件要求的模型，其通过建立重建和生成关系实现条件兼容和多属性控制。经过定量、定性和人类评估的验证，证明该模型与以往的方法相比，其生成了更加符合先决条件的流畅的句子。

    Nov, 2018

  • 控制生成文本的发展

    本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

    Mar, 2017

  • 多角度可控文本生成的分布式视角

    通过分布式的角度提供属性融合的观察，建议直接搜索作为它们的生成组合的多个属性分布的交集区域。用自编码器结构估计属性空间，通过共同最小化到表示不同属性的点的距离来迭代地接近交集，最后用基于前缀调整的解码器将其映射到与属性相关的句子中。

    Oct, 2022

  • 多方面可控文本生成与解耦式反事实增强

    提出了一种新的多方面可控文本生成方法 MAGIC，通过解耦反事实特征向量（在属性潜在空间中）缓解了训练过程中不平衡属性相关性的问题，并通过目标导向的反事实增强在推理过程中增强了属性相关性，实验证明 MAGIC 在不平衡和平衡属性相关性的场景中优于现有的方法。

    May, 2024

  • 带多限制条件的文本生成连续优化控制

    提出了一种名为 MuCoCO 的算法，通过将编码过程转化为优化问题，并通过拉格朗日乘数法和梯度下降技术生成期望的文本，从而实现对预训练模型生成文本属性的控制。在可控机器翻译和风格转移方面的实验表明，该方法显著优于基准模型。

    Aug, 2021

  • Tailor: 一种基于提示的属性控制文本生成方法

    Tailor 模型通过预训练连续向量来指导固定的 PLM 切换到特定的属性，同时提供多属性提示掩码和重新索引 ID 序列，以支持单属性提示的组合并实现文本的多属性生成，这在 11 个属性特定的生成任务上表现出很强的性能。

    Apr, 2022

  • 通过概率密度估计在潜空间中实现可控文本生成

    文章介绍了一种新的控制框架来实现可控文本生成，并利用概率密度估计在隐藏空间中进行控制，该方法使用可逆变换函数，即 Normalizing Flow，将潜在空间中的复杂分布映射到先验空间中的简单高斯分布，实现了前向控制和反馈控制效果，达到了目前最好的效果。

    Dec, 2022

  • FreeCtrl: 使用前馈层构建控制中心进行无学习的可控文本生成

    提出了一个名为 FreeCtrl 的无需学习的方法，该方法通过动态调整选择的前馈神经网络向量的权重来控制大型语言模型的输出，实现对生成内容的属性关键词的输出概率的控制，从而解决了学习成本和模型性能之间的困境。

    Jun, 2024