Dec, 2022

通过概率密度估计在潜空间中实现可控文本生成

PDF
TL;DR文章介绍了一种新的控制框架来实现可控文本生成，并利用概率密度估计在隐藏空间中进行控制，该方法使用可逆变换函数，即 Normalizing Flow，将潜在空间中的复杂分布映射到先验空间中的简单高斯分布，实现了前向控制和反馈控制效果，达到了目前最好的效果。
controllable text generationlatent spaceprobability density estimationnormalizing flowflexible control
发现论文，激发创造
  • 控制生成文本的发展

    本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

    Mar, 2017

  • 通过连续变异因素控制生成模型

    本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

    Jan, 2020

  • 受控文本生成的不变特征学习表征

    本文探讨了在生成文本中使用分类器控制文本的生成过程中，生成的文本分布与分类器训练集不一致所导致的问题，并提出了一种基于不变性学习的解决方案和选择自然环境的启发式策略。通过实验，本文证明了分布转换对于生成文本的困难性以及不变性方法在解决这个问题上的潜力。

    May, 2023

  • 语言生成的高效无需训练控制

    引入一个名为 Gamma Sampling 的新方法，该方法无需任何的训练数据即可进行可控的语言生成，并在生成时间上保持快速性，实验证明，用于 GPT2 时，Gamma Sampling 在生成样本的多样性、属性相关性和总体质量方面优于代表性基线方法。

    May, 2022

  • 带多限制条件的文本生成连续优化控制

    提出了一种名为 MuCoCO 的算法，通过将编码过程转化为优化问题，并通过拉格朗日乘数法和梯度下降技术生成期望的文本，从而实现对预训练模型生成文本属性的控制。在可控机器翻译和风格转移方面的实验表明，该方法显著优于基准模型。

    Aug, 2021

  • ODE 中的潜空间组合文本控件

    本篇论文提出一种新颖的、高效的可组合文本操作方法，通过联合预训练语言模型（如 GPT2）和基于普通微分方程的采样器，实现由任意插件运算符（例如属性分类器）控制的多样化操作（情感、时态、格式、关键字等），最终生成或编辑高质量文本。

    Aug, 2022

  • 黑盒生成的后验控制

    本论文研究了利用结构潜变量方法对神经生成模型进行离散控制状态增强，以实现输出符合任务特定规则的精确控制，并通过实验说明该方法在文本生成方面具有优越性。

    May, 2020

  • 多角度可控文本生成的分布式视角

    通过分布式的角度提供属性融合的观察，建议直接搜索作为它们的生成组合的多个属性分布的交集区域。用自编码器结构估计属性空间，通过共同最小化到表示不同属性的点的距离来迭代地接近交集，最后用基于前缀调整的解码器将其映射到与属性相关的句子中。

    Oct, 2022

  • 探索可控文本生成技术

    本文研究神经可控文本生成的新架构和技术，将其生成过程分为五个模块，分析不同技术的优缺点，为基于这些模块组合的新架构铺平道路。

    May, 2020

  • 可控文本生成的因果透视

    本论文从因果的角度出发，提出了一种由结构性因果模型构建的可控文本生成框架，并将其应用于集中控制性文本生成领域的实践，实验表明该方法在控制准确性和减少偏差方面具有优势。

    Jan, 2022