May, 2023

MacLaSa: 多方面可控文本生成 - 来自紧凑潜空间高效取样

PDF
TL;DRMacLaSa 是一种新颖的多方面控制方法，它利用基于 ODE 的抽样器在估计多个方面的紧凑潜在空间中进行有效的抽样，并通过引入 VAE 网络和 EBM 来实现文本生成。实验结果表明，MacLaSa 在属性相关性和文本质量方面优于其他方法，而仍能保持高速推断效率。
multi-aspect controllable text generationmaclasalatent spaceenergy-based modelsode-based sampler
发现论文，激发创造
  • 多角度可控文本生成的分布式视角

    通过分布式的角度提供属性融合的观察，建议直接搜索作为它们的生成组合的多个属性分布的交集区域。用自编码器结构估计属性空间，通过共同最小化到表示不同属性的点的距离来迭代地接近交集，最后用基于前缀调整的解码器将其映射到与属性相关的句子中。

    Oct, 2022

  • LlaMaVAE: 通过连续的潜在句子空间指导大型语言模型生成

    深度生成神经网络（如变分自动编码器）与大型语言模型相结合，得到了更好的文本生成控制，并在各种任务中表现出了优于现有模型的性能。

    Dec, 2023

  • 控制生成文本的发展

    本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

    Mar, 2017

  • ODE 中的潜空间组合文本控件

    本篇论文提出一种新颖的、高效的可组合文本操作方法，通过联合预训练语言模型（如 GPT2）和基于普通微分方程的采样器，实现由任意插件运算符（例如属性分类器）控制的多样化操作（情感、时态、格式、关键字等），最终生成或编辑高质量文本。

    Aug, 2022

  • 用于多样图片字幕中目的建模的连续潜在空间

    通过 Seq-CVAE 模型，学习每一个单词位置的潜在空间，并仿照一个将来总结的表示来鼓励这个时间上的潜在空间捕捉如何完成句子的 “意图”，并在 MSCOCO 数据集上表现出了显著的多样性改进指标，同时在句子质量方面达到了同等水平。

    Aug, 2019

  • 基于自注意潜空间的对抗文本生成

    本文提出了采用自注意机制和 Transformer 架构的文本生成自注意架构，以加强此类生成文本的编码体系（specifically AAE and ARAE），并将其与 Google 句子压缩数据集上使用的二类编码体系进行了实验比较。实验证明，所提出的（自）注意模型优于现有的对抗生成文本编码体系。

    Sep, 2018

  • 多方面可控文本生成与解耦式反事实增强

    提出了一种新的多方面可控文本生成方法 MAGIC，通过解耦反事实特征向量（在属性潜在空间中）缓解了训练过程中不平衡属性相关性的问题，并通过目标导向的反事实增强在推理过程中增强了属性相关性，实验证明 MAGIC 在不平衡和平衡属性相关性的场景中优于现有的方法。

    May, 2024

  • 通过概率密度估计在潜空间中实现可控文本生成

    文章介绍了一种新的控制框架来实现可控文本生成，并利用概率密度估计在隐藏空间中进行控制，该方法使用可逆变换函数，即 Normalizing Flow，将潜在空间中的复杂分布映射到先验空间中的简单高斯分布，实现了前向控制和反馈控制效果，达到了目前最好的效果。

    Dec, 2022

  • 控制性文本生成的变分自编码器综述

    介绍了神经网络生成模型、自然语言处理、VAE、可控制生成、深度神经网络等相关概念和应用。

    Nov, 2022

  • 控制、生成、增强：面向多属性文本生成的可扩展框架

    引入了 CGA，一种有条件的 VAE 架构，可用于控制、生成和增强文本，通过对抗学习与上下文感知损失和循环词随机删减程序相结合，能够控制多种语义和句法属性生成自然的英文句子。通过自动和人工评估，证明所生成句子的高质量、多样性和属性控制，用于数据增强的下游 NLP 任务中，相比于强基线和同等数量的真实数据，使用 CGA 模型生成的句子有显著提高，分类性能也有所提升。

    Apr, 2020