ICMLMay, 2019

无监督条件下可控文本表示的变分学习

PDF
TL;DR本文发现，序列变分自编码器（VAE）在文本数据上训练时，由于修改后的编码值往往落在聚合后的后验潜空间中的空洞或空缺区域，导致译码网络无法推广，因此无法正确解码并控制操纵。为此我们建议在学习到的概率单纯形上约束后验均值，并在其内进行操作，以解决潜空缺陷问题，并在文本风格转移上取得了成功。
variational autoencoderunsupervised learningtextcontrollable manipulationlatent space
发现论文，激发创造
  • 基于 Transformer 的条件变分自编码器用于可控的故事生成

    本文提出了一种基于转换器和变分自动编码器（VAE）的条件变分自动编码器（CVAE）方法，在保持卓越的生成效果的同时增强了可控性和表征学习能力，实现了对长文本的神经故事生成。

    Jan, 2021

  • 控制性文本生成的变分自编码器综述

    介绍了神经网络生成模型、自然语言处理、VAE、可控制生成、深度神经网络等相关概念和应用。

    Nov, 2022

  • 变分自编码器中学习潜在子空间

    本文提出了一种基于变分自编码器的生成模型，使用互信息最小化学习与每个标签相关的低维潜空间，并展示了其在特征操作上的实用性。

    Dec, 2018

  • ControlVAE: 可控变分自编码器

    提出控制变分自编码器框架 ControlVAE，该框架使用基于自动控制理论的控制器自动调节 VAE 目标中的权重，以改进生成模型的表现，并在语言建模，解缠杂表示学习和图像生成等三个应用中进行评估，结果表明 ControlVAE 可以实现更好的解缠杂和重建质量。

    Apr, 2020

  • 可解释的句子表示：变分自编码器和注意力机制

    提出使用变分自编码器和 Transformers 构建两种具有归纳偏置的模型，可将潜在表示中的信息分离成可理解的概念，其中 QKVAE 在转移实验中表现出竞争性能，并展示了明显的优化句法角色分离能力。

    May, 2023

  • 用狄利克雷变分自编码器进行文本建模

    介绍了一种更优秀的文本建模方法：将主题信息作为狄利克雷潜变量明确建模在变分自动编码机（VAE）中。提出的模型更适合重建输入文本，且由于引入的狄利克雷变量与传统的多元高斯变量之间固有的互动，使得模型更不容易出现 KL 散度消失。我们推导了新模型的变分下限，并在四个不同数据集上进行实验，结果表明，该模型在潜在空间的文本重建上更加优秀，并且所学特征的分类具有更高的测试准确性。

    Oct, 2018

  • 神经离散表征学习

    本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

    Nov, 2017

  • 关于文本深度潜变量建模的令人惊讶的有效修复方法

    研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

    Sep, 2019

  • 具有学习潜在结构的变分自编码器

    本文提出了一种新型的 Variational Autoencoder with Learned Latent Structure（VAELLS）模型，该模型融合了可学习的流形模型，使得先验分布与数据流形匹配，并允许定义潜在空间中的生成变换路径，同时尝试在已知潜在结构的情况下进行验证，并展示了该模型在现实世界数据集上的性能。

    Jun, 2020

  • 文本生成的隐式深度潜变量模型

    本文提出了一种基于采样的变分分布表示方法，用于自然语言生成中 deep latent variable models，并通过最大化互信息的正则化来解决 posterior collapse 问题，进一步发展了 VAE，并在多个文本生成场景中证明了其有效性和通用性。

    Aug, 2019