May, 2019

mu-Forcing: 训练变分循环自编码器生成文本

PDF
TL;DR本文提出了一种使用正则化方法处理 Variational Recurrent Autoencoder 中 latent variables 过于随意造成的语言模型崩溃问题，将额外约束限制在 VRAE 的 latent variables 的后验概率分布中，使得模型能够准确地控制 KL 项和重构项之间的权衡，并学习到更加密集和有意义的 latent representations。实验表明，该方法优于多个强力 baseline，且不需要使用其他 KL 退火策略，能够学到可解释的 latent variables 并生成多样化和有意义的句子。
variational recurrent autoencoderlatent variablesregularizerkl termtext generation
发现论文，激发创造
  • 变分循环自编码器

    该论文提出了一种模型 —— 变分循环自编码器（VRAE），结合了 RNN 和 SGVB 的优点，可用于针对大规模时间序列数据进行高效的无监督学习，将时间序列数据映射为潜在向量表示。该模型具有生成性，因此可以从潜空间的样本生成数据。此外，该模型能够利用无标记数据，通过初始化权重和网络状态，促进 RNN 的监督训练。

    Dec, 2014

  • 用狄利克雷变分自编码器进行文本建模

    介绍了一种更优秀的文本建模方法：将主题信息作为狄利克雷潜变量明确建模在变分自动编码机（VAE）中。提出的模型更适合重建输入文本，且由于引入的狄利克雷变量与传统的多元高斯变量之间固有的互动，使得模型更不容易出现 KL 散度消失。我们推导了新模型的变分下限，并在四个不同数据集上进行实验，结果表明，该模型在潜在空间的文本重建上更加优秀，并且所学特征的分类具有更高的测试准确性。

    Oct, 2018

  • 基于时间步的正则化方法改进变分自编码器用于文本建模

    本文提出了一种 TWR-VAE 模型，可以有效地避免 RNN-based VAE 模型在文本生成时出现的 KL loss vanishing 问题，从而提高了文本生成的多样性和效果。

    Nov, 2020

  • MAE：变分自编码器的相互后验分歧正则化

    本文介绍了一种新的正则化方法 mutual posterior-divergence regularization，用于控制潜空间的几何结构，从而实现有意义的表征学习，并在三个图像基准数据集上取得了良好的表现。

    Jan, 2019

  • 对抗性正则化自编码器

    本文提出了一种基于 Wasserstein 自动编码器（WAE）的灵活方法，用于训练离散结构的深度潜变量模型，该方法扩展了 WAE 框架以对离散序列进行建模，并进一步探索了不同的先验知识以获得可控表示，最后展示了 WAE 中的潜变量可以进行文本风格转换。

    Jun, 2017

  • RegaVAE：一种用于语言建模的检索增强高斯混合变分自编码器

    检索增强语言模型通过引入隐变量聚合检索信息解决了过时信息和虚构问题，并以 RegaVAE 作为一个例子，展示了在文本生成质量和幻觉去除方面的显著改进。

    Oct, 2023

  • 基于多级潜变量模型生成长且连贯的文本

    本文研究了多层结构的变分自编码器模型，采用层级随机层和多层解码器结构生成更具信息的潜变量编码，同时生成中间的句子表示作为高层计划向量，实验结果表明多层结构能够生成更加连贯且不重复的长文本，并进一步缓解了后验坍缩问题。

    Feb, 2019

  • 文本生成的隐式深度潜变量模型

    本文提出了一种基于采样的变分分布表示方法，用于自然语言生成中 deep latent variable models，并通过最大化互信息的正则化来解决 posterior collapse 问题，进一步发展了 VAE，并在多个文本生成场景中证明了其有效性和通用性。

    Aug, 2019

  • 循环增强多样性！重新审视变分自编码器中的循环潜变量用于产生多样文本

    本文提出了 TRACE，一种用 Transformer 作为基础的循环 VAE 结构，可以增强文本段之间的交错关系，提高生成多样性，并在不降低生成质量的情况下取得明显改进。

    Oct, 2022

  • 一种用于语音增强的循环变分自编码器

    本文提出一种基于递归变分自编码器（RVAE）的语音增强的生成方法， 通过与非负矩阵分解噪声模型相结合，仅使用干净的语音信号训练深度生成语音模型， 并在测试时微调 RVAE 的编码器以近似给出噪声语音观测下的潜在变量的分布。与基于前馈完全连接体系结构的先前方法相比，所提出的递归深度生成语音模型引入了潜在变量上的后期时间动态，其在语音增强结果方面表现更好。

    Oct, 2019