关于文本深度潜变量建模的令人惊讶的有效修复方法

EMNLPSep, 2019

关于文本深度潜变量建模的令人惊讶的有效修复方法

A Surprisingly Effective Fix for Deep Latent Variable Modeling of Text

Bohan Li, Junxian He, Graham Neubig, Taylor Berg-Kirkpatrick, Yiming Yang

TL;DR研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

Abstract

When trained effectively, the variational autoencoder (VAE) is both a powerful language model and an effective representation learning framework. In practice, however, VAEs are trained with the →

variational autoencoder representation learning evidence lower bound posterior collapse held-out likelihood

发现论文，激发创造

Levenshtein 变分自编码器用于防止后坍塌

Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

Apr, 2020

变分自编码器中落后的推断网络和后验崩溃

本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进 VAE 的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

Jan, 2019

文本生成的隐式深度潜变量模型

本文提出了一种基于采样的变分分布表示方法，用于自然语言生成中 deep latent variable models，并通过最大化互信息的正则化来解决 posterior collapse 问题，进一步发展了 VAE，并在多个文本生成场景中证明了其有效性和通用性。

Aug, 2019

使用 delta-VAEs 预防后向崩溃

针对当前潜变量生成模型中的副坍缩现象，本论文提出了一种 delta-VAEs 方法，通过限制后验变分族的最小距离以确保潜变量的气质保留和编码，实现了变分下界的最优化，并在表示学习上显示了实用性，实现对文本和图像的建模以及在 CIFAR-10 上实现了最先进的对数似然。

Jan, 2019

VAE 近似误差: ELBO 与指数族

本研究分析了 Variational Autoencoders 的近似误差，探讨了该误差的多种可能性并找到了其一致子集。重要的是，此子集无法通过考虑更深的编码器 / 解码器网络进行扩大，也无法降低相应误差。

Feb, 2021

拥抱差距：VAE 执行独立机制分析

通过研究非线性的变分自编码器，本文证明了在接近确定性解码器的情况下，最优编码器近似反转了解码器，并确定了最大化 ELBO（证据下界）的模型的独立机制分析（IMA）的概念，即增加了一种对具有列正交 Jacobian 矩阵的解码器的归纳偏差，有助于恢复真实的潜在因素，并证明 ELBO 收敛到正则化对数似然。

Jun, 2022

非对称变分自编码器

提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

Nov, 2017

基于密度间隙正则化的变分自编码器改进

通过在概率密度差异方面引入新的正则化方法，有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。

Nov, 2022

不要怪 ELBO！线性 VAE 视角下的后验崩溃问题

本文通过对线性变分自编码器和概率 PCA 之间的直接对应关系进行分析，提出了有关后验崩溃的简单而直观的解释。从计算角度出发证明了线性 VAE 的 ELBO 目标不会引入附加的虚假局部极值，进一步证明了使用确切变分推理培训线性 VAE 可以恢复对应于主成分方向的全局最大值。同时，我们的线性分析对于高容量的非线性 VAEs 具有预测性，并有助于解释观察噪声，局部最大值和后验崩溃之间的关系。

Nov, 2019

变分自编码器的三种变体

通过引入第二个参数化的编解码对和一个额外的固定编码器，我们发展了三种 VAE 的变种，并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO，可以与原始 ELBO 一起用于研究 VAE 的收敛性。

Dec, 2022