Sep, 2023

GAMIX-VAE: 基于高斯混合后验的 VAE

PDF
TL;DR该论文探讨了变分自编码器（VAEs）的一个微妙方面，着重解释了 Kullback Leibler（KL）散度，这是 Evidence Lower Bound（ELBO）中的一个关键组成部分，用于平衡重构准确性和正则化之间的权衡。通过使用混合高斯后验概率重新定义 ELBO，引入正则化项以防止方差崩溃，并使用 PatchGAN 鉴别器增强纹理真实性，该方法在实现细节中采用了 ResNetV2 架构用于编码器和解码器。实验证明其能够生成逼真的人脸，为增强基于 VAE 的生成模型提供了有希望的解决方案。
发现论文，激发创造
  • MAE：变分自编码器的相互后验分歧正则化

    本文介绍了一种新的正则化方法 mutual posterior-divergence regularization，用于控制潜空间的几何结构，从而实现有意义的表征学习，并在三个图像基准数据集上取得了良好的表现。

    Jan, 2019

  • 基于密度间隙正则化的变分自编码器改进

    通过在概率密度差异方面引入新的正则化方法，有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。

    Nov, 2022

  • 带隐式最优先验的变分自编码器

    该论文介绍的方法通过密度比技巧来达到 KL 散度的隐式计算，在不模拟聚合后验的情况下，可以使用最优先验，从而在各种数据集上实现高密度估计性能。

    Sep, 2018

  • Epanechnikov 变分自编码器

    本文通过将核密度估计应用于变分自动编码器 (VAEs)，近似后验概率分布，推导出极大似然下界 (ELBO) 中 KL 散度的上界，展示了 Epanechnikov 核在最小化 KL 散度上界方面的优势。在 MNIST、Fashion-MNIST、CIFAR-10 和 CelebA 等基准数据集上的实验证明了 Epanechnikov 变分自动编码器 (EVAE) 在重建图像质量方面的卓越性能。

    May, 2024

  • 批归一化推理网络防止 KL 消失

    该研究论文提出 Batch Normalized-VAE (BN-VAE) 方法可以避免 Variational Autoencoder（VAE）寻找 “后验塌缩”（posterior collapse）的局部最优解，该方法不需要引入新的模型组件或修改目标，可有效地、高效地避免后验塌缩，尤其在语言建模、文本分类和对话生成等任务上表现优异，且与 VAE 训练时间几乎相同。

    Apr, 2020

  • Levenshtein 变分自编码器用于防止后坍塌

    Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

    Apr, 2020

  • 变分自编码器的一致性正则化

    本文提出了一种正则化方法来强制 Variational Auto-Encoder 的一致性，通过最小化 Kullback-Leibler（KL）散度来实现；实验结果表明该方法可以改善学习表征的质量并提高其泛化能力。

    May, 2021

  • 关于文本深度潜变量建模的令人惊讶的有效修复方法

    研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

    Sep, 2019

  • 拥抱差距：VAE 执行独立机制分析

    通过研究非线性的变分自编码器，本文证明了在接近确定性解码器的情况下，最优编码器近似反转了解码器，并确定了最大化 ELBO（证据下界）的模型的独立机制分析（IMA）的概念，即增加了一种对具有列正交 Jacobian 矩阵的解码器的归纳偏差，有助于恢复真实的潜在因素，并证明 ELBO 收敛到正则化对数似然。

    Jun, 2022

  • 重置一个已损坏的固定 ELBO

    通过在已知数据上进行推理的一类生成概率潜变量模型，变分自编码器（VAEs）通过平衡重建和正则化项。乘以 beta 的正则化项产生一个 beta-VAE/ELBO，提高了潜空间的解缠性。然而，任何与 1 不同的 beta 值违反了条件概率的定律。为了提供一个类似参数的 VAE，我们开发了一种 Renyi（相对于 Shannon）熵 VAE 以及引入类似参数的变分近似 RELBO。Renyi VAE 具有额外的 Renyi 正则化项，其条件分布不是可学习的，这个项基本上通过奇异值分解方法进行了解析评估。

    Dec, 2023