Jun, 2022

拥抱差距：VAE 执行独立机制分析

PDF
TL;DR通过研究非线性的变分自编码器，本文证明了在接近确定性解码器的情况下，最优编码器近似反转了解码器，并确定了最大化 ELBO（证据下界）的模型的独立机制分析（IMA）的概念，即增加了一种对具有列正交 Jacobian 矩阵的解码器的归纳偏差，有助于恢复真实的潜在因素，并证明 ELBO 收敛到正则化对数似然。
variational autoencodersrepresentation learningself-consistencyindependent mechanism analysisnonlinear representation learning
发现论文，激发创造
  • 基于密度间隙正则化的变分自编码器改进

    通过在概率密度差异方面引入新的正则化方法，有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。

    Nov, 2022

  • 关于文本深度潜变量建模的令人惊讶的有效修复方法

    研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

    Sep, 2019

  • 通过 MCMC 速度测量学习变分自动编码器

    研究纵观了变分自编码器（VAEs）的训练方法，提出了一种基于熵的自适应方法来优化更紧的变分下界，该方法能适应潜在层次变量模型中复杂的后验几何结构，并获得更高的生成度量。

    Aug, 2023

  • 变分自编码器的三种变体

    通过引入第二个参数化的编解码对和一个额外的固定编码器，我们发展了三种 VAE 的变种，并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO，可以与原始 ELBO 一起用于研究 VAE 的收敛性。

    Dec, 2022

  • VAE 近似误差: ELBO 与指数族

    本研究分析了 Variational Autoencoders 的近似误差，探讨了该误差的多种可能性并找到了其一致子集。重要的是，此子集无法通过考虑更深的编码器 / 解码器网络进行扩大，也无法降低相应误差。

    Feb, 2021

  • 哈密顿变分自编码器

    利用 Hamiltonian Jacobian Estimation 实现了一个新的 Hamiltonian Variational Auto-Encoder（HVAE）模型，可以用于高效地进行变分自编码器模型训练，并构建目标受控的归一化流。

    May, 2018

  • 对称均衡学习的 VAE

    通过纳什均衡学习方法，我们提出了一种视觉自编码器的学习方法，可以在只能通过采样获得数据和潜在分布的情况下，克服标准学习方法的限制，并适用于更复杂的学习场景和下游任务。实验证明我们方法学习到的模型与通过最大化证据下界学习的模型相当，并展示了其在标准视觉自编码器学习无法解决的任务上的适用性。

    Jul, 2023

  • 对抗变分贝叶斯：统一变分自编码器和生成对抗网络

    介绍了 Adversarial Variational Bayes 技术，可以用于训练具有任意表达力的推理模型的变分自编码器，并将其与生成对抗网络建立起了原则上的联系。

    Jan, 2017

  • eVAE: 进化变分自编码器

    该研究提出了一种将遗传算法和变分自编码器相结合的进化变分自编码器方法，通过动态生成和更新不确定性权衡学习，解决了现有方法中面临的问题，包括 KL 消失问题和基于深度学习中的早期收敛和随机搜索问题。实验结果表明，与竞争方法相比，eVAE 在文本生成、图像生成质量等方面均有显著改善。

    Jan, 2023

  • 非对称变分自编码器

    提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

    Nov, 2017