Jan, 2023

eVAE: 进化变分自编码器

PDF
TL;DR该研究提出了一种将遗传算法和变分自编码器相结合的进化变分自编码器方法，通过动态生成和更新不确定性权衡学习，解决了现有方法中面临的问题，包括 KL 消失问题和基于深度学习中的早期收敛和随机搜索问题。实验结果表明，与竞争方法相比，eVAE 在文本生成、图像生成质量等方面均有显著改善。
variational autoencoderevolutionary optimizationtradeoff learningdisentangled factorsdeep learning
发现论文，激发创造
  • 变分自编码器的三种变体

    通过引入第二个参数化的编解码对和一个额外的固定编码器，我们发展了三种 VAE 的变种，并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO，可以与原始 ELBO 一起用于研究 VAE 的收敛性。

    Dec, 2022

  • 关于文本深度潜变量建模的令人惊讶的有效修复方法

    研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

    Sep, 2019

  • 对抗变分贝叶斯：统一变分自编码器和生成对抗网络

    介绍了 Adversarial Variational Bayes 技术，可以用于训练具有任意表达力的推理模型的变分自编码器，并将其与生成对抗网络建立起了原则上的联系。

    Jan, 2017

  • 变分自编码器教程

    介绍了变分自编码器（VAE）背后的直觉，解释了其背后的数学原理，并描述了它们的一些经验行为。

    Jun, 2016

  • 基于预测性变分自编码器的时间序列数据鲁棒表示学习

    利用预测时间下一节点以及基于时间平滑性的模型选择度量，我们提出了一种能够减轻 VAE 学习虚假特征，并能在合成数据集中准确恢复潜在因素的 VAE 架构。

    Dec, 2023

  • 使用自编码变分贝叶斯训练潜在变量模型：一个教程

    本文主要介绍了自动编码变分贝叶斯算法 (AEVB) 的理论及应用，阐明了其与经典的期望最大化算法 (EM) 之间的联系及其适用范围，同时详细介绍了重要概念如一致化 (amortization) 和参数重参数化技巧 (reparametrization trick)，最后通过应用该算法到非深度和深度潜变量模型，并提供了 PyTorch 实现代码。

    Aug, 2022

  • 低维数据存在下的变分自编码器：优化空间及内在偏向

    本文研究了变分自编码器的训练问题，提出了一种二阶段的训练算法，证明了该算法可以在低维流形上训练，并且得到的生成器可以恰好支持原本的低维流形，且是由于训练算法的隐式偏差而非 VAE 损失本身的原因。

    Dec, 2021

  • 拥抱差距：VAE 执行独立机制分析

    通过研究非线性的变分自编码器，本文证明了在接近确定性解码器的情况下，最优编码器近似反转了解码器，并确定了最大化 ELBO（证据下界）的模型的独立机制分析（IMA）的概念，即增加了一种对具有列正交 Jacobian 矩阵的解码器的归纳偏差，有助于恢复真实的潜在因素，并证明 ELBO 收敛到正则化对数似然。

    Jun, 2022

  • 解决变分自编码器中的过度剪枝问题

    本研究比较了多种方法来解决变分自编码器中随机因素无法学习和失活等问题，并提出了一种更有效的基于模型的方法，称为最佳变分自编码器，该方法有助于防止单元失活，并比 VAE 更好地使用了模型容量，产生更好的泛化性能。

    Jun, 2017

  • 动态变分自编码器：综述

    本文对可变自编码器 (VAE) 拓展至处理序列数据的方法进行了综述，提出并讨论了动态变分自编码器 (DVAEs) 这一类模型，详细介绍了七种 DVAE 模型，并通过语音分析 - 重构任务的实验基准进行了验证，最后探讨了 DVAE 模型的重要问题和未来的研究方向。

    Aug, 2020