变分自编码器(VAE)理论基础和应用
通过引入第二个参数化的编解码对和一个额外的固定编码器,我们发展了三种 VAE 的变种,并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO,可以与原始 ELBO 一起用于研究 VAE 的收敛性。
Dec, 2022
本文对可变自编码器 (VAE) 拓展至处理序列数据的方法进行了综述,提出并讨论了动态变分自编码器 (DVAEs) 这一类模型,详细介绍了七种 DVAE 模型,并通过语音分析 - 重构任务的实验基准进行了验证,最后探讨了 DVAE 模型的重要问题和未来的研究方向。
Aug, 2020
本篇论文提出了一种基于变分自动编码器框架的概念模型,其设计旨在具有诸如分解的概念域等吸引人的属性,同时可以从数据中进行学习;该模型被称为 “概念 VAE”,能够从简单的彩色形状图像及其对应的概念标签中学习可解释的概念表示,并可用作概念分类器。同时,将该模型从标签少的实例中进行学习来进行适应,最后用高斯分布统计方法对模型进行形式化建模,并与 Gardenfors 的概念空间理论相关联。
Mar, 2022
本文提出可变图自编码器 (VGAE) 框架,用于处理基于变分自编码器 (VAE) 的图结构数据无监督学习模型。该模型基于潜在变量,能够学习图的可解释的潜在表示。在引文网络的链接预测任务中,我们使用图卷积网络 (GCN) 编码器和内积解码器来展示该模型。与大多数现有的图结构数据和链接预测无监督学习模型相比,我们的模型可以自然地融入节点特征,从而在许多基准数据集上显著提高预测性能。
Nov, 2016
本文提出了一个框架,利用结构化图形模型在变分自动编码器(VAEs)的编码器中导出可解释的表达,使得在给定图形模型的结构限制下执行推理,并使用深度生成模型处理高维度的杂乱领域变得更容易。同时在无监督和半监督的情况下,通过变分目标进行端对端的学习。
Nov, 2016
介绍了 Adversarial Variational Bayes 技术,可以用于训练具有任意表达力的推理模型的变分自编码器,并将其与生成对抗网络建立起了原则上的联系。
Jan, 2017
提出一种基于正则化的确定性编码器和解码器的生成模型框架,替换 VAEs 中的随机性来达到优化潜在空间的目的,并通过引入后验密度估计步骤来生成具有相当或更好质量的样本。
Mar, 2019
本文介绍了一种结合了预测编码原理和将输入编码为离散脉冲计数的变分自编码器(P-VAE)的新型架构,通过引入 Poisson 分布的潜变量和预测编码,模型损失函数中出现了代谢成本项,表明与稀疏编码存在关系,我们通过实证验证了这一点。此外,我们分析了学习表示的几何结构,将 P-VAE 与其他 VAE 模型进行对比。发现 P-VAE 以相对较高的维度对输入进行编码,使下游分类任务中的类别具有线性可分性,样本效率提高了 5 倍。我们的工作提供了一个可解释的计算框架来研究类脑感觉处理,并为更深入地理解感知作为一种推理过程铺平了道路。
May, 2024