噪声对比变分自编码器
本文提出了一种使用正确评分规则理论的噪声对比估计(NCE)方法家族,适用于潜变量模型;这个方法家族可以通过类似变分贝叶斯的方式从数据样本和噪声样本中提取并利用信息,并被称为全变分噪声对比估计时损失函数,其中,变分自编码器是其中的一种,也可以用于使用适当的分类损失将实际数据与合成样本区分开来;此外,我们讨论了全变分 NCE 目标的其他实例,并指出它们在实证行为上的差异。
Apr, 2023
本文提出了一种基于深度神经网络的变分自编码器,使用实值非体积保存变换来准确计算数据的条件似然,采用由少量中间层组成的强大条件耦合层来使其学习效果更好,在图像建模任务上有着不错的表现。
Nov, 2016
改进了 Variational Graph Auto-Encoders 方法以应对节点聚类任务中的挑战,包括推理和生成模型的差异、后验坍缩、特征随机性和特征漂移,并通过对比学习获得更好的聚类结果。
Dec, 2023
通过引入对比度正则化(CR-VAE)方法,我们扩展了变分自编码器(VAE),使其能够最大化相似视觉输入表示之间的互信息,从而有效避免了后验崩溃现象。在一系列视觉数据集上的评估中,我们证明了 CR-VAE 在防止后验崩溃方面优于其他现有方法。
Sep, 2023
针对变分自编码器的先验洞问题,我们提出了一种能源化先验,通过基础先验分布和重新加权因子的乘积来定义,以使基础先验更接近集体后验,并通过噪声对比估计来训练重新加权因子,实验证明此方法可以大幅提高 MNIST、CIFAR-10、CelebA 64 和 CelebA HQ 256 数据集上的最先进 VAE 的生成性能。
Oct, 2020
本文提出 Coupled-VAE 方法,通过 encoder weight sharing 和 decoder signal matching 来改善 variational autoencoders 的编码器和解码器参数,从而避免后验网络落入常见的局部最优解。实验结果表明该方法可显着提高概率估计和空间潜变量的丰富度,并将其推广到条件语言建模中。
Apr, 2020
该论文研究了变分自编码器(VAE)在学习可解释的表示和生成建模方面的出色表现,提供了对其良好性能的解释,阐明了该架构中解码器的局部正交性,从而促进重构和正交性之间的平衡。
Dec, 2018
本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察,我们提出了一种极其简单的改进 VAE 的训练方法,避免了之前工作中普遍存在的后验崩溃问题,并取得了比基准模型更优的实验结果。
Jan, 2019
通过引入第二个参数化的编解码对和一个额外的固定编码器,我们发展了三种 VAE 的变种,并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO,可以与原始 ELBO 一起用于研究 VAE 的收敛性。
Dec, 2022
论文提出通过 pooling 来增加编码器特征的差异性,以防止 Variational autoencoders 中 posterior collapse 现象的出现,从而在数据对数似然方面取得了显著提高。
Nov, 2019