显式最小化变分自编码器的模糊误差
本文提出了一种新的变分自编码模型优化标准,推广了标准的证据下界,提供了它们恢复数据分布和学习潜在特征的条件,并在形式上证明了通常出现模糊样本和无信息潜在特征等常见问题的条件。基于这些新的见解,我们提出了一种新的序列化VAE模型,可以基于像素逐一重构损失在LSUN图像数据集上生成清晰的样本,并提出一种旨在鼓励无监督学习信息潜在特征的优化标准。
Feb, 2017
提出一种基于正则化的确定性编码器和解码器的生成模型框架,替换VAEs中的随机性来达到优化潜在空间的目的,并通过引入后验密度估计步骤来生成具有相当或更好质量的样本。
Mar, 2019
针对变分自编码器的先验洞问题,我们提出了一种能源化先验,通过基础先验分布和重新加权因子的乘积来定义,以使基础先验更接近集体后验,并通过噪声对比估计来训练重新加权因子,实验证明此方法可以大幅提高MNIST、CIFAR-10、CelebA 64和CelebA HQ 256数据集上的最先进VAE的生成性能。
Oct, 2020
本研究分析了 Variational Autoencoders 的近似误差,探讨了该误差的多种可能性并找到了其一致子集。重要的是,此子集无法通过考虑更深的编码器/解码器网络进行扩大,也无法降低相应误差。
Feb, 2021
本文研究了变分自编码器的训练问题,提出了一种二阶段的训练算法,证明了该算法可以在低维流形上训练,并且得到的生成器可以恰好支持原本的低维流形,且是由于训练算法的隐式偏差而非VAE损失本身的原因。
Dec, 2021
通过引入第二个参数化的编解码对和一个额外的固定编码器,我们发展了三种VAE的变种,并使用神经网络学习编码器/解码器的参数来比较这些变种与原始VAE的ELBO逼近。其中一种变化导致了一个EUBO,可以与原始ELBO一起用于研究VAE的收敛性。
Dec, 2022
通过在已知数据上进行推理的一类生成概率潜变量模型,变分自编码器(VAEs)通过平衡重建和正则化项。乘以beta的正则化项产生一个beta-VAE/ELBO,提高了潜空间的解缠性。然而,任何与1不同的beta值违反了条件概率的定律。为了提供一个类似参数的VAE,我们开发了一种Renyi(相对于Shannon)熵VAE以及引入类似参数的变分近似RELBO。Renyi VAE具有额外的Renyi正则化项,其条件分布不是可学习的,这个项基本上通过奇异值分解方法进行了解析评估。
Dec, 2023
本研究针对变分自编码器(VAE)输出模糊问题,提出了Beta-Sigma VAE(BS-VAE),该方法明确分离了模型中的beta和解码器方差,从而提高了自然图像合成的性能并提供了可控参数和可预测的分析。通过分析率-失真曲线和计算机视觉数据集的代理指标,我们的实验结果验证了该方法的有效性。
Sep, 2024