解决变分自编码器中的过度剪枝问题
通过引入第二个参数化的编解码对和一个额外的固定编码器,我们发展了三种 VAE 的变种,并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO,可以与原始 ELBO 一起用于研究 VAE 的收敛性。
Dec, 2022
利用预测时间下一节点以及基于时间平滑性的模型选择度量,我们提出了一种能够减轻 VAE 学习虚假特征,并能在合成数据集中准确恢复潜在因素的 VAE 架构。
Dec, 2023
该研究提出了一种将遗传算法和变分自编码器相结合的进化变分自编码器方法,通过动态生成和更新不确定性权衡学习,解决了现有方法中面临的问题,包括 KL 消失问题和基于深度学习中的早期收敛和随机搜索问题。实验结果表明,与竞争方法相比,eVAE 在文本生成、图像生成质量等方面均有显著改善。
Jan, 2023
本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察,我们提出了一种极其简单的改进 VAE 的训练方法,避免了之前工作中普遍存在的后验崩溃问题,并取得了比基准模型更优的实验结果。
Jan, 2019
该论文研究了变分自编码器(VAE)在学习可解释的表示和生成建模方面的出色表现,提供了对其良好性能的解释,阐明了该架构中解码器的局部正交性,从而促进重构和正交性之间的平衡。
Dec, 2018
本文介绍一种基于变分推断的分层生成过程的因式分解分层变分自编码器(FHVAE)模型,该模型在许多语音应用方面已被证明可行,但其原始论文中提出的训练算法不适用于规模更大的数据集。本文提出了一种分层采样训练算法来解决这一问题,并对不同类型的数据集进行了全面评估,证明了我们提出的算法对所有数据集都表现出所需的特性。
Apr, 2018
本文对可变自编码器 (VAE) 拓展至处理序列数据的方法进行了综述,提出并讨论了动态变分自编码器 (DVAEs) 这一类模型,详细介绍了七种 DVAE 模型,并通过语音分析 - 重构任务的实验基准进行了验证,最后探讨了 DVAE 模型的重要问题和未来的研究方向。
Aug, 2020
本篇论文提出了一种新的方法,通过在生成模型中引入跳跃连接来避免潜在变量崩溃的问题,研究表明,在保持预测性能的同时,相比现有的 VAE 体系结构,生成跳跃模型具有更少的崩溃现象,并提供更有意义的数据表示。
Jul, 2018
这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法,通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小,并将该方法与传统的超参数网格搜索进行比较,结果表明其速度显著更快,且在四个图像数据集上实现了最佳的维度。此外,还证明了我们方法的最终性能与从头开始训练的最佳潜空间大小相当,因此可能作为一种便利的替代方法。
Dec, 2023