本文研究了流形值潜变量的使用,特别是连续可微的对称群(李群)的情况,展示了如何通过将再参数化技巧扩展到紧连李群来构造带有李群潜变量的变分自编码器,并通过实验展示了匹配潜在数据流形拓扑结构的流形值潜变量对于保留拓扑结构和学习良好的潜空间至关重要。
Jul, 2018
本文介绍了使用扩散变分自编码器作为潜在空间的任意流形来解决标准变分自编码器无法捕捉某些数据集拓扑性质的问题。我们证明了其可以捕捉合成数据集的拓扑性质,并在各种流形上对 MNIST 数据集进行了训练。
Jan, 2019
通过将 Riemannian 几何的思想应用到该领域,我们提出了一种基于最短路径计算的距离度量方法,可以获得基于原则的距离度量,提供深度生成模型的视觉检查工具和运动泛化工具。
Nov, 2017
提出了一种变分空间转换自编码器(VTAE),通过在 Riemann 流形上最小化测地线来改善表征学习,并提高计算机视觉任务的预测准确性和适用性,包括图像插值和重构。
Apr, 2023
本文提出了一种新型的 Variational Autoencoder with Learned Latent Structure(VAELLS)模型,该模型融合了可学习的流形模型,使得先验分布与数据流形匹配,并允许定义潜在空间中的生成变换路径,同时尝试在已知潜在结构的情况下进行验证,并展示了该模型在现实世界数据集上的性能。
Jun, 2020
采用扩散模型集成编码器和无条件扩散模型的得分函数,消除了 VAE 图像模糊的问题,并显著提高了性能。
研究证明变分自编码器和其条件扩展在多个领域可以达到最新成果,小样本图像中具有低维曼诺尔性质的特殊数据,其复杂行为仍不为人所知晓,本文从数据分布的角度出发,通过实验证明变分自编码器的全局最小值可以学习到正确的曼诺尔维度,在这个前提下讨论了更普适的条件扩展以适应不同数据分布的情况。
Feb, 2023
本文研究了变分自编码器的训练问题,提出了一种二阶段的训练算法,证明了该算法可以在低维流形上训练,并且得到的生成器可以恰好支持原本的低维流形,且是由于训练算法的隐式偏差而非 VAE 损失本身的原因。
Dec, 2021
深度生成模型与流形假设之间的相互作用引起了人们的广泛关注。本文通过流形视角对 DGM 进行了首次调查,并对其进行了两个新的贡献:首先,形式上证明了高维似然函数的数值不稳定性是无法避免的;其次,发现基于自编码器的 DGM 可以被解释为近似最小化 Wasserstein 距离,这一结果有助于解释其出色的实证结果。流形视角提供了理解 DGM 的丰富视角,我们希望能够使之更加易于理解和推广。
Apr, 2024
本文提出了一种新的分子深度生成模型,该模型在概率潜变量中加入分层结构,并能通过小数据集实现有效的分子潜在向量设计和物性预测。
Jul, 2023