同胚变分自编码的探索
本文介绍了使用扩散变分自编码器作为潜在空间的任意流形来解决标准变分自编码器无法捕捉某些数据集拓扑性质的问题。我们证明了其可以捕捉合成数据集的拓扑性质,并在各种流形上对MNIST数据集进行了训练。
Jan, 2019
该研究提出一种新颖的方法,利用持久性同调技术,在自编码器的潜在表示中保留输入空间的拓扑结构,以保存多尺度的连接信息。实验表明这种方法在合成流形和现实世界图像数据集上表现出良好的潜在表示,并保留了低重构误差。
Jun, 2019
本研究提出了一种基于Riemannian geometry的扩展的变分自编码器框架,可以学习平面的潜在流形,通过约束优化问题和使用更具表达力的层次先验代替紧凑先验,使得在保留直线状方法的计算效率的同时,能够在视频跟踪基准测试中接近监督学习方法的性能。
Feb, 2020
本文提出了在潜空间上采用 Riemannian 结构和 Riemannian Brownian motion 先验来代替传统高斯先验,从而提高 Variational Autoencoder 的模型能力。
Feb, 2020
本文提出了一种新型的 Variational Autoencoder with Learned Latent Structure(VAELLS)模型,该模型融合了可学习的流形模型,使得先验分布与数据流形匹配,并允许定义潜在空间中的生成变换路径,同时尝试在已知潜在结构的情况下进行验证,并展示了该模型在现实世界数据集上的性能。
Jun, 2020
通过使用高斯流形变分自编码器(GM-VAE)来提高图像数据集的密度估计和基于模型的强化学习下的环境建模。GM-VAE在估计密度任务上优于其他变量的双曲线和欧几里得VAEs,并在基于模型的强化学习中展现出竞争性的性能。
Sep, 2022
通过将几何归纳偏差引入模型可以提高其解释性和泛化性,但由于拓扑约束的存在,将其编码到特定的几何结构中可能很具有挑战性。本文从理论和实证研究角度对训练编码器时遇到的几何潜空间障碍进行了特征化。我们展示了由于奇异性(例如自交)或不正确的度数或缠数可能导致局部最优解的情况。然后讨论了如何通过定义多模式变分分布,潜在地规避这些障碍的可能性。受此观察的启发,我们提出了一种新的基于流的模型,将数据点映射到几何空间上的多模式分布,并在两个领域上进行了实证评估。我们观察到训练过程中的稳定性提高,出现同胚编码器的概率增加。
Dec, 2023
本研究解决了非线性流形数据集的内在维度提取问题,采用了正交条件的自编码器架构,能够有效获取解耦表示。同时,提出了一种基于微分几何的理论框架及相应的梯度下降优化算法。研究发现该方法在标准数据集上的表现优越,并具备针对局部群体作用构建坐标不变性的潜力。
Aug, 2024
本研究解决了Diffusion Variational Autoencoder ($\Delta$VAE)在捕捉数据集的拓扑和几何结构及解缠潜在因子方面的能力不足的问题。我们提出了一种新的解缠诊断方法——编码器的拓扑度,通过同调理论的工具开发并实施了计算算法。实验结果表明,$\Delta$VAE模型的编码器在训练后其拓扑度变为 $-1$ 或 $+1$,暗示该编码器至少是同胚于同构。
Sep, 2024