VTAE: 变分转换自编码器与流形学习

Apr, 2023

VTAE: 变分转换自编码器与流形学习

VTAE: Variational Transformer Autoencoder with Manifolds Learning

Pourya Shamsolmoali, Masoumeh Zareapoor, Huiyu Zhou, Dacheng Tao, Xuelong Li

TL;DR提出了一种变分空间转换自编码器（VTAE），通过在 Riemann 流形上最小化测地线来改善表征学习，并提高计算机视觉任务的预测准确性和适用性，包括图像插值和重构。

Abstract

deep generative models have demonstrated successful applications in learning non-linear data distributions through a number of latent variables and these models use a nonlinear function (generator) to map latent samples into the data space. On the other hand, the nonlinearity of the ge

发现论文，激发创造

深度生成模型中的测地线聚类

该论文提出了一种考虑生成模型的几何特性的算法，它可以使得在潜变量表示中使用简单的聚类算法更加有效，同时提出了一种新的用于建模变分自编码器中不确定性的架构。实验表明，此算法能够反映数据的内部结构。

Sep, 2018

深度生成模型的快速近似测地线

通过在来自聚合近似后验的有限样本图中找到最短路径，我们提出了一种解决高维空间中数据相似性计算的方法，并在图像数据的多个实验中进行了验证。

Dec, 2018

具随机游走采样的变分扩散自编码器

本文提出一种方法，将变分自编码器和生成对抗网络与扩散映射相结合，创建了一个继承扩散映射渐近保证的生成模型，同时保持深度模型的可扩展性。

May, 2019

混合曲率变分自编码器

本文提出一种混合曲率变分自编码器，可以在常数曲率的黎曼流形上训练，其中每个组件的曲率可以是固定或可学习的，将欧几里得变分自编码器推广到曲线潜空间，并在组件的曲率接近0时恢复欧几里得空间。

Nov, 2019

数据流形上基于均匀插值约束的测地线学习

该论文提出了一种基于测地线学习的方法，利用自编码器网络将数据样本映射到潜在空间，并通过插值网络进行插值，以生成高质量的插值样本。

Feb, 2020

用VAEs学习平坦的潜在流形

本研究提出了一种基于Riemannian geometry的扩展的变分自编码器框架，可以学习平面的潜在流形，通过约束优化问题和使用更具表达力的层次先验代替紧凑先验，使得在保留直线状方法的计算效率的同时，能够在视频跟踪基准测试中接近监督学习方法的性能。

Feb, 2020

带黎曼布朗运动先验的变分自编码器

本文提出了在潜空间上采用 Riemannian 结构和 Riemannian Brownian motion 先验来代替传统高斯先验，从而提高 Variational Autoencoder 的模型能力。

Feb, 2020

具有学习潜在结构的变分自编码器

本文提出了一种新型的 Variational Autoencoder with Learned Latent Structure（VAELLS）模型，该模型融合了可学习的流形模型，使得先验分布与数据流形匹配，并允许定义潜在空间中的生成变换路径，同时尝试在已知潜在结构的情况下进行验证，并展示了该模型在现实世界数据集上的性能。

Jun, 2020

低维数据存在下的变分自编码器：优化空间及内在偏向

本文研究了变分自编码器的训练问题，提出了一种二阶段的训练算法，证明了该算法可以在低维流形上训练，并且得到的生成器可以恰好支持原本的低维流形，且是由于训练算法的隐式偏差而非VAE损失本身的原因。

Dec, 2021

使用条件变分自编码器学习流形维度

研究证明变分自编码器和其条件扩展在多个领域可以达到最新成果，小样本图像中具有低维曼诺尔性质的特殊数据，其复杂行为仍不为人所知晓，本文从数据分布的角度出发，通过实验证明变分自编码器的全局最小值可以学习到正确的曼诺尔维度，在这个前提下讨论了更普适的条件扩展以适应不同数据分布的情况。

Feb, 2023