Apr, 2024

通过流形假设的视角解析深度生成模型：一项调查与新连接

PDF
TL;DR深度生成模型与流形假设之间的相互作用引起了人们的广泛关注。本文通过流形视角对 DGM 进行了首次调查，并对其进行了两个新的贡献：首先，形式上证明了高维似然函数的数值不稳定性是无法避免的；其次，发现基于自编码器的 DGM 可以被解释为近似最小化 Wasserstein 距离，这一结果有助于解释其出色的实证结果。流形视角提供了理解 DGM 的丰富视角，我们希望能够使之更加易于理解和推广。
deep generative modelsmanifold hypothesislow-dimensional manifoldslatent diffusion modelswasserstein distance
发现论文，激发创造
  • 深层生成模型的度量标准

    通过将 Riemannian 几何的思想应用到该领域，我们提出了一种基于最短路径计算的距离度量方法，可以获得基于原则的距离度量，提供深度生成模型的视觉检查工具和运动泛化工具。

    Nov, 2017

  • 诊断和修复深度生成模型中的流形过拟合问题

    本文研究了基于最大似然估计的深度生成模型在处理高维数据时可能存在的流形过拟合问题，提出了一种由降维和密度估计两步组成的有效算法，能够避免流形过拟合问题并且实现了对隐式模型的密度估计。

    Apr, 2022

  • 深度生成建模简介

    该研究论文介绍了深度生成模型的数学框架及其最流行的三种方法：正态化流、变分自编码器和生成对抗网络。此外，该论文还探讨了这些基本方法的优缺点。

    Mar, 2021

  • 具随机游走采样的变分扩散自编码器

    本文提出一种方法，将变分自编码器和生成对抗网络与扩散映射相结合，创建了一个继承扩散映射渐近保证的生成模型，同时保持深度模型的可扩展性。

    May, 2019

  • 神经网络中数据结构对学习的影响建模：隐藏流形模型

    本文提出了一个名为 “隐藏流形模型” 的生成模型，证明了随机梯度下降算法训练的两层神经网络表现的动态可以通过 Integro-differential 方程组进行跟踪，同时分析了神经网络训练过程中神经网络学习增加复杂度和提高性能的方式以及受其大小、学习率和隐藏流形维度等参数的影响。

    Sep, 2019

  • 通过深度度量学习进行流形匹配，用于生成建模

    本文提出了一种流形匹配方法来生成模型，该方法包括分布生成器和度量生成器，通过学习距离度量来生成符合真实数据流形的样本，并且应用于无监督和有监督学习任务，得到了良好的效果。

    Jun, 2021

  • 利用积流形进行潜在图推断

    本文提出一种基于 Riemannian geometry 和 product manifolds 的可微分图模块，用于推断连接数据的复杂潜在图结构。该方法不仅可以动态地学习数据的内在结构，还可以在性能上对现有方法进行改进并成功地在各种数据集上进行了测试。

    Nov, 2022

  • 量化流形：生成对抗网络学习的流形是否收敛于真实数据的流形

    此论文通过实验分析了通过机器学习模型学习到的流形，比较了每个纪元学习到的流形与真实数据流形的差异，并研究了流形的内在维度和拓扑特征，以及这些度量随着模型训练的变化和趋于真实数据流形度量的趋势。

    Mar, 2024

  • 生成对抗网络的断开流形学习

    本文研究了 GAN 模型难以正确模拟支持在不连通流形上的分布的问题，并提出了使用多个生成器来解决这个问题的方法，并提出了一种新的方法来学习先验分布，并在不需要人工干预的情况下推断所需的生成器数量，以使模型可以学习支持在不连通流形上的分布。本文的贡献包括证明单一生成器 GAN 模型难以正确模拟支持在不连通流形上的分布以及提出了解决这个问题的方法，并通过实验来验证所提出的方法的有效性。

    Jun, 2018

  • 深度生成模型的黎曼几何

    研究了深度生成模型所学习的流形的黎曼几何，并提出了计算测地线和沿流形路径平行传递切向量的算法，发现这些模型学习的流形近似于零曲率，并探讨了这种现象的实际影响。

    Nov, 2017