Oct, 2023

从有限样本复杂性中学习基于流的生成模型的分析

PDF
TL;DR使用两层自编码器参数化的流式生成模型，通过对目标分布从有限数量 n 的样本进行训练，提供了问题的尖锐端到端分析，包括对学习速度场的紧密闭合形式表征以及对相应生成流的尖锐描述，最终证明该速度场的收敛速度是贝叶斯最优的。
flow-based generative modelgaussian mixtureautoencodervelocity fieldgenerative flow
发现论文，激发创造
  • 去噪自编码器的高维渐近理论

    本文针对高斯混合噪声数据，使用两层非线性自编码器技术，采用绑定权重和跳跃连接来处理数据降噪。文章在高维极限下，给出了自编码器均方误差测试误差的闭式表达式，并建立了与主成分分析密切相关的无连接自编码器的优越性量化分析。我们还证明了这个结果精确地捕捉了一些真实数据集上学习曲线的特点。

    May, 2023

  • 连续潜在空间和变分推断的可学习显式密度

    本文研究变分自编码器（VAE）的先验分布和后验分布。首先，我们将 VAE 的学习分解为逐层密度估计，并认为灵活的先验分布有益于样本生成和推断。其次，我们分析了反自回归流的族群（inverse AF），并表明在进一步改进后，反自回归流可用作对任何复杂后验的通用逼近。我们提出了一种统一的方法来参数化 VAE，而无需在潜在实空间中使用因子高斯分布。

    Oct, 2017

  • 流动中的采样：扩散与自回归神经网络的自旋玻璃视角

    利用流水、扩散或自回归神经网络等生成模型进行的抽样分析工作，发现在某些参数范围内，这些方法可能无法高效抽样，而标准的 Monte Carlo 或 Langevin 方法则可行。然而，在其他参数范围内，这些生成模型的方法效果更好，而标准方法却低效。

    Aug, 2023

  • 同时流形学习和密度估计的流形

    介绍了一种名为 manifold-learning flows（M-flows）的生成模型，其可以同时学习数据流形以及流形上的概率密度，并提供降维、去噪以及区分分布等功能。同时，新的训练算法能够分离流形和密度更新，并通过一系列实验证明，M-flows 可以学习数据流形并比标准 normalizing flows 在全局数据空间下提供更好的推理。

    Mar, 2020

  • 利用自编码器对未知随机动态系统进行建模

    我们提出了一种数值方法，可以从轨迹数据中学习一个精确的预测模型，以预测未知随机动力系统。该方法使用自编码器的思想来识别未被观察的潜在随机变量，并通过深度神经网络来设计编码器和解码器，从而重建系统的未来状态。经过大量的数值示例验证，该方法能够使用短时间的轨迹数据产生长期的系统预测结果，并适用于非高斯噪声驱动的系统。

    Dec, 2023

  • 高斯插值流

    我们研究了基于高斯降噪的模拟 - free 连续标准化流的良定义性、可微性和唯一性，通过建立高斯插值流的统一框架，我们证明了流速度场的利普希茨正则性、流的存在唯一性，以及流映射和时间反向流映射在多个丰富的目标分布类别中的利普希茨连续性，这也揭示了高斯插值流的自动编码和循环一致性特性。我们还研究了这些流在源分布和速度场扰动中的稳定性，利用二次 Wasserstein 距离作为度量。我们的发现为用于生成建模中的高斯插值流的学习技术提供了宝贵的见解，为使用经验观察进行端到端误差分析的学习 GIFs 提供了坚实的理论基础。

    Nov, 2023

  • 标签导向的变分自编码器在层流流动中的形状优化

    采用贝叶斯优化方法进行流体力学的计算设计优化。结合生成模型和高斯过程回归，通过预测物体形状直接影响拖力系数以最小化拖力系数。

    Dec, 2017

  • 使用 Transformer 在潜空间中进行流匹配的收敛性分析

    我们研究了基于 ODE 的生成模型（特别是流匹配），通过使用预训练的自编码网络将高维原始输入映射到低维潜在空间，再通过训练一个转换网络来预测从标准正态分布到目标潜在分布的变换速度场。我们的误差分析证明了这种方法的有效性，显示出通过估计 ODE 流生成的样本分布在温斯坦 - 2 距离下收敛到目标分布，在温和和实际的假设下。此外，我们还展示了具有李普希茨连续性的转换网络可以有效逼近任意平滑函数，这可能具有独立的兴趣。

    Apr, 2024

  • 广义去噪自编码器作为生成模型

    该研究提出了一种新的方法，能够在处理离散数据、任意形式的噪声和重构损失、同时去除偏差等方面更好地连接正则化自编码器的训练过程和对潜在生成分布的隐式估计。

    May, 2013

  • 高斯混合变分自编码器的深度无监督聚类

    我们研究了一个变分自编码器模型（VAE）的变体，其中高斯混合作为先验分布，通过深生成模型实现无监督聚类，通过最小信息约束启发式，缓解了过度正则化问题，并在合成数据、MNIST 和 SVHN 上证明了模型的性能。

    Nov, 2016