Feb, 2024

基于分配流形上的 E - 泛地测流匹配的离散联合分布生成建模

PDF
TL;DR该研究介绍了一种新颖的生成模型，基于连续归一化流在分解离散度量子流形上。在逐渐整合流中分配类别，避免了离散化潜在连续模型时出现的舍入、样本截断等问题。通过将子流形嵌入到所有联合离散分布的超单纯体中并进行数据驱动的平均，可以逼近能表示结构离散数据的复杂统计依赖关系的一般非分解离散分布。通过匹配分解离散分布的测地线流来展示了该生成模型的有效训练，各种实验突显了该方法的广泛适用性。
generative modeldiscrete distributionscontinuous normalizing flowsstructured discrete dataefficient training
发现论文，激发创造
  • 生成式分配流用于表示和学习离散数据的联合分布

    介绍了一种新颖的生成模型，用于表示可能大量的离散随机变量的联合概率分布，该方法使用统计子流形上的随机分配流量进行测量传输，从而能够有效地从目标分布中进行采样并评估不可见数据点的可能性。

    Jun, 2024

  • 离散数据上生成建模的费舍尔流匹配

    Fisher-Flow 是一种用于离散数据生成建模的新型流匹配模型，采用几何学观点，将离散数据视为在统计流形上的点，通过转移沿 $d$- 超球面上的（闭合形式）测地线上的质量来定义流，可以优化训练动力学，提高性能，并在合成和实际基因序列设计等多个领域中优于传统扩散和匹配模型。

    May, 2024

  • 嵌入流形上的测地线蒙特卡罗

    本文讨论了基于浸入流和哈密尔顿 - 雅可比表示描述的测地线流的概率密度函数流形的 Markov chain Monte Carlo 方法，并基于流形支撑下的测地线流开发了提案机制，文中用超球面和正交矩阵的 Stiefel 流形为例进行了说明。

    Jan, 2013

  • 流形增强的伊可纳方程：不同 iable 流形上的测地距离和流动

    机器学习模型发现的流形提供了底层数据的紧凑表示。这项工作提出了一种基于模型的距离场和流形上的测地线流的参数化方法，利用流形增强 Eikonal 方程的解。我们展示了流形的几何对距离场的影响，并利用测地线流直接获得全局长度最小曲线。这项工作为可微流形上的统计和降阶建模开辟了机会。

    Oct, 2023

  • 黎曼连续归一化流

    本文提出 Riemannian 连续正规化流模型，通过设置连续性流作为常微分方程的解来定义流，其可以对光滑流形上的灵活概率测度进行有效参数化，在合成和现实数据方面与标准流或先前介绍的预测流相比可以显著提高表现。

    Jun, 2020

  • 使用自由形式流形学习流分布

    我们提出了一种在 Riemannian 流形上进行分布学习的替代方法，该方法只需要一次函数评估，然后将结果投影到流形上。通过在切空间中评估的迹来估计负对数似然的梯度，我们在各种流形上评估了我们的方法，并发现相比之前的工作，推断速度显著提高且具有竞争性的性能。我们在该网址上公开了我们的代码。

    Dec, 2023

  • 等变流形流

    本文提出了基于等变流形流的手段，学习任意流形上的对称不变分布，以应对先前机器学习模型所忽略的对称性特征，且在量子场论中应用其学习标准规范密度的效果显著。

    Jul, 2021

  • 通过 Riemannian 扩散过程的混合在流形上进行生成建模

    基于 Riemann 流形的扩散混合模型，通过以端点条件的扩散过程的混合来构建一种流形上的生成过程，取代以往扩散模型的去噪方法，更好地在高维度上表现，并在各种流形上优于现有的生成模型。

    Oct, 2023

  • 一般几何中的黎曼流匹配

    该文提出了 Riemannian Flow Matching (RFM) 框架，用于基于流的生成建模，可在流形上进行直接而有效的训练，并且在真实世界的非欧几里得数据集上达到了最先进的性能。

    Feb, 2023

  • 离散流：可逆离散数据生成模型

    本文探讨了 normalizing flows 模型在离散分布上的应用，提出了可以推广到离散事件的离散流模型。其中考虑了离散自回归流和离散二部流模型， 并应用于语言模型中。实验证明于离散分布上离散自回归流优于自回归基线模型，在字符级别的语言建模上离散二部流可以与自回归基线模型竞争。

    May, 2019