May, 2024

离散数据上生成建模的费舍尔流匹配

PDF
TL;DRFisher-Flow 是一种用于离散数据生成建模的新型流匹配模型，采用几何学观点，将离散数据视为在统计流形上的点，通过转移沿 $d$- 超球面上的（闭合形式）测地线上的质量来定义流，可以优化训练动力学，提高性能，并在合成和实际基因序列设计等多个领域中优于传统扩散和匹配模型。
generative modelingdiscrete datafisher-flowriemannian metricdna sequences
发现论文，激发创造
  • 离散流：可逆离散数据生成模型

    本文探讨了 normalizing flows 模型在离散分布上的应用，提出了可以推广到离散事件的离散流模型。其中考虑了离散自回归流和离散二部流模型， 并应用于语言模型中。实验证明于离散分布上离散自回归流优于自回归基线模型，在字符级别的语言建模上离散二部流可以与自回归基线模型竞争。

    May, 2019

  • 基于分配流形上的 E - 泛地测流匹配的离散联合分布生成建模

    该研究介绍了一种新颖的生成模型，基于连续归一化流在分解离散度量子流形上。在逐渐整合流中分配类别，避免了离散化潜在连续模型时出现的舍入、样本截断等问题。通过将子流形嵌入到所有联合离散分布的超单纯体中并进行数据驱动的平均，可以逼近能表示结构离散数据的复杂统计依赖关系的一般非分解离散分布。通过匹配分解离散分布的测地线流来展示了该生成模型的有效训练，各种实验突显了该方法的广泛适用性。

    Feb, 2024

  • 狄利克雷流匹配及其在 DNA 序列设计中的应用

    离散扩散或流模型能够实现比自回归模型更快、更可控的序列生成。本文通过基于狄利克雷分布混合的概率路径，在平凡上的 na"ive 线性匹配流上开发出狄利克雷流匹配模型，以克服训练目标中的不连续性和进一步的病理问题，从而实现分类器或无分类器引导。此外，我们提供了精简的狄利克雷流匹配方法，实现了一步式序列生成，最小化性能损失，相对于自回归模型加速了 $O (L)$。在复杂的 DNA 序列生成任务中，我们展示了相对于基准模型在分布度量和实现设计目标上的优越性能。最后，我们证明了无分类器引导方法可以提高无条件生成，并且对满足设计目标的 DNA 生成有效。

    Feb, 2024

  • 生成式分配流用于表示和学习离散数据的联合分布

    介绍了一种新颖的生成模型，用于表示可能大量的离散随机变量的联合概率分布，该方法使用统计子流形上的随机分配流量进行测量传输，从而能够有效地从目标分布中进行采样并评估不可见数据点的可能性。

    Jun, 2024

  • 流动地图匹配

    基于动态测量输运的生成模型通过学习常微分方程或随机微分方程，将初始条件从已知基础分布推导到目标分布。我们介绍了流图匹配算法，通过学习潜在常微分方程的双时间流图，得到了一个高效的几步生成模型，其步数可以根据精度和计算成本进行灵活的调节。与扩散模型或随机插值方法相比，流图匹配方法能够以显著降低的采样成本生成高质量样本。

    Jun, 2024

  • 生成建模中的流匹配

    基于连续归一化流的生成建模范例中，发现使用流匹配方法与扩散路径一起训练更具有鲁棒性和稳定性，并且可以开启使用优化运输插值定义的非扩散概率路径，该方法比传统扩散模型更适用于训练 ImageNet，并能快速生成可靠采样结果。

    Oct, 2022

  • 一般几何中的黎曼流匹配

    该文提出了 Riemannian Flow Matching (RFM) 框架，用于基于流的生成建模，可在流形上进行直接而有效的训练，并且在真实世界的非欧几里得数据集上达到了最先进的性能。

    Feb, 2023

  • 扩展流匹配：一种具有广义连续方程的条件生成方法

    本文基于流匹配理论开发了基于流匹配的条件生成理论，通过广义连续性方程数学框架，匹配矩阵场而非向量场，确保生成的条件分布的连续性，并通过实验和数学结果验证了我们的理论。

    Feb, 2024

  • 潜空间中的流匹配

    本文提出了一种在预训练自编码器的潜在空间中应用流匹配的方法，以实现高分辨率图像合成的计算效率和可扩展性的提高，并将各种条件集成到流匹配中进行条件式生成任务，包括标签条件下的图像生成、图像修复和语义到图像的生成。通过大量实验，本方法在各种数据集上均具有定量和定性的有效性，并提供了重构潜在流分布与真实数据分布之间 Wasserstein-2 距离的理论控制。

    Jul, 2023

  • 功能流匹配

    本文提出一种功能流匹配（FFM）方法，是一种在无限维空间中直接操作的功能空间生成模型，通过定义概率量的路径，学习函数空间中的向量场来产生这些概率量的路径，而不依赖于似然度或模拟，经过实验评估表明，该方法优于其他具有相似功能的生成模型。

    May, 2023