May, 2023

可扩展仿真推断的流匹配

PDF
TL;DR提出了流匹配后验概率估计（FMPE）方法，使用连续正则化流实现了基于模拟的推断任务，较于离散流，在保持精度的情况下，提供了更高的灵活性和可伸缩性。在模拟数据集上取得了有竞争力的性能，而在重力波推断任务中，FMPE 方法的训练速度比离散流方法快 30％，且准确度得到了大幅提高。
posterior estimationnormalizing flowssimulation-based inferenceflow matchingscalability
发现论文，激发创造
  • 大规模和快速基于仿真的推论的一致性模型

    基于模拟的推断（SBI）不断寻找更具表现力的算法，以准确地从嘈杂的数据中推断出复杂模型的参数。我们提出了神经后验估计的一致性模型（CMPE），这是一种用于可扩展、快速和分摊的 SBI 的新型无限制条件采样器，具有生成式神经网络。CMPE 将正态流和流匹配方法的优点融合到一个单一的生成式架构中：它本质上提炼出一个连续概率流，并能够通过一个未受限制的架构进行快速的少样本推断，以适应估计问题的结构。我们的实证评估证明，CMPE 不仅在三个困难的低维问题上优于当前最先进的算法，而且在高维贝叶斯去噪实验和对计算要求严格的肿瘤球体生长的多尺度模型估计中也取得了竞争性的性能。

    Dec, 2023

  • 生成建模中的流匹配

    基于连续归一化流的生成建模范例中，发现使用流匹配方法与扩散路径一起训练更具有鲁棒性和稳定性，并且可以开启使用优化运输插值定义的非扩散概率路径，该方法比传统扩散模型更适用于训练 ImageNet，并能快速生成可靠采样结果。

    Oct, 2022

  • 马尔可夫流匹配：用连续正规化流加速 MCMC

    通过建模生成概率路径的向量场，连续归一化流（CNFs）利用神经网络学习参考密度与目标密度之间的概率路径。本文重新利用流匹配（FM）方法，结合马尔可夫采样方法评估 FM 目标和使用学习的概率路径改进蒙特卡洛采样，将该方法用于概率推断。我们提出了一种顺序方法，利用马尔可夫链的样本修正定义 FM 目标的概率路径。我们增加了自适应调节机制以发现目标中的多个模式。在温和的假设下，我们证明了 FM 目标的局部最优收敛性，讨论了收敛速率的改进，并在合成和真实世界示例中说明了我们的方法。

    May, 2024

  • 基于归一化流的 SBI 算法验证诊断

    本文提出基于正则化流（Normalizing Flows，NF）的多维条件（后验）概率密度估计的易于解释的验证诊断方法，并提供了基于局部相容性结果的理论保证。该工作可用于检查、分析和保证估计器的一致行为，并以计算神经科学的上下文中涉及紧密耦合参数的具有挑战性的例子进行说明。

    Nov, 2022

  • 流动地图匹配

    基于动态测量输运的生成模型通过学习常微分方程或随机微分方程，将初始条件从已知基础分布推导到目标分布。我们介绍了流图匹配算法，通过学习潜在常微分方程的双时间流图，得到了一个高效的几步生成模型，其步数可以根据精度和计算成本进行灵活的调节。与扩散模型或随机插值方法相比，流图匹配方法能够以显著降低的采样成本生成高质量样本。

    Jun, 2024

  • 离散数据上生成建模的费舍尔流匹配

    Fisher-Flow 是一种用于离散数据生成建模的新型流匹配模型，采用几何学观点，将离散数据视为在统计流形上的点，通过转移沿 $d$- 超球面上的（闭合形式）测地线上的质量来定义流，可以优化训练动力学，提高性能，并在合成和实际基因序列设计等多个领域中优于传统扩散和匹配模型。

    May, 2024

  • PINF：用于物理约束深度学习的连续归一化流

    本文介绍了基于物理信息的归一化流（PINF），它是连续归一化流的一种新方法，通过特征方法结合扩散，能高效解决高维时间依赖和稳态福克 - 普朗克方程。

    Sep, 2023

  • 切换流匹配：通过切换 ODE 来消除奇异性

    通过使用切换的普通微分方程 (ODEs) 来消除奇点问题，我们提出了一个更通用的框架，Switched FM (SFM)，以解决连续时间生成模型中的采样速度缓慢的问题，并演示了该框架的有效性。

    May, 2024

  • 精确知识传递通过流匹配

    我们提出了一种新颖的知识转移框架，引入连续归一化流进行渐进知识转化，并利用多步采样策略实现精准知识传递。通过引入随机插值，我们理论上证明了 FM-KT 的训练目标相当于最小化教师特征映射或逻辑负对数似然的上界。此外，FM-KT 可以看作是一种独特的隐式集成方法，从而实现性能提升。通过对 CIFAR-100、ImageNet-1k 和 MS-COCO 数据集进行大量实验证明了我们提出的方法在相关比较方法中的可扩展性和最先进性能。

    Feb, 2024

  • 基于贝叶斯归一化流的条件密度估计

    本文提出使用正规化流作为灵活的似然模型，以及提出了一种有效的方法来适应复杂分布的条件密度估计问题，其使用贝叶斯框架对这些条件密度估计器进行先驱概率分析，最终将该方法应用于两大数据集的空间密度建模任务上，并在某些情况下获得了最先进的性能。

    Feb, 2018