高效多模态采样:通过绝缘分布流
通过构建可决定的耦合(即传输图)来进行测量传输的基本原理,从而能够在质量复杂的概率分布中生成任意多且无权重的样本。该研究探讨了在仅可用非标准化目标密度评估或仅通过有限样本集合而已知目标分布的情况下,如何构建传输。该方法可直接应用于贝叶斯计算和基于随机模拟的广泛问题中。
Feb, 2016
介绍了一种名为 SyMOT-Flow 的新型模型,通过最小化两个未知分布样本之间的对称最大均值差异,训练可逆转换,并结合最优传输成本作为正则化以获得短距离和可解释的转换,从而导致更稳定和准确的样本生成。
Aug, 2023
本文提出了一种新的框架来有效地对复杂概率分布进行抽样,使用最优传输映射和 Metropolis-Hastings 规则相结合,通过连续传输将典型的 Metropolis 提议机制转换为非高斯提议分布,从而更有效地探索目标密度,并在众多参数推断问题中表现出数量级的速度优势。
Dec, 2014
本研究提出了一种基于梯度流的、无需参数的算法,用于学习复杂数据集的潜在分布和从中进行抽样。该算法是建立在隐式生成建模 (IGM) 与最优输运之间的联系理论基础上,并通过泛函优化问题的方式得以实现。通过梯度流和随机微分方程的联系,该算法既能高效地解决优化问题,还提供了理论分析和有限时间误差保证。实验结果表明,该算法能够成功地捕捉不同类型的数据分布结构。
Jun, 2018
本文提出了一种基于 Wasserstein 梯度流的分布优化技术来近似后验分布的方法,进而基于此框架发展出一种高效的基于粒子优化算法的 Thompson 抽样算法,既可应用于简单模型,也可扩展到神经网络等复杂模型,在合成数据和真实的大规模数据实验中表现出更卓越的性能。
Feb, 2019
本文提出了一种用于生成模型的廉价替代方案,该方案使用投影优化器以及输运样条来加入连续的样本并插值演变密度,比起基于时间而条件的现有流模型具有高度的竞争力,适用于一系列高维度问题。
Apr, 2023
本文研究了基于梯度流的采样方法的设计要素,主要包括能量函数、度量、和用于算法推导的梯度流的数值近似。首先,我们展示了 Kullback-Leibler 散度作为能量函数的独特性质,即由它引导的梯度流与目标分布的标准化常数无关。其次,我们从不变性的角度研究了度量的选择,引入了一种放松的仿射不变性,构建了各种仿射不变的 Wasserstein 和 Stein 梯度流。最后,基于高斯近似的梯度流方法被提出,并与参数变分推断衍生的梯度方法建立了联系,理论和数值上研究了它们的收敛性。
Oct, 2023
本文研究了精确抽样问题,特别关注涉及贝叶斯推断中的大规模逆问题的科学和工程应用。通过引入基于 Fisher-Rao 梯度流的动力学系统,提出了一种处理贝叶斯推断中的计算挑战的方法,并应用高斯混合逼近和 Kalman 方法以解决多模态分布的问题。所提出的方法可以高效地处理多模态分布,名为 Gaussian Mixture Kalman Inversion(GMKI)。在理论和数值实验中进行的多个实验证明了 GMKI 的有效性,包括概念验证、二维实例以及从正时间的解数据中恢复 Navier-Stokes 初始条件的大规模应用。
Jun, 2024