抽样、扩散和随机定位
通过引入一种称为观测过程的随机过程,从数据分布中随机噪声样本并逐步学习与此动力学相关联的去噪器,本文在基于分数的学习的基础上,对随机定位技术产生了兴趣。除了特定的应用外,使用随机定位来从未归一化的目标密度中采样的问题尚未广泛探讨。本文填补了这个空白。我们考虑了一个广义的随机定位框架,并引入了一类明确的观测过程,与灵活的去噪时间表相关联。我们提供了一个完整的方法,即 “通过迭代后验采样进行随机定位”(SLIPS),以获取此动态的近似样本,并作为副产品获得目标分布的样本。我们的方案基于马尔可夫链蒙特卡洛估计的去噪器,并带有详细的实际指南。我们以几个基准测试为例,包括维度逐渐增加的高斯混合模型、贝叶斯逻辑回归和高维统计力学场系统,以证明 SLIPS 的益处和适用性。
Feb, 2024
我们提出了一个结合扩散映射和兰格朗日动力学的生成模型,通过扩散映射近似训练样本的漂移项,并在离散时间的兰格朗日采样器中实现,以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配,我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验,我们验证了我们提出的方案的性能。
Jan, 2024
通过利用扩散概率模型和随机扩散(StochDiff)模型,本研究提出了一种新型方法,学习每个时间步长的数据先验知识,从而更好地对高度随机化的时间序列进行建模,通过实验验证了该方法在随机时间序列预测中的有效性,并展示了在实际医疗指导中的应用潜力。
Jun, 2024
通过提出一种新颖的去随机扩散过程,我们加速了离散扩散模型的算法;我们还引入了一种连续时间采样算法,能够比有限步长的离散时间采样算法提供更好的样本质量。大量实验表明,在自然语言生成和机器翻译任务中,我们的方法在离散扩散模型的生成速度和样本质量方面表现出优越性。
Dec, 2023
扩散模型通过训练大量数据点,利用逐渐添加随机噪声和逆扩散过程将数据样本从复杂分布转换为简单分布,并学习数据流形,优于其他方法(包括生成对抗网络)来建模自然图像等分布。
Dec, 2023
该论文提出了基于深度学习的方法来对非归一化目标密度进行建模,并使用特定问题的 Schrödinger 桥问题来确定在给定先验分布和指定目标之间的最有可能的随机演变,其中包括前面出现的目标作为特殊情况。
Jul, 2023
本文介绍和研究了一类概率生成模型,其中潜在对象是有限时间间隔上的有限维扩散过程,观察变量是在扩散的终端点条件下绘制的。 通过随机控制的视角,我们为这种生成模型的采样和变分推断提供了统一的观点,并量化了基于扩散的生成模型的表现力。我们最后提出并分析了一个无偏模拟的方案,并提供了结果估计值的方差上限。这个方案可以实现为深度生成模型并具有随机层数。
Mar, 2019
扩散模型对于从高维数据分布中生成近似样本是一个强大的方法。我们提供了第一个以数据维度为线性(在对数因子之内)的收敛界限,只需假设数据分布具有有限的二阶矩。我们证明扩散模型仅需要最多 Δ 步骤,就能以 Kullback-Leibler 差异度在 d 维实数空间上对于方差为 δ 的高斯噪声破坏的任意数据分布进行 ε² 内的近似。
Aug, 2023
训练扩散模型以从具有给定未归一化密度或能量函数的分布中进行采样问题的研究,对于模拟为基础的变分方法和连续生成流网络等离散结构的推理方法进行基准测试,结果揭示了现有算法的相对优势,并对过去的研究提出了质疑。我们还提出了一种新颖的基于局部搜索和重放缓冲区在目标空间进行离线方法的探索策略,证明它改善了多个目标分布上样本的质量。我们为研究的采样方法和基准测试公开了代码,作为未来基于扩散模型进行分摊推理工作的基础。
Feb, 2024
我们提出了一种新的算法,用于优化由参数化的随机扩散隐式定义的分布,通过在参数上进行优化,我们可以修改抽样过程的结果分布。我们引入了一个用于这些过程的一阶优化的通用框架,该框架在单个循环中执行优化和抽样步骤。这种方法受到了双层优化和自动隐式微分的最新进展的启发,利用了抽样作为概率分布空间上优化的观点。我们对我们的方法的性能提供了理论保证,并在真实场景中展示了其有效性的实验证据。
Feb, 2024