通过迭代后验抽样进行随机定位

Feb, 2024

Stochastic Localization via Iterative Posterior Sampling

Louis Grenioux, Maxence Noble, Marylou Gabrié, Alain Oliviero Durmus

TL;DR通过引入一种称为观测过程的随机过程，从数据分布中随机噪声样本并逐步学习与此动力学相关联的去噪器，本文在基于分数的学习的基础上，对随机定位技术产生了兴趣。除了特定的应用外，使用随机定位来从未归一化的目标密度中采样的问题尚未广泛探讨。本文填补了这个空白。我们考虑了一个广义的随机定位框架，并引入了一类明确的观测过程，与灵活的去噪时间表相关联。我们提供了一个完整的方法，即 “通过迭代后验采样进行随机定位”（SLIPS），以获取此动态的近似样本，并作为副产品获得目标分布的样本。我们的方案基于马尔可夫链蒙特卡洛估计的去噪器，并带有详细的实际指南。我们以几个基准测试为例，包括维度逐渐增加的高斯混合模型、贝叶斯逻辑回归和高维统计力学场系统，以证明 SLIPS 的益处和适用性。

Abstract

Building upon score-based learning, new interest in stochastic localization techniques has recently emerged. In these models, one seeks to noise a sample from the data distribution through a stochastic process, c

score-based learning stochastic localization observation process denoiser slips

发现论文，激发创造

抽样、扩散和随机定位

通过扩展随机本地化过程并澄清扩散过程与随机本地化之间的联系，本文提出实现从高维分布中采样的有效技术，其中扩散过程的漂移通常表示为神经网络，并使用相应的算法从某些统计力学模型中采样。

May, 2023

从后验分布中抽样的随机图像去噪

提出一种新颖的基于 Langevin 动力学的随机去噪方法，可在保持小 MSE 的同时产生高感知质量结果，并将其扩展到处理修补问题。

Jan, 2021

SNIPS: 随机求解有噪反问题

本文介绍了一种称为 SNIPS 的新型随机算法，用于从任何线性反问题的后验分布中抽取样本，其中假定观测结果受到加性白噪声的污染。该算法利用来自 Langevin 动力学和牛顿方法的思想，并利用经过预训练的 MMSE 高斯去噪器。该算法可以为相同的噪声观察生成多个高感知质量的样本。我们证明了该方法对于图像去模糊，超分辨率和压缩感知的能力，并且显示产生的样本锐利，详细且与给定的测量结果一致，其多样性展示了被解决的反问题中固有的不确定性。

May, 2021

基于两阶段降噪扩散模型的图反问题源定位

提出一种二阶段优化框架，即源定位去噪扩散模型（SL-Diff），其中在粗略阶段设定源接近度作为监督信号以生成粗略的源预测，引入以上文深度扩散模型中级联时间信息的改进方法，转化了多对一映射关系为一对一映射关系，从而更好地解决了反问题中的不适定问题，在后续细节优化阶段设计了一种扩散模型来量化传播中的不确定性，实验结果表明，提出的 SL-Diff 在合理的采样时间内能够给出出色的预测结果。

Apr, 2023

使用随机梯度下降从高斯过程后验分布中进行采样

本论文介绍了通过使用随机梯度算法来近似解决高斯过程中线性系统求解的限制，并利用影响收敛的隐含偏差的谱特点来解释结果，最终在大规模数据集上取得了最先进的预测性能和不确定性估计。

Jun, 2023

随机微分方程的近似贝叶斯学习

使用高斯过程作为灵活的模型并使用高斯过程回归直接从稠密数据集中计算估计，开发出一种非参数方法来估计随机微分方程组中的漂移和扩散函数，并开发了一种近似的期望最大化算法来处理稀疏观察之间的未观察到的潜在动态。

Feb, 2017

无监督采样促进基于随机人类轨迹的预测

本论文提出了一种名为 BOsampler 的新方法，通过贝叶斯优化的方法，在长尾效应区域探索潜在路径的过程中，提高了随机预测的采样效率，该方法不需要重新训练，可与现有的随机预测模型集成，实验结果表明该方法的有效性。

Apr, 2023

通过倾斜传输的后验采样与去噪神谕

通过学习数据集中的去噪神经网络，基于分数的扩散模型在各个领域中显著推进了高维数据生成，并从贝叶斯角度提供了逼真的数据先验建模以及通过后验采样解决逆问题的能力。但是，虽然许多启发式方法已被开发用于这一目的，但它们缺乏许多科学应用所需的定量保证。在本文中，我们引入了 “倾斜传输” 技术，它结合了先验去噪神经网络和线性逆问题中对数似然的二次结构，将原始的后验采样问题转化为一个可证明更易于从中采样的新的 ' 增强 ' 后验。我们量化了该增强后验的条件，突出显示了测量矩阵的条件数和信噪比的依赖关系。通过直接分析，验证了该后验采样方案在采样 Ising 模型（Kunisky'23）时达到了计算阈值，并进一步在高维高斯混合模型和标量场 ϕ^4 模型上进行了验证。

Jun, 2024

具有随机插值和 Föllmer 过程的概率预测

我们提出了一个基于生成模型的动力系统概率预测框架，将预测问题描述为从当前状态给定的未来系统状态的条件分布中进行采样，并证明了该框架在复杂的高维预测问题上的实用性。

Mar, 2024

后验采样实例最优压缩感知

本研究研究了来自已知先验分布的信号的压缩感知的测量复杂性，即使先验的支撑是整个空间（而不是稀疏向量）。对于高斯测量和信号上的任何先验分布，我们展示了后验抽样估计器可以实现近乎最优的恢复保证，在模型不匹配的情况下，只要分布估计（例如，从可逆生成模型中）与 Wasserstein 距离中的真实分布接近。我们使用 Langevin 动力学为深度生成先验实现了后验抽样估计器，并实验性地发现，它产生的准确估计具有比 MAP 更多的多样性。

Jun, 2021