用于神经后验估计的条件扩散方法
通过使用一种改进的采样策略,我们提供了一种可以增加扩散模型的生成多样性的方法,尤其是在高指导尺度下,同时最小化样本质量损失。该方法通过在推理过程中向条件向量添加预定的、单调递减的高斯噪声来退火条件信号,以平衡多样性和条件对齐。我们的Condition-Annealed Diffusion Sampler (CADS)可以与任何预训练模型和采样算法一起使用,并且我们证明它在各种条件生成任务中提高了扩散模型的多样性。此外,通过使用现有的预训练扩散模型,CADS在256×256和512×512像素的类条件ImageNet生成任务中取得了新的最优FID值,分别为1.70和2.31。
Oct, 2023
基于模拟的推断(SBI)不断寻找更具表现力的算法,以准确地从嘈杂的数据中推断出复杂模型的参数。我们提出了神经后验估计的一致性模型(CMPE),这是一种用于可扩展、快速和分摊的SBI的新型无限制条件采样器,具有生成式神经网络。CMPE将正态流和流匹配方法的优点融合到一个单一的生成式架构中:它本质上提炼出一个连续概率流,并能够通过一个未受限制的架构进行快速的少样本推断,以适应估计问题的结构。我们的实证评估证明,CMPE不仅在三个困难的低维问题上优于当前最先进的算法,而且在高维贝叶斯去噪实验和对计算要求严格的肿瘤球体生长的多尺度模型估计中也取得了竞争性的性能。
Dec, 2023
本文通过提出一种锐利的统计理论,通过采用条件扩散模型进行分布估计,以实现对数据分布平滑性的自适应样本复杂度界限,并与极小max求解下界相匹配。通过对条件分数函数的近似结果揭示了理论的关键发展,该结果依赖于一种新型扩散泰勒逼近技术。此外,在求解逆问题和奖励条件样本生成等多种应用中,我们还展示了统计理论的实用性。
Mar, 2024
传统扩散模型通常依赖于固定的前向过程,本文引入神经流扩散模型(NFDM),通过支持更广泛的前向过程以及提出一种新颖的参数化技术来增强扩散模型,实现了无需模拟的端到端优化目标,从而有效地最小化负对数似然的变分上界。实验证据显示NFDM具有出色的性能,表现为最先进的似然估计。此外,我们还研究了NFDM在学习具有特定特征的生成动态,如确定性直线轨迹方面的潜力,这一探索彰显了NFDM的多样性和广泛应用潜力。
Apr, 2024
模拟推理方法及其神经网络算法在处理具有数值模拟可行性但似然函数难以计算的问题中涉及到的后验分布估计。尽管现有方法在处理低维问题时表现出色,但本文提出的先决条件神经后验估计方法通过结合近似贝叶斯计算方法有效地改善了对大参数空间下的模型的后验分布训练精度。
Apr, 2024
使用逆流转换(DRIFT)的神经网络表示,对分布回归模型提供了框架,证明其在多个应用中能替代传统统计模型,而且与统计方法在效果估计、预测和不确定性量化方面的性能相匹配,一方面涵盖了可解释的统计模型,另一方面打开了统计建模和深度学习的新途径。
May, 2024
本研究探讨了以扩散为基础的生成模型作为偏微分方程(PDE)神经算子的功效。我们展示了扩散生成模型在神经算子方面具有许多有利的特性,并能够在多个真实动力系统中优于其他神经算子。此外,我们演示了概率扩散模型如何优雅地处理部分可识别的系统,通过生成对应于不同可能解的样本。
May, 2024
本研究解决了在生成扩散模型中条件采样的关键问题,尤其是如何从条件分布中进行采样。文章提出了一种全面的计算方法综述,强调通过利用联合分布或依赖(预训练的)边际分布以显式似然构建条件生成采样器。这种新方法对于扩展生成扩散模型在贝叶斯逆问题中的应用潜力巨大。
Sep, 2024
本研究解决了现有预测模型在数据同化中的不足,提出了一种新颖的自回归采样方法和一个新的条件评分模型训练策略,以提升预测性能和稳定性。通过实验证明,这些改进对于同时处理预测和数据同化这一在现实场景中常见的任务至关重要。
Oct, 2024