迭代去噪能量匹配用于从玻尔兹曼密度中采样
本文提出一种利用多尺度去噪得分匹配的能量模型(Energy-Based Model, EBM),并利用多噪声级别的数据进行训练。该模型在高维数据的样本合成和密度估计方面取得了与GAN相当的性能,并在图像修复任务中表现良好。
Oct, 2019
本文研究通过最大化随机抽样分布的似然函数从而获得一类能量启发式模型,这些模型包含了学习能量函数并提供精确样本和可计算的对数似然下界。同时,这些模型对比了不同的随机抽样算法并提供了对噪声对比估计和对比预测编码排名的新见解。
Oct, 2019
在能量模型(EBMs)中,我们提出了一种有效的采样框架:带有矩匹配的(伪)Gibbs采样,以便从经过Denoising Score Matching (DSM)训练的“嘈杂”模型中有效采样。与相关方法相比,探讨了我们方法的优点,并展示了如何扩展此方法以适用高维度数据集。
May, 2023
提出了一种新方法——密度扩散($ ho$-Diffusion),该方法可以用于物理学中的多维密度估计,并能通过任意数量的感兴趣的物理参数来进行条件建模。
Dec, 2023
我们介绍了一种称为基于能量扩散生成器的新型采样器,用于从任意目标分布生成样本。采样模型采用类似变分自动编码器的结构,利用解码器将来自简单分布的潜在变量转换为逼近目标分布的随机变量,并设计了基于扩散模型的编码器。通过利用扩散模型对复杂分布的强大建模能力,我们可以获得生成样本的分布与目标分布之间的Kullback-Leibler散度的准确变分估计。此外,我们提出了一种基于广义Hamilton动力学的解码器,进一步提升了采样性能。通过实证评估,我们展示了我们的方法在各种复杂分布函数上的有效性,并展示了与现有方法相比的优越性。
Jan, 2024
利用新颖的评分匹配损失,我们提出了一种基于粒子迭代方案的粒子去噪扩散取样器(PDDS),它能够在温和假设下提供渐近一致的估计,我们在多模态和高维取样任务上演示了 PDDS。
Feb, 2024
通过提出不可混合扩散方法,该研究旨在改进扩散模型的训练速度和准确性。该方法通过为图像数据分配目标噪声,限定了图像的扩散区域,同时保持噪声的高斯分布,从而实现更快的训练速度和更好的还原质量。
Jun, 2024
本文针对训练生成器以评估能量函数或未归一化密度的问题,提出了迭代能量基础流匹配(iEFM)方法,这是首个从未归一化密度训练连续归一化流模型的离线策略。研究表明,iEFM在高维复杂系统中展示了其在效率和可扩展性上的优势,为科学应用提供了新的解决方案。
Aug, 2024
本研究解决了玻尔兹曼生成器面临的两个核心问题:模型缺陷导致样本的固有误差,以及获得高质量样本需要数百次功能评估。本文提出了一种新颖的采样方法,将一致性模型与重要性采样有效结合,结果显示该方法在仅需6-25次功能评估的情况下,依然能够生成无偏样本,且有效样本量与需要约100次功能评估的去噪扩散概率模型相当。
Sep, 2024
本文旨在解决从Boltzmann分布生成独立同分布样本的高效采样问题。通过学习噪声数据的能量,提出了一种基于扩散的采样器EnDEM,并结合自助法平衡偏差与方差,实验结果表明BEnDEM在高斯混合模型和双阱位势中表现优越且更具鲁棒性。
Sep, 2024