基于自助去噪能量匹配的Boltzmann采样器BEnDEM
本文提出一种利用多尺度去噪得分匹配的能量模型(Energy-Based Model, EBM),并利用多噪声级别的数据进行训练。该模型在高维数据的样本合成和密度估计方面取得了与GAN相当的性能,并在图像修复任务中表现良好。
Oct, 2019
通过引入混合噪声策略和分数去噪方法(Frad),本研究提出一种新的坐标去噪方法,用于改进分子表示,并在QM9的12个任务中有9个任务达到新的最先进水平,并在MD17的8个目标中有7个目标取得了最先进水平。
Jul, 2023
利用流水、扩散或自回归神经网络等生成模型进行的抽样分析工作,发现在某些参数范围内,这些方法可能无法高效抽样,而标准的Monte Carlo或Langevin方法则可行。然而,在其他参数范围内,这些生成模型的方法效果更好,而标准方法却低效。
Aug, 2023
使用基于评分的扩散模型的去偏方法对温度加速分子动力学(TAMD)模拟进行测试,结果表明这种去偏方法显著优于传统的去偏方法,并且能够生成准确的无偏构象集合,适用于具有较高CV数量的模拟。
Dec, 2023
我们介绍了一种称为基于能量扩散生成器的新型采样器,用于从任意目标分布生成样本。采样模型采用类似变分自动编码器的结构,利用解码器将来自简单分布的潜在变量转换为逼近目标分布的随机变量,并设计了基于扩散模型的编码器。通过利用扩散模型对复杂分布的强大建模能力,我们可以获得生成样本的分布与目标分布之间的Kullback-Leibler散度的准确变分估计。此外,我们提出了一种基于广义Hamilton动力学的解码器,进一步提升了采样性能。通过实证评估,我们展示了我们的方法在各种复杂分布函数上的有效性,并展示了与现有方法相比的优越性。
Jan, 2024
我们提出了一种名为迭代去噪能量匹配(iDEM)的算法,用于从未归一化概率分布中高效地生成统计独立的样本,并采用基于扩散的采样器和随机匹配目标来改进采样器,实现了对高维数据和能量景观的有效探索和学习。
Feb, 2024
本文提出了一种使用去噪非平衡结构(DeNS)作为辅助任务来更好地利用训练数据和提高性能的方法,通过对非平衡结构添加噪声并预测噪声来实现对非平衡结构的去噪,进而改善在OC20、OC22和MD17数据集上的训练效率并取得了新的最先进结果。
Mar, 2024
通过凸优化过程将数据集的主要方向整合到低秩RBM中,从而通过静态蒙特卡罗过程实现平衡分布的高效采样,成功训练RBM来捕捉之前方法失败的高度结构化数据集中的全部多样性,并提出了一种新的采样方法 - 平行轨迹调整,使得能够比之前的MCMC方法更快地采样训练模型的平衡分布并更好地估计对数似然。
May, 2024
本文针对训练生成器以评估能量函数或未归一化密度的问题,提出了迭代能量基础流匹配(iEFM)方法,这是首个从未归一化密度训练连续归一化流模型的离线策略。研究表明,iEFM在高维复杂系统中展示了其在效率和可扩展性上的优势,为科学应用提供了新的解决方案。
Aug, 2024
本研究解决了玻尔兹曼生成器面临的两个核心问题:模型缺陷导致样本的固有误差,以及获得高质量样本需要数百次功能评估。本文提出了一种新颖的采样方法,将一致性模型与重要性采样有效结合,结果显示该方法在仅需6-25次功能评估的情况下,依然能够生成无偏样本,且有效样本量与需要约100次功能评估的去噪扩散概率模型相当。
Sep, 2024