增强用集成方法的基于分数抽样方法
本篇论文提出集成抽样(ensemble sampling)的方法来近似贝叶斯 “Thompson 抽样” 算法,从而使之适用于更复杂的模型,如神经网络,此方法保持了可计算性,扩展了该算法的应用范围,并给出实验验证和理论依据。
May, 2017
使用基于评分的扩散模型的去偏方法对温度加速分子动力学(TAMD)模拟进行测试,结果表明这种去偏方法显著优于传统的去偏方法,并且能够生成准确的无偏构象集合,适用于具有较高 CV 数量的模拟。
Dec, 2023
评分函数估计是训练和采样扩散生成模型的基石。我们引入了一种利用训练集中的多个样本来大幅降低估计方差的新型最近邻评分函数估计器,并将其应用于一致性模型训练中,加快收敛速度并提高样本质量。在扩散模型中,我们展示了该估计器可以替代学习网络用于概率流 ODE 积分,为未来研究开辟了有希望的新途径。
Feb, 2024
我们提出了一种用于解决高维非线性滤波问题的集成评分滤波器(EnSF),具有出色的准确性。EnSF 通过利用在伪时间域中定义的基于评分的扩散模型来表示滤波密度的演化,攻克了现有滤波方法(如粒子滤波器或集成卡尔曼滤波器)在处理高维度和高度非线性问题时低准确性的主要缺点。与训练神经网络来近似评分函数的现有扩散模型不同,我们开发了一种无需训练的评分估计方法,使用基于小批量的蒙特卡洛估计器直接近似评分函数,既可以在解决高维非线性问题时提供足够的准确性,又可以节省大量用于训练神经网络的时间。EnSF 的另一个重要方面是其分析更新步骤,逐渐将数据信息融入评分函数,这在处理非常高维度非线性滤波问题时缓解退化问题是至关重要的。我们使用高维洛伦兹系统来演示我们方法的性能。EnSF 在可靠地跟踪高度非线性观测过程的极高维洛伦兹系统(高达 1,000,000 维)中表现出了令人惊讶的性能,这是现有滤波方法面临的一个众所周知的具有挑战性的问题。
Sep, 2023
本文通过解决离散随机变量的最优运输问题,提出了一种新的转换方法,不依赖于先验和后验分布的任何先验假设,从而改进了蒙特卡洛方法中贝叶斯推断的实现方式。
Oct, 2012
通过研究深度神经网络的损失函数平面的同构性,我们证明了深度集合优于贝叶斯神经网络在提高准确度和对数据集变化的鲁棒性方面,并发现随机初始化的权重可以探索不同的函数空间而产生更多样的结果。
Dec, 2019
该论文提出了一种利用去噪扩散概率模型生成的伪集合的集合数据同化方法。由于该模型针对嘈杂和稀疏的观测数据进行训练,因此该模型能生成与观测接近的发散集合。由于所生成集合的方差,我们提出的方法在模拟模型不完美时表现出比成熟的集合数据同化方法更好的性能。
Aug, 2023
对于扩散模型的准确性进行了理论研究,通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析,并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合,明确了如何设计有效生成的训练和采样过程。
Jun, 2024