通过引入一种新的,临界阻尼 Langevin 扩散,该文提出一种基于分数的生成模型框架,它可以更轻松地学习条件分布的速度得分函数,这比直接学习数据分数函数要容易得多,并用于高分辨率图像合成任务。
Dec, 2021
提出了一种基于得分的图生成模型,采用连续时间框架下的新图扩散过程,通过随机微分方程系统对节点和边缘进行联合分布建模,并提出了适用于该过程的新颖得分匹配目标,通过求解反向扩散过程的方程系统高效采样。通过对多个数据集的验证,该方法在生成具有挑战性的现实世界图形时获得了优异的性能,并能够生成符合 训练分布的分子,表明其对于节点 - 边缘关系的建模具有有效性。
Feb, 2022
本研究提出了一个通用的模型参数化框架,尤其是针对前向 SDE 的空间部分,通过理论保障和实验证明了其优越性。
Jun, 2022
基于随机微分方程的扩散生成多保真度(DGMF)学习方法通过连续去噪过程生成解决方案输出,同时利用条件分数模型控制解决方案的生成,可有效学习和预测多维解决方案数组,将离散和连续保真度建模统一,展示了多保真度学习的有希望的新方向。
Nov, 2023
本文提出了一种基于随机微分方程的得分模型生成方法,通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布,并通过缓慢地消除噪声将先验分布转换回数据分布,同时利用基于神经网络的得分生成建模技术可以精确估计这些得分,并使用数值微分方程求解器生成样本。
Nov, 2020
通过引入适应性动量采样,有效加速了转换过程,同时在小样本步骤中产生更加逼真的图像 / 图表,并在图像和图表生成任务中获得了有竞争力的评分。
May, 2024
本文介绍了一种新的生成模型,利用评分匹配来估计数据分布的梯度,通过 Langevin 动力学生成样本。我们的框架使得模型架构更加灵活,无需在训练期间进行抽样或使用对抗性方法,提供了可用于基于原则的模型比较的学习目标。在 MNIST、CelebA 和 CIFAR-10 数据集上,我们的模型产生的样本与 GAN 相当,实现了 CIFAR-10 inception 得分的新的最先进水平为 8.87。此外,我们通过图像修补实验证明了我们的模型学习到了有效的表示。
Jul, 2019
提供了一种基于分数的生成建模的概率流 ODE 实现的首个多项式时间收敛性保证,并通过基于欠阻尼朗之万扰动的特殊校正步骤获得了更好的维度依赖性。
May, 2023
该研究分析了应用于广义线性模型和多索引模型(例如逻辑回归,相位恢复)以及具有一般数据协方差的流式随机梯度下降(SGD)的高维极限动力学。通过引入常微分方程系统,该研究展示了 SGD 的确定性等效性,并得到了 SGD 稳定性和收敛性的学习速率阈值。此外,该研究还介绍了一个具有简化扩散系数的随机微分方程(均匀化 SGD),用于分析 SGD 迭代的一般统计动态,并通过数值模拟实例和理论进行了对比验证。
Aug, 2023
我们提出了一个结合扩散映射和兰格朗日动力学的生成模型,通过扩散映射近似训练样本的漂移项,并在离散时间的兰格朗日采样器中实现,以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配,我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验,我们验证了我们提出的方案的性能。
Jan, 2024