本文通过导出一个变分框架来推导连续时间生成扩散理论,并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。
Jun, 2021
该研究探讨了基于得分函数的梯度学习在判别式和生成式分类设置中的应用。实验表明,该方法适用于数据集的不平衡情况,有效提高了二分类性能。
Jul, 2022
本文探讨了基于鲍姆 - 韦尔奇定理的 Stein 方法和 Score Matching 方法的核估计者,提出了一种基于正则化非参数回归框架的统一视角,允许我们分析现有的估计器并选择不同的假设空间和正则化器构建新的估计器。最后,我们提出了基于迭代正则化的分数估计器,它们受到无旋核和快速收敛的计算优势的支持。
May, 2020
本研究提出了一种新的分数匹配方法,即 sliced score matching,该方法仅涉及 Hessian-vector product,在更复杂的模型和高维数据上具有良好的鲁棒性和可扩展性,并可用于学习深层次的隐式分布模型和训练 Wasserstein Auto-Encoders 模型。
May, 2019
分析使用得分为基础的生成模型在学习一类亚高斯概率分布时的近似和概括性,介绍了相对于标准高斯测度的概率分布的复杂性概念,证明了通过经验得分匹配生成的分布以维度无关的速率近似目标分布。通过包括某些高斯混合的示例说明了理论,证明中的一个基本要素是导出与正向过程相关的真实得分函数的无维度深度神经网络逼近速率,独立成趣。
Feb, 2024
本文提出基于分数的扩散模型的最大似然训练方法,其中采用一种特定的权重方案,目标函数上界拘束负对数似然函数,达到了与当前最先进的自回归模型同等水平的负对数似然性能,验证了该方法在多个数据集、随机过程和模型结构上的有效性。
Jan, 2021
本文介绍了一种新的生成模型,利用评分匹配来估计数据分布的梯度,通过 Langevin 动力学生成样本。我们的框架使得模型架构更加灵活,无需在训练期间进行抽样或使用对抗性方法,提供了可用于基于原则的模型比较的学习目标。在 MNIST、CelebA 和 CIFAR-10 数据集上,我们的模型产生的样本与 GAN 相当,实现了 CIFAR-10 inception 得分的新的最先进水平为 8.87。此外,我们通过图像修补实验证明了我们的模型学习到了有效的表示。
Jul, 2019
本文提出了一种自然指数分布家族 - 多项式指数分布家族, 对于这个家族的分布进行最大似然和得分匹配的比较研究,揭示得分匹配的损失函数可以通过计算复杂度低的优化方法进行计算,且在统计效率上与最大似然方法相当,而最大似然损失函数是无法通过基于梯度的方法进行优化的。
Jun, 2023
通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接,本文提出了第一次得分函数学习的一般化误差(样本复杂性)边界,从而克服了观测值中存在噪声的问题。
Jan, 2024
SIVI-SM 是基于分数匹配的新的 SIVI 方法,通过利用半隐变分族的分层结构,允许使用少噪声分数匹配处理难以处理的变分密度,SIVI-SM 在各种贝叶斯推理任务中准确性与 MCMC 相当,并且优于基于 ELBO 的 SIVI 方法。
Aug, 2023