得分匹配的解释和推广
本文提出了一种自然指数分布家族 - 多项式指数分布家族, 对于这个家族的分布进行最大似然和得分匹配的比较研究,揭示得分匹配的损失函数可以通过计算复杂度低的优化方法进行计算,且在统计效率上与最大似然方法相当,而最大似然损失函数是无法通过基于梯度的方法进行优化的。
Jun, 2023
本研究提出了一种新的分数匹配方法,即 sliced score matching,该方法仅涉及 Hessian-vector product,在更复杂的模型和高维数据上具有良好的鲁棒性和可扩展性,并可用于学习深层次的隐式分布模型和训练 Wasserstein Auto-Encoders 模型。
May, 2019
本文提供了得分匹配(Score-Matching)及其在因果发现中的应用的统计样本复杂性界限。我们证明了通过使用随机梯度下降训练标准的深度 ReLU 神经网络可以实现对得分函数的准确估计。我们建立了在得分匹配方法中基于 Rolland 等人 [2022] 的因果发现方法中恢复因果关系的错误率的界限,假设得分函数的估计足够好。最后,我们分析了得分匹配估计在基于得分的生成建模中的上界,这在因果发现领域中既有独立的兴趣,又有独立的生成模型。
Oct, 2023
通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接,本文提出了第一次得分函数学习的一般化误差(样本复杂性)边界,从而克服了观测值中存在噪声的问题。
Jan, 2024
该研究提出了一种在离散领域中类似于 (Stein) 分数的分数函数 ——“Concrete Score”,可以用于离散数据的建模,并且引入了一个新的框架来从样本中学习这样的分数,称为 “Concrete Score Matching(CSM)”,在合成、表格和高维图像数据集的密度估计任务上实验表明,它的性能相对于现有基线表现良好。
Nov, 2022
该研究论文介绍了如何通过高阶噪声抑制分数匹配方法实现得分网络的最大似然训练,以提高得分模型的生成质量和对于数据概率分布的似然评估。
Jun, 2022
本文研究密度估计和近似贝叶斯推断时,如果密度函数含有未知归一化常数,score-based methods 是常用的技术,但是我们发现当含有孤立成分时这些方法会出现实际失效的情况,我们试图通过启发式尝试解决这些问题。
Aug, 2020
通过 Denoising Likelihood Score Matching(DLSM)损失函数的训练,我们可以解决已有条件分数数据生成方法中分类器训练目标会导致分数不匹配的问题,从而更准确地建模条件分数并缓解这个问题。在 Cifar-10 和 Cifar-100 基准测试中,实验结果表明提议的方法在多个关键评估指标上优于以前的方法。
Mar, 2022