Nov, 2022

具体记分匹配：离散数据的广义记分匹配

PDF
TL;DR该研究提出了一种在离散领域中类似于 (Stein) 分数的分数函数 ——“Concrete Score”，可以用于离散数据的建模，并且引入了一个新的框架来从样本中学习这样的分数，称为 “Concrete Score Matching（CSM）”，在合成、表格和高维图像数据集的密度估计任务上实验表明，它的性能相对于现有基线表现良好。
probability distributionsconcrete scorediscrete domainsdensity estimationcsm
发现论文，激发创造
  • 基于得分的生成建模分类

    该研究探讨了基于得分函数的梯度学习在判别式和生成式分类设置中的应用。实验表明，该方法适用于数据集的不平衡情况，有效提高了二分类性能。

    Jul, 2022

  • 基于分数的扩散模型用于加速 MRI

    该研究提出了一种使用分数梯度模型重构图像的方法，并使用连续时间依赖分数函数进行训练。该模型可用于解决成像的反问题，尤其是加速 MRI，具有强大的性能及实用性，并且可重构复杂值数据。

    Oct, 2021

  • 对于分数匹配的样本复杂度界限：因果发现和生成建模

    本文提供了得分匹配（Score-Matching）及其在因果发现中的应用的统计样本复杂性界限。我们证明了通过使用随机梯度下降训练标准的深度 ReLU 神经网络可以实现对得分函数的准确估计。我们建立了在得分匹配方法中基于 Rolland 等人 [2022] 的因果发现方法中恢复因果关系的错误率的界限，假设得分函数的估计足够好。最后，我们分析了得分匹配估计在基于得分的生成建模中的上界，这在因果发现领域中既有独立的兴趣，又有独立的生成模型。

    Oct, 2023

  • 切片得分匹配：一种可扩展的密度和得分估计方法

    本研究提出了一种新的分数匹配方法，即 sliced score matching，该方法仅涉及 Hessian-vector product，在更复杂的模型和高维数据上具有良好的鲁棒性和可扩展性，并可用于学习深层次的隐式分布模型和训练 Wasserstein Auto-Encoders 模型。

    May, 2019

  • 基于成绩的生成模型在学习亚高斯概率分布族中克服了维度诅咒

    分析使用得分为基础的生成模型在学习一类亚高斯概率分布时的近似和概括性，介绍了相对于标准高斯测度的概率分布的复杂性概念，证明了通过经验得分匹配生成的分布以维度无关的速率近似目标分布。通过包括某些高斯混合的示例说明了理论，证明中的一个基本要素是导出与正向过程相关的真实得分函数的无维度深度神经网络逼近速率，独立成趣。

    Feb, 2024

  • 得分匹配的解释和推广

    本文研究了评分匹配在解决高维密度模型中不可处理的分区函数时所用到的两个问题：首先，提供了最大似然和评分匹配之间的正式联系，其分析表明评分匹配可以找到更具有噪音训练数据鲁棒性的模型参数；其次，本文还发展了评分匹配的一个推广，并在此基础上进一步展示了将其扩展到离散数据模型的方法。

    May, 2012

  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

    Jun, 2021

  • 基于神经网络的扩散模型分值估计：优化与泛化

    通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

    Jan, 2024

  • 基于条件分数的数据生成的去噪似然评分匹配

    通过 Denoising Likelihood Score Matching（DLSM）损失函数的训练，我们可以解决已有条件分数数据生成方法中分类器训练目标会导致分数不匹配的问题，从而更准确地建模条件分数并缓解这个问题。在 Cifar-10 和 Cifar-100 基准测试中，实验结果表明提议的方法在多个关键评估指标上优于以前的方法。

    Mar, 2022

  • 非参数得分估计器

    本文探讨了基于鲍姆 - 韦尔奇定理的 Stein 方法和 Score Matching 方法的核估计者，提出了一种基于正则化非参数回归框架的统一视角，允许我们分析现有的估计器并选择不同的假设空间和正则化器构建新的估计器。最后，我们提出了基于迭代正则化的分数估计器，它们受到无旋核和快速收敛的计算优势的支持。

    May, 2020