May, 2019

切片得分匹配：一种可扩展的密度和得分估计方法

PDF
TL;DR本研究提出了一种新的分数匹配方法，即 sliced score matching，该方法仅涉及 Hessian-vector product，在更复杂的模型和高维数据上具有良好的鲁棒性和可扩展性，并可用于学习深层次的隐式分布模型和训练 Wasserstein Auto-Encoders 模型。
score matchingsliced score matchinghessian-vector productsimplicit distributionswasserstein auto-encoders
发现论文，激发创造
  • 得分匹配的解释和推广

    本文研究了评分匹配在解决高维密度模型中不可处理的分区函数时所用到的两个问题：首先，提供了最大似然和评分匹配之间的正式联系，其分析表明评分匹配可以找到更具有噪音训练数据鲁棒性的模型参数；其次，本文还发展了评分匹配的一个推广，并在此基础上进一步展示了将其扩展到离散数据模型的方法。

    May, 2012

  • 非参数得分估计器

    本文探讨了基于鲍姆 - 韦尔奇定理的 Stein 方法和 Score Matching 方法的核估计者，提出了一种基于正则化非参数回归框架的统一视角，允许我们分析现有的估计器并选择不同的假设空间和正则化器构建新的估计器。最后，我们提出了基于迭代正则化的分数估计器，它们受到无旋核和快速收敛的计算优势的支持。

    May, 2020

  • 基于神经网络的扩散模型分值估计：优化与泛化

    通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

    Jan, 2024

  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

    Jun, 2021

  • Score Matching 的可证明优势

    本文提出了一种自然指数分布家族 - 多项式指数分布家族， 对于这个家族的分布进行最大似然和得分匹配的比较研究，揭示得分匹配的损失函数可以通过计算复杂度低的优化方法进行计算，且在统计效率上与最大似然方法相当，而最大似然损失函数是无法通过基于梯度的方法进行优化的。

    Jun, 2023

  • 基于得分的生成建模分类

    该研究探讨了基于得分函数的梯度学习在判别式和生成式分类设置中的应用。实验表明，该方法适用于数据集的不平衡情况，有效提高了二分类性能。

    Jul, 2022

  • 基于得分的方法对孤立成分和混合比例的盲视

    本文研究密度估计和近似贝叶斯推断时，如果密度函数含有未知归一化常数，score-based methods 是常用的技术，但是我们发现当含有孤立成分时这些方法会出现实际失效的情况，我们试图通过启发式尝试解决这些问题。

    Aug, 2020

  • 具体记分匹配：离散数据的广义记分匹配

    该研究提出了一种在离散领域中类似于 (Stein) 分数的分数函数 ——“Concrete Score”，可以用于离散数据的建模，并且引入了一个新的框架来从样本中学习这样的分数，称为 “Concrete Score Matching（CSM）”，在合成、表格和高维图像数据集的密度估计任务上实验表明，它的性能相对于现有基线表现良好。

    Nov, 2022

  • 对于分数匹配的样本复杂度界限：因果发现和生成建模

    本文提供了得分匹配（Score-Matching）及其在因果发现中的应用的统计样本复杂性界限。我们证明了通过使用随机梯度下降训练标准的深度 ReLU 神经网络可以实现对得分函数的准确估计。我们建立了在得分匹配方法中基于 Rolland 等人 [2022] 的因果发现方法中恢复因果关系的错误率的界限，假设得分函数的估计足够好。最后，我们分析了得分匹配估计在基于得分的生成建模中的上界，这在因果发现领域中既有独立的兴趣，又有独立的生成模型。

    Oct, 2023

  • 操作员提示的分数匹配用于马尔可夫扩散模型

    利用马尔科夫扩散模型的优势，我们提出了 Riemannian 扩散核平滑和运算器信息得分匹配的技术，改善了扩散模型的训练过程。

    Jun, 2024