Oct, 2023

对于分数匹配的样本复杂度界限：因果发现和生成建模

PDF
TL;DR本文提供了得分匹配（Score-Matching）及其在因果发现中的应用的统计样本复杂性界限。我们证明了通过使用随机梯度下降训练标准的深度 ReLU 神经网络可以实现对得分函数的准确估计。我们建立了在得分匹配方法中基于 Rolland 等人 [2022] 的因果发现方法中恢复因果关系的错误率的界限，假设得分函数的估计足够好。最后，我们分析了得分匹配估计在基于得分的生成建模中的上界，这在因果发现领域中既有独立的兴趣，又有独立的生成模型。
statistical sample complexity boundsscore-matchingcausal discoveryscore-based generative modelingdeep relu neural network
发现论文，激发创造
  • 基于神经网络的扩散模型分值估计：优化与泛化

    通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

    Jan, 2024

  • 可扩展的因果发现与分数匹配

    本文介绍了如何通过观测非线性加性高斯噪声模型对数似然函数的二阶导数来发现整个因果图，利用可扩展的机器学习方法来逼近得分函数，扩展了 Rolland 等人的工作，仅从得分中恢复拓扑顺序并要求昂贵的修剪步骤，从而导致 DAS (Discovery At Scale) 算法，这是一个实用的算法，可以将修剪的复杂性降低到与图形大小成比例的因子。在实践中，DAS 算法可以实现与当前最先进的技术相当的准确性，而速度则快了一个数量级。总的来说，我们的方法实现了基于原则且可扩展的因果推断，显着降低了计算门槛。

    Apr, 2023

  • 得分匹配的解释和推广

    本文研究了评分匹配在解决高维密度模型中不可处理的分区函数时所用到的两个问题：首先，提供了最大似然和评分匹配之间的正式联系，其分析表明评分匹配可以找到更具有噪音训练数据鲁棒性的模型参数；其次，本文还发展了评分匹配的一个推广，并在此基础上进一步展示了将其扩展到离散数据模型的方法。

    May, 2012

  • 通过分数匹配的因果推断非线性模型的快速方法

    利用模拟数据在因果发现领域普遍存在，本文对线性数据和非线性模型中方差的演变模式进行了研究，并引入了 ScoreSort 算法。通过理论和实证分析发现 ScoreSort 在统计效率上相较于之前的方法具有优势，认为缺乏数据多样性限制了非线性因果发现方法的评估，强调了在问题类中进行不同设置的全面测试的重要性，以及分析因果发现中的统计特性的重要性，现有研究常限于模型的可识别性条件。

    Oct, 2023

  • 基于成绩的生成模型在学习亚高斯概率分布族中克服了维度诅咒

    分析使用得分为基础的生成模型在学习一类亚高斯概率分布时的近似和概括性，介绍了相对于标准高斯测度的概率分布的复杂性概念，证明了通过经验得分匹配生成的分布以维度无关的速率近似目标分布。通过包括某些高斯混合的示例说明了理论，证明中的一个基本要素是导出与正向过程相关的真实得分函数的无维度深度神经网络逼近速率，独立成趣。

    Feb, 2024

  • Score Matching 的可证明优势

    本文提出了一种自然指数分布家族 - 多项式指数分布家族， 对于这个家族的分布进行最大似然和得分匹配的比较研究，揭示得分匹配的损失函数可以通过计算复杂度低的优化方法进行计算，且在统计效率上与最大似然方法相当，而最大似然损失函数是无法通过基于梯度的方法进行优化的。

    Jun, 2023

  • 因果发现中的假设违规和评分匹配的鲁棒性

    本研究对观测因果发现方法的实证表现进行了广泛的基准测试，发现基于分数匹配的方法在具有挑战性的情景中推断图的假阳性和假阴性率方面表现出令人惊讶的性能，并提供了理论洞察。该研究还首次尝试基于超参数值评估因果发现算法的稳定性。希望这篇论文能够为因果发现方法的评估树立新标准，并成为对该领域感兴趣的实践者的可访问入口，突出了不同算法选择的实证影响。

    Oct, 2023

  • 生成建模中的评分不匹配

    我们提出了一个具有一步采样的基于分数的模型，通过训练一个独立的生成器，用从分数网络反向传播的梯度来压缩所有时间步骤，以产生对于生成器有意义的梯度，并使分数网络同时匹配真实数据分布和伪造数据分布，该模型具有采样快速、训练简单且免除了由一致性损失引起的不适定问题的优势，通过在 CIFAR-10 数据集上进行实验证明了该框架的潜力，并在 MINIST 和 LSUN 数据集上提供了更多示例。

    Sep, 2023

  • 扩散训练的样本高效性

    评分扩散模型是深度生成建模图像的最流行方法，其理论和实证性能表现出有效采样、$L^2$ 精确评分估计、样本复杂度和 Wasserstein 准确性。

    Nov, 2023

  • 具体记分匹配：离散数据的广义记分匹配

    该研究提出了一种在离散领域中类似于 (Stein) 分数的分数函数 ——“Concrete Score”，可以用于离散数据的建模，并且引入了一个新的框架来从样本中学习这样的分数，称为 “Concrete Score Matching（CSM）”，在合成、表格和高维图像数据集的密度估计任务上实验表明，它的性能相对于现有基线表现良好。

    Nov, 2022