Oct, 2020

双层评分匹配用于学习基于能量的潜变量模型

PDF
TL;DR本文提出了一种称为 BiSM 的方法，通过将 Score matching 作为双层优化问题重新定义，引入变分后验概率来优化修改后的 SM 目标函数，并且通过优化变分后验概率来拟合真实后验概率，从而可有效学习具有一般结构的能量基于隐变量的模型，在通过梯度展开实现的随机优化算法的辅助下，BiSM 可以用于生成自然图像的复杂 EBLVM。
发现论文，激发创造
  • 双层双变分学习用于基于能量的潜变量模型

    本文提议使用双重可变学习来解决基于最大似然估计的能量潜变量模型训练中的不可计算性问题，并展示了该方法在图像任务中的出色生成效果及重建和溯源方面的能力。

    Mar, 2022

  • 多尺度去噪得分匹配在高维空间中学习能量基模型

    本文提出一种利用多尺度去噪得分匹配的能量模型 (Energy-Based Model, EBM)，并利用多噪声级别的数据进行训练。该模型在高维数据的样本合成和密度估计方面取得了与 GAN 相当的性能，并在图像修复任务中表现良好。

    Oct, 2019

  • 批量与匹配：基于评分的黑盒变分推断

    基于分数的采样方法与最大似然法相结合，可以有效优化高方差问题，并证明当目标分布为高斯分布时，收敛迅速且性能优于传统基于 ELBO 最大化的黑盒变分推断方法。

    Feb, 2024

  • 基于分数匹配的半隐式变分推断

    SIVI-SM 是基于分数匹配的新的 SIVI 方法，通过利用半隐变分族的分层结构，允许使用少噪声分数匹配处理难以处理的变分密度，SIVI-SM 在各种贝叶斯推理任务中准确性与 MCMC 相当，并且优于基于 ELBO 的 SIVI 方法。

    Aug, 2023

  • 高斯分数匹配伴随变分推理

    本文提出了一种新的基于评分匹配原则的变分推断方法及其迭代算法，即 score matching VI，并给出了高斯变分情况下的具体解法，GSM-VI，该算法比 BBVI 更快且更准确，适用于广泛的模型和数据，并在实际贝叶斯推断问题中得到广泛应用。

    Jul, 2023

  • 潜在空间中的基于得分的生成建模

    提出了一种基于变分自编码器框架的潜在分数生成模型 (LSGM)，通过使用潜在空间代替数据空间进行训练，使得该模型可以更加高效地生成样本且在多项任务方面取得了最先进的成果，同时在训练目标中提出多种方差约束的技术以保证其在稳定性和可扩展性上的表现。

    Jun, 2021

  • 训练能量基模型的方法

    这篇论文介绍了基于能量的模型（EBM）及其训练方法，包括最大似然训练法和 MCMC 自由法，同时介绍了 SM 和 NCE 等方法并强调它们三者之间的理论联系。

    Jan, 2021

  • 矩匹配去噪 Gibbs 抽样

    在能量模型（EBMs）中，我们提出了一种有效的采样框架：带有矩匹配的（伪）Gibbs 采样，以便从经过 Denoising Score Matching （DSM）训练的 “嘈杂” 模型中有效采样。与相关方法相比，探讨了我们方法的优点，并展示了如何扩展此方法以适用高维度数据集。

    May, 2023

  • 释放相似性匹配的潜力：可扩展性、监督与预训练

    本研究主要介绍了通过 Convolutional Nonnegative SM 和类似于 canonical correlation analysis 的方法来扩大 primarily unsupervised similarity matching（SM）框架，以便在大规模数据集上实现 SM，并通过与使用 backpropagation 算法训练的模型进行比较，评估所提出方法的特征表现。

    Aug, 2023

  • 基于条件分数的数据生成的去噪似然评分匹配

    通过 Denoising Likelihood Score Matching（DLSM）损失函数的训练，我们可以解决已有条件分数数据生成方法中分类器训练目标会导致分数不匹配的问题，从而更准确地建模条件分数并缓解这个问题。在 Cifar-10 和 Cifar-100 基准测试中，实验结果表明提议的方法在多个关键评估指标上优于以前的方法。

    Mar, 2022