Feb, 2024

VampPrior 混合模型

PDF
TL;DR对于深度潜在变量模型 (DLVMs)，当前的聚类先验方法要求事先定义聚类数目并容易受到初始值的影响。通过同时进行整合和聚类，我们将 VampPrior（Tomczak 和 Welling，2018）调整到一个狄利克雷过程高斯混合模型中，形成了 VampPrior Mixture Model（VMM），这是一个新的 DLVMs 先验方法。我们提出了一个交替使用变分推断和经验贝叶斯的推理过程，以清晰区分变分参数和先验参数。使用 VMM 在基准数据集上的变分自编码器获得了极具竞争力的聚类性能。将 VMM 与流行的 scRNA-seq 整合方法 scVI（Lopez 等，2018）相结合，可以显著提高其性能并自动将细胞分组成具有生物学意义的聚类。
clustering priorsdeep latent variable modelsvampprior mixture modelvariational autoencoderscrna-seq integration
发现论文，激发创造
  • 使用 VampPrior 的 VAE

    本文提出了一种新的先验模型 ——“变分混合后验”，并将其扩展为两层分层模型，通过使用混合高斯分布和可学习的伪输入条件下的变分后验构成组件，可以避免存在无用的潜在维度，从而实现更好的无监督数据建模。在六个数据集上进行的实证研究表明，应用分层 VampPrior 模型可在无监督不变分布的情况下实现所有数据集的最先进结果。

    May, 2017

  • 高维深度生成先验推断

    本文提出了一种新算法 ML-VAMP，用于多层随机神经网络推理，可配置为计算最大先验或近似最小均方误差估计，具有高维随机极限下的精确预测及可测试最优性条件，提供了一种计算方法，可在大型系统极限下进行多层推理并实现最小均方误差预测。

    Nov, 2019

  • 变分预训练用于半监督文本分类

    介绍了 VAMPIRE，这是一个轻量级的预训练框架，可用于在数据和计算资源有限的情况下进行有效的文本分类。使用无标记的领域内语料库通过变分自编码器实现 unigram 文档模型的预训练，并将其内部状态作为下游分类器的特征。在低资源情况下，我们经验证明 VAMPIRE 相对于昂贵的上下文嵌入和其他流行的半监督基线的优势。我们还发现，在有限的监督条件下，微调领域内数据对于从上下文嵌入中实现良好性能至关重要。伴随本文提供了预训练 VAMPIRE 嵌入的代码。

    Jun, 2019

  • ClusterDDPM：一种带有去噪扩散概率模型的 EM 聚类框架

    利用新型的去噪扩散概率模型（DDPMs）引入创新的期望最大化（EM）框架进行聚类，通过优化学习聚类友好的潜在表示，有效地提高了聚类、无监督条件生成和潜在表示学习的性能。

    Dec, 2023

  • 先驱 CVAE：基于贝叶斯深层生成模型的可升缩 MCMC 参数推断

    本文提出了一个新的方法 PriorCVAE，通过在 VAE 中引入随机过程超参数来区分学习先验分布，实现了超参数的显式估计，可以有效地应用于空间和时空推断等领域。

    Apr, 2023

  • 高斯混合变分自编码器的深度无监督聚类

    我们研究了一个变分自编码器模型（VAE）的变体，其中高斯混合作为先验分布，通过深生成模型实现无监督聚类，通过最小信息约束启发式，缓解了过度正则化问题，并在合成数据、MNIST 和 SVHN 上证明了模型的性能。

    Nov, 2016

  • 无截断的 DPMM 混合推理

    本文提出了一种基于抽样 MCMC 和变分方法的截断无关的 DPMM 混合模型推断方法，旨在提高 DPMM 变分更新的效率并仅在必要时增加模型复杂度，且在单成员模型和混合成员模型中均表现良好。

    Jan, 2017

  • 高斯过程先验变分自编码器

    本文研究了一种新的模型 Gaussian Process Prior Variational Autoencoder (GPPVAE)，结合了 VAEs 和具有 GP priors 关联特性的能力，解决了 VAEs 假设的潜在样本表示是独立并且同分布的假设不够强的问题，并利用协方差矩阵中的结构，介绍了一种新的随机反向传播策略，达到了分布式和低内存计算随机梯度的目的，实验证明该方法可以在两个图像数据应用程序中优于 conditional VAEs (CVAEs) 和标准 VAEs。

    Oct, 2018

  • DIVA: 基于狄利克雷过程的变分自编码器增量深度聚类算法

    提出了一种基于无穷高斯混合先验的非参数深度聚类框架 DIVA，使用了记忆化的在线变分推理方法使聚类更加动态自适应，不需要先验知识，特别在处理具有增量特征的复杂动态变化数据中表现出色。

    May, 2023

  • 使用高斯混合变分自编码器从分子模拟中生成可解释的嵌入

    本研究论文介绍了使用 Gaussian mixture variational autoencoder（GMVAE）进行分子模拟数据的降维和聚类，以及其在构建 Markov 状态模型方面的潜在应用。

    Dec, 2019