DIVA: 基于狄利克雷过程的变分自编码器增量深度聚类算法
本文介绍了一种名为 Domain Invariant Variational Autoencoder(DIVA)的生成模型,在域通用化问题上表现出色,可以学习三个独立的潜在子空间,分别用于描述域、类别和任何残余变化。此外,该模型能够整合已知或以前未见过的未标记数据,并在旋转的 MNIST 基准和疟原虫细胞图像数据集上实验验证了该模型的性能表现优于最新工作。
May, 2019
提出了一种无监督生成聚类方法 Variational Deep Embedding (VaDE),使用高斯混合模型和神经网络来建模数据生成过程,并在 VaDE 中使用变分推断实现更好的聚类效果,并可生成高度逼真的样本,更广泛的混合模型也可以轻松集成。
Nov, 2016
本文提出了一种基于混合模型和狄利克雷过程的无限变分自编码器,其容量能够适应输入数据,从而使得自动编码器数量能够根据数据自动变化,实验结果表明该方法在半监督学习中具有很高的灵活性。
Nov, 2016
通过与一个识别模型相结合,我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下,我们重新参数化变分后验分布,并推导出一个可处理深度学习任务规模数据集的变分下界公式,证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。
Nov, 2015
对于深度潜在变量模型 (DLVMs),当前的聚类先验方法要求事先定义聚类数目并容易受到初始值的影响。通过同时进行整合和聚类,我们将 VampPrior(Tomczak 和 Welling,2018)调整到一个狄利克雷过程高斯混合模型中,形成了 VampPrior Mixture Model(VMM),这是一个新的 DLVMs 先验方法。我们提出了一个交替使用变分推断和经验贝叶斯的推理过程,以清晰区分变分参数和先验参数。使用 VMM 在基准数据集上的变分自编码器获得了极具竞争力的聚类性能。将 VMM 与流行的 scRNA-seq 整合方法 scVI(Lopez 等,2018)相结合,可以显著提高其性能并自动将细胞分组成具有生物学意义的聚类。
Feb, 2024
本研究构建了可以有效利用深层随机变量的 VAE 模型,并介绍了一种双向推理 VAE (BIVA) ,其具有一个跳跃连接的生成模型和一个由双向随机推理路径构成的推理网络,该模型达到了最先进的测试似然度,可用于异常检测,并扩展到半监督分类任务,表现良好。
Feb, 2019
我们研究了一个变分自编码器模型(VAE)的变体,其中高斯混合作为先验分布,通过深生成模型实现无监督聚类,通过最小信息约束启发式,缓解了过度正则化问题,并在合成数据、MNIST 和 SVHN 上证明了模型的性能。
Nov, 2016
利用新型的去噪扩散概率模型(DDPMs)引入创新的期望最大化(EM)框架进行聚类,通过优化学习聚类友好的潜在表示,有效地提高了聚类、无监督条件生成和潜在表示学习的性能。
Dec, 2023
本文提出了一种无监督的生成性聚类框架,将变分信息瓶颈和高斯混合模型相结合。使用变分信息瓶颈方法将潜空间建模为高斯混合物,并导出了一个代价函数的界限,并提供了一种可计算它的变分推断类型算法。通过神经网络参数化编码器映射,并通过蒙特卡罗采样逼近边界,并用随机梯度下降进行优化。提供了真实数据集的数值结果,证明了我们方法的有效性。
May, 2019
提出了一种基于依赖狄利克雷过程混合模型(DDPMM)的新的聚类算法,用于聚类包含未知数量的进化聚类的批量连续数据。该算法通过对 DDPMM 的 Gibbs 抽样算法进行低方差渐近分析而得出,提供类似于 k-means 算法的收敛保证的硬聚类。通过移动高斯聚类的合成测试和真实的 ADS-B 飞机轨迹数据测试的实证结果表明,与当代概率和硬聚类算法相比,该算法在提供更高准确性的同时需要更少的计算时间。
May, 2013