本文介绍了一种基于深度生成模型的架构,该架构在训练过程中使用多层的潜在变量,并且在所有潜在变量和输出之间包括确定性路径,以及提供了一组更丰富的连接,这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明,我们的方法在标准图像建模基准测试中达到了最先进的性能,并且在没有标签信息的情况下可以暴露潜在的类结构,同时可以提供自然图像中被遮挡区域的令人信服的估计。
Dec, 2016
本文讨论了深度非监督学习中最大化证据下限(ELBO)的训练方法,并推导了输入与潜变量之间互信息的下限和上限,进而通过率失真曲线描述了压缩和重构准确性之间的平衡,并提出了一个新的方法来避免强大的随机解码器忽略它们的潜变量。
Nov, 2017
使用Variational Homoencoder(VHE)技术,在Omniglot数据集中建立层次化的PixelCNN,其效果优于所有现有模型,同时在一次性生成和分类任务上实现强大性能。
Jul, 2018
本文提出了基于Einsum Networks的概率电路模型实现,通过简化Expectation-Maximization算法的实现以及在数据集上的应用来提高其可扩展性,并且作为一种忠实的生成图像模型。
Apr, 2020
使用剪枝和增长方法,可以大幅提高概率电路的学习性能和模型容量使用效率。
Nov, 2022
通过对深度生成模型知识的蒸馏,提出了新的P-VAE方法,该方法可以有效地提高准确性,并允许更广泛的应用,我们的结果表明,在几个基准图像数据集上,该方法比基准模型表现更好,特别是在ImageNet32数据集上,它取得了4.06位每维的结果,仅比变分扩散模型慢0.34位。
Feb, 2023
连续潜变量是许多生成模型的关键部分,我们通过引入概率积分电路(PICs)将概率电路(PCs)扩展为含有连续潜变量的符号计算图,实现了在简单情况下完全可计算的PICs,并且通过数值积分可用大型PCs对PICs进行良好逼近,从而在几个分布估计基准测试中系统地优于常用的通过期望最大化或SGD学习的PCs。
Oct, 2023
在可计算的概率生成建模领域中,我们提出了一项综合调查,重点关注概率电路(Probabilistic Circuits)。我们对表现力和可计算性之间的固有权衡提供了统一的观点,并突出了构建具有表现力和高效性的概率电路的设计原则和算法扩展,同时提供了一个领域分类。我们还讨论了最近通过融合深度神经模型的概念来构建深层和混合概率电路的努力,并概述了可能指导未来研究的挑战和开放问题。
Feb, 2024
提出基于GPU的通用实现设计PyJuice改进了现有Probabilistic Circuits的系统,训练大规模Probabilistic Circuits时速度快1-2个数量级,占用GPU内存较少2-5倍。
Jun, 2024
通过使用张量化电路架构和神经功能共享技术,本文提出了一种方法来构建任意变量分解的有向无环图状的概率积分电路,并展示了基于数值积分的概率积分电路在训练过程中的优越性。