以概率积分电路形式扩展连续潜变量模型
本文提出了一种混合模型方法,将连续潜在空间的概率模型与可计算的概率电路相结合,用于密度估计,通过实验证明这种方法在许多标准密度估计基准测试中超越了以往的可计算模型。
Sep, 2022
通过潜变量精炼机制在深度生成模型和Probabilistic Circuits之间建立联系,提高了PCs在大型和高维现实世界数据集上的性能表现,使其在图像建模中达到了与VARIATIONAL AUTOENCODERS和FLOW-BASED MODELS相当的竞争力,为可处理的生成建模开辟了新的途径。
Oct, 2022
通过对深度生成模型知识的蒸馏,提出了新的P-VAE方法,该方法可以有效地提高准确性,并允许更广泛的应用,我们的结果表明,在几个基准图像数据集上,该方法比基准模型表现更好,特别是在ImageNet32数据集上,它取得了4.06位每维的结果,仅比变分扩散模型慢0.34位。
Feb, 2023
通过引入转换作为一种解决方法,本研究探讨了概率电路的预测局限性,并展示了其在机器人场景中的局限性。我们提出独立成分分析作为保持概率电路独立性特性的有效工具,扩展了无模型确定性电路的联合概率树方法,实验证明我们的方法在七个基准数据集以及真实机器人数据上使用更少的参数能够实现更高的似然度,并讨论了如何将转换集成到基于树的学习例程中。最后,我们认为使用转换后的分位参数化分布进行准确推断不可行,但是我们的方法可以进行高效的采样和近似推断。
Oct, 2023
连续潜变量是许多生成模型的关键部分,我们通过引入概率积分电路(PICs)将概率电路(PCs)扩展为含有连续潜变量的符号计算图,实现了在简单情况下完全可计算的PICs,并且通过数值积分可用大型PCs对PICs进行良好逼近,从而在几个分布估计基准测试中系统地优于常用的通过期望最大化或SGD学习的PCs。
Oct, 2023
在可计算的概率生成建模领域中,我们提出了一项综合调查,重点关注概率电路(Probabilistic Circuits)。我们对表现力和可计算性之间的固有权衡提供了统一的观点,并突出了构建具有表现力和高效性的概率电路的设计原则和算法扩展,同时提供了一个领域分类。我们还讨论了最近通过融合深度神经模型的概念来构建深层和混合概率电路的努力,并概述了可能指导未来研究的挑战和开放问题。
Feb, 2024
提出基于GPU的通用实现设计PyJuice改进了现有Probabilistic Circuits的系统,训练大规模Probabilistic Circuits时速度快1-2个数量级,占用GPU内存较少2-5倍。
Jun, 2024
本研究解决了概率机器学习中设计高效推理的生成模型的挑战,提出了一种名为平方和电路的新型概率电路。这种电路在表达能力上能够显著超越传统的单调电路,并开发了一种表达能力层次结构,能够清晰地区分和统一不同的可处理模型类,最终通过实证分析展示了平方和电路在分布估计中的有效性。
Aug, 2024
本研究解决了电路表示与张量分解之间的关系这一具体问题,消除了这两个看似无关领域之间的认知隔阂。论文提出了一个模块化的“乐高积木”方法,以系统构建和探索多种电路和张量分解模型,显著提升了新模型的构建和优化能力,并在实证评估中展示了其有效性。
Sep, 2024