Feb, 2023

从深度生成模型到可处理概率电路的精馏过程理解

HTML
PDF
TL;DR通过对深度生成模型知识的蒸馏，提出了新的P-VAE方法，该方法可以有效地提高准确性，并允许更广泛的应用，我们的结果表明，在几个基准图像数据集上，该方法比基准模型表现更好，特别是在ImageNet32数据集上，它取得了4.06位每维的结果，仅比变分扩散模型慢0.34位。
发现论文，激发创造
  • Einsum Networks: 可计算概率电路的快速可扩展学习

    本文提出了基于Einsum Networks的概率电路模型实现，通过简化Expectation-Maximization算法的实现以及在数据集上的应用来提高其可扩展性，并且作为一种忠实的生成图像模型。

    Apr, 2020

  • 大规模生成无数据蒸馏

    提出了一种新的方法，通过利用训练教师网络内在归一化层的统计信息来训练生成图像模型，从而在没有训练数据的情况下实现知识迁移、模型压缩和半监督学习，该方法在 CIFAR-10 和CIFAR-100 数据集上表现出色，并能够将其扩展到 ImageNet 数据集。

    Dec, 2020

  • 使用潜在变量蒸馏扩展概率电路

    通过潜变量精炼机制在深度生成模型和Probabilistic Circuits之间建立联系，提高了PCs在大型和高维现实世界数据集上的性能表现，使其在图像建模中达到了与VARIATIONAL AUTOENCODERS和FLOW-BASED MODELS相当的竞争力，为可处理的生成建模开辟了新的途径。

    Oct, 2022

  • 通过修剪和生长来实现稀疏概率电路

    使用剪枝和增长方法，可以大幅提高概率电路的学习性能和模型容量使用效率。

    Nov, 2022

  • 构建具有表达力且易于处理的概率生成模型：综述

    在可计算的概率生成建模领域中，我们提出了一项综合调查，重点关注概率电路（Probabilistic Circuits）。我们对表现力和可计算性之间的固有权衡提供了统一的观点，并突出了构建具有表现力和高效性的概率电路的设计原则和算法扩展，同时提供了一个领域分类。我们还讨论了最近通过融合深度神经模型的概念来构建深层和混合概率电路的努力，并概述了可能指导未来研究的挑战和开放问题。

    Feb, 2024

  • 概率神经电路

    概率电路（PC）在最近几年中越来越受关注，作为一个灵活的框架，用于讨论支持可处理查询且足够表达复杂概率分布的概率模型。然而，可处理性是以牺牲表达力为代价的：PC相较于神经网络来说表达能力较弱。在本文中，我们引入了概率神经电路（PNC），它在可处理性和表达能力方面在PC和神经网络之间取得平衡。从理论上讲，我们证明了PNC可以被解释为贝叶斯网络的深度混合。实验证明，PNC是强大的函数逼近器。

    Mar, 2024

  • 可扩展可计算概率电路：系统视角

    提出基于GPU的通用实现设计PyJuice改进了现有Probabilistic Circuits的系统，训练大规模Probabilistic Circuits时速度快1-2个数量级，占用GPU内存较少2-5倍。

    Jun, 2024

  • 以概率积分电路形式扩展连续潜变量模型

    通过使用张量化电路架构和神经功能共享技术，本文提出了一种方法来构建任意变量分解的有向无环图状的概率积分电路，并展示了基于数值积分的概率积分电路在训练过程中的优越性。

    Jun, 2024

  • 平方和电路

    本研究解决了概率机器学习中设计高效推理的生成模型的挑战，提出了一种名为平方和电路的新型概率电路。这种电路在表达能力上能够显著超越传统的单调电路，并开发了一种表达能力层次结构，能够清晰地区分和统一不同的可处理模型类，最终通过实证分析展示了平方和电路在分布估计中的有效性。

    Aug, 2024

  • 数据高效生成用于数据集蒸馏

    本研究解决了深度学习在图像任务中面临的数据存储和计算成本过高的问题。通过训练一个类条件潜在扩散模型，生成可读的合成图像，显著提升了数据集性能并减少了蒸馏时间。该方法在ECCV 2024的首个数据集蒸馏挑战中，CIFAR100和TinyImageNet数据集上取得了第一名的佳绩。

    Sep, 2024