Oct, 2023

基于平方的减法混合模型: 表征和学习

HTML
PDF
TL;DR混合模型通过减去概率质量或密度可以有效地减少建模复杂分布所需的组件数量，并在保证编码非负函数的同时学习这种减法混合技术。我们在概率电路的框架中调查了如何学习和推断深度减法混合模型，并通过将它们平方来实现。理论上验证了允许减法操作的平方电路类可以比传统的加法混合模型更具指数级表达能力；并在一系列实际分布估计任务上通过实验证明了这种增强的表达能力。
发现论文，激发创造
  • 使用谱分解学习离散积分分布混合

    提出了一种多项式时间/样本复杂度方法来学习离散域上的$r$个离散乘积分布的混合，利用张量分解和矩阵完成方法降低难度，该方法在统计上是一致的，并提供了有限的样本保证。

    Nov, 2013

  • 张量混合模型

    使用张量分析概念衍生出可追踪边缘的张量混合模型，其简单的卷积神经网络结构有助于设计和实现到央视并能有效地表现丰富的分布，以达到在缺失数据下的分类。

    Oct, 2016

  • 深度混合模型的一种 RAD 方法

    介绍了一种基于区域划分的流模型——Real and Discrete (RAD)，此模型具有连续和离散值潜在变量的能力， 在数据分布中同时建模连续和离散的结构。

    Mar, 2019

  • 学习平滑乘积分布混合模型: 可识别性和算法

    本研究提出了一种基于正交低秩张量分解的非参数混合模型理论，并研究了利用该理论恢复混合组分分布的问题。

    Apr, 2019

  • 可处理概率模型的连续混合

    本文提出了一种混合模型方法，将连续潜在空间的概率模型与可计算的概率电路相结合，用于密度估计，通过实验证明这种方法在许多标准密度估计基准测试中超越了以往的可计算模型。

    Sep, 2022

  • 张量化流：一种变分推断工具

    本文提出了一种引入张量网络构造的参考分布的扩展归一化流模型，将其应用于困难的变分推断任务中，显示出优于单独使用流或张量网络的结果。

    May, 2023

  • 概率积分电路

    连续潜变量是许多生成模型的关键部分，我们通过引入概率积分电路（PICs）将概率电路（PCs）扩展为含有连续潜变量的符号计算图，实现了在简单情况下完全可计算的PICs，并且通过数值积分可用大型PCs对PICs进行良好逼近，从而在几个分布估计基准测试中系统地优于常用的通过期望最大化或SGD学习的PCs。

    Oct, 2023

  • 使用扩散模型学习高斯混合模型

    给出了一个新的学习高斯混合模型的算法，其目标是通过扩散模型中的得分函数以及多项式回归来高效学习混合高斯分布，对于具有最小权重假设的情况下，计算出来的误差和时间复杂度具有准多项式级别的优势，并扩展到具有支持在常数半径范围内的多个球的混合高斯的情况。

    Apr, 2024

  • 黑盒变分推断中的高效混合学习

    通过引入Multiple Importance Sampling Variational Autoencoder（MISVAE）和构建两个新的black box variational inference（BBVI）下的ELBO估计器，本文提出了解决了混合变分分布中元素个数扩展问题的两个方法，并在多个实验中验证了其可行性。

    Jun, 2024

  • 平方和电路

    本研究解决了概率机器学习中设计高效推理的生成模型的挑战，提出了一种名为平方和电路的新型概率电路。这种电路在表达能力上能够显著超越传统的单调电路，并开发了一种表达能力层次结构，能够清晰地区分和统一不同的可处理模型类，最终通过实证分析展示了平方和电路在分布估计中的有效性。

    Aug, 2024