本研究提出了一种称为 NPC-LV 的学习框架,它可以使用非监督学习中的生成模型来利用数据分布来构建压缩器,并结合少量标记数据进行分类,能够胜过监督方法和半监督学习方法,用于图像分类。
Jun, 2022
介绍了一种基于区域划分的流模型 ——Real and Discrete (RAD),此模型具有连续和离散值潜在变量的能力, 在数据分布中同时建模连续和离散的结构。
Mar, 2019
本文提出了一种深度学习框架,可用于建模复杂的高维密度,基于将数据转换为独立的潜在变量的因式分解分布,容易训练,适用于多种场景,且有良好的生成模型表现。
Oct, 2014
通过使用软阈值和双射软对数变换方法,本文提出了稳定训练 Real NVPs 并在高维情景下实现更准确的后验近似的方法。
Feb, 2024
本文提出一种新的自然梯度 VPNG,用于解决传统自然梯度在变分参数强烈相关的情况下不能修正相关性的问题,并在分类任务、图像生成模型和概率矩阵分解等方面进行了实证验证。
本文提出了一种采用拒绝抽样方法来舍弃具有低似然的变分后验采样的方法,并使用一种新的梯度估计器,以 MNIST 数据集为例,在估计边际对数似然时,相对于现有的基于单样本和多样本的方法,可以平均提高 3.71 个 nats 和 0.21 个 nats 的准确性。
Apr, 2018
本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法,可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法,特别是在大型数据集下具有较好的表现,且已经在实验上得到了验证。
Dec, 2013
本文提出了针对无向模型的黑盒学习和推理算法,通过使用变分逼近模型 log-likelihood 的上界优化算法,其中重要的是由灵活神经网络表达的 log-partition 参数化函数上界。我们的算法可加速采样,训练广泛类别的混合有向 / 无向模型,并在多个流行生成建模数据集上验证了其有效性。
Nov, 2017
我们提出了一种快速的非迭代近似推理方法,通过前馈网络实现从变分后验进行有效精确抽样,该方法通过应用几种直观的模型独立方差减少技术,优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法,并取得了最新成果。
Jan, 2014
本研究提出了一种新的方法,称为嵌套变分推断,用于学习嵌套重要性取样器中的建议,该方法通过在每个嵌套级别上最小化正向或反向 KL 散度。该方法适用于许多常用的重要性取样策略,并提供了一种学习中间密度的机制,该中间密度可以作为启发式来引导取样器。我们的实验将 NVI 应用于(a)使用学习的退火路径从多峰分布中采样(b)学习近似于隐藏马尔可夫模型中未来观测值的启发式以及(c)在分层深度生成模型中执行分摊推理。我们观察到,优化嵌套目标可以提高采样质量,表现为对数平均权重和有效样本大小。
Jun, 2021