辅助形式下基于快速梯度的连续潜变量模型推断
本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法,可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法,特别是在大型数据集下具有较好的表现,且已经在实验上得到了验证。
Dec, 2013
本论文研究了层次贝叶斯网络和具有随机隐藏单元的神经网络,表明通过在潜在变量的中心化和可微非中心化参数化之间切换,这两种类型的模型可以相互转换,并且给出了各种参数化的优缺点及推断方法。在非中心形式中,可以使用简单的蒙特卡洛估计器来学习参数。理论结果得到了实验证实。
Feb, 2014
本文提出一种新的分段常数分布作为一种复杂的潜在因素分布,以更好地建模实际数据集中的多模式潜在因素,实验结果表明,我们的方法在自然语言处理任务中实现了显著的提高。
Dec, 2016
通过引入辅助变量(auxiliary variables),我们扩展了深度生成模型,用于提高变分近似方法,这让变分分布更有表现力,具有更快的收敛速度和更好的结果,从而实现了半监督学习的最先进性能,适用于 MNIST、SVHN 和 NORB 数据集。
Feb, 2016
本文研究了使用梯度的 log posterior 方法来控制梯度估计方差的问题,并应用到伽马分布潜在变量中,以实现稀疏性和非负性适用的模型的黑盒变分推断。该方法在网络数据的伽马过程模型和一种新型的稀疏因子分析中的应用效果均优于传统采样算法和对变换后变量使用高斯变分分布的方法。
Sep, 2015
我们提出了一种快速的非迭代近似推理方法,通过前馈网络实现从变分后验进行有效精确抽样,该方法通过应用几种直观的模型独立方差减少技术,优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法,并取得了最新成果。
Jan, 2014
本文提出了一个有潜在变量的结构化预测的统一框架,包括隐藏的条件随机场和潜在的结构支持向量机。通过对偶性描述了这种普遍公式的局部熵逼近,在图像分割和从单个图像中理解三维室内场景的任务中表现出不错的效果,比潜在结构支持向量机和隐藏条件随机场方法要好。
Jun, 2012