提出了一种可扩展的基于 Polya-Gamma 数据增强和诱导点的随机变分方法,通过自然梯度得到闭合式更新以实现高效优化,对真实世界数据集进行了评估并展示了其具有与最先进技术竞争的预测性能,可以比同类算法快两个数量级。
Feb, 2018
本文提出了一种新的数据增强策略,基于多项式 Gamma 分布,用于贝叶斯模型中的后验推断。经过实验证明,该方法在回归模型中表现优异,且具有简单、高效等优点。
May, 2012
本文研究了使用梯度的 log posterior 方法来控制梯度估计方差的问题,并应用到伽马分布潜在变量中,以实现稀疏性和非负性适用的模型的黑盒变分推断。该方法在网络数据的伽马过程模型和一种新型的稀疏因子分析中的应用效果均优于传统采样算法和对变换后变量使用高斯变分分布的方法。
Sep, 2015
本文通过变分逼近 Gibbs posterior 的优化分布,从而实现和原始 PAC-Bayesian 程序同样的收敛速度,以替代通常过慢的 Markov chain Monte Carlo 方法,在多个学习任务中(分类、排名、矩阵完成)取得了良好结果。
Jun, 2015
本文提出了利用 Hamiltonian Monte Carlo 方法的广义运动函数来改进随机梯度马尔可夫蒙特卡罗采样的效率,并讨论了克服这种泛化所引入的实际问题的技术。实验证明,该方法在探索复杂的多峰后验分布方面表现优秀。
Jun, 2017
该研究提出了一种高效的算法,利用截断样本可以无限精确地估计多元正态分布的参数,前提是拥有样本集的访问权,并且该样本集存在具有非微不足道的测度。
Sep, 2018
提出了一种高度有效的算法,该算法能够学习近似于分段多项式密度函数的单变量概率分布,并应用于密度估计问题,涉及混合对数凹分布、混合 $t$ 峰态分布、混合单峰风险率分布、混合二项式泊松分布、混合高斯分布和混合 $k$ 单调密度等问题。
May, 2013
在满足差分隐私的约束下,研究了估计混合高斯模型问题。通过使用新的框架,证明了高斯模型类的混合模型是可私密学习的,得到了估计混合高斯模型所需的样本数量的有界性,且不对 GMMs 作出任何结构性假设。
Sep, 2023
提出一种无需可分离性假设就能准确学习两个单维高斯混合模型的算法,其样本复杂度优于现有算法,能够有效地处理假设选择的问题。
Dec, 2013
研究使用 SVI 在稀疏潜在因子模型(尤其是 BPFA)中的性能,发现使用 Gibbs 采样维护特定后验依赖关系非常有效,但在 BPFA 中不同的后验依赖关系与 LDA 不同,并且模拟内局部变量依赖性的近似方法表现最佳。