Jun, 2015

关于 Gibbs 后验变分逼近的性质

PDF
TL;DR本文通过变分逼近 Gibbs posterior 的优化分布，从而实现和原始 PAC-Bayesian 程序同样的收敛速度，以替代通常过慢的 Markov chain Monte Carlo 方法，在多个学习任务中（分类、排名、矩阵完成）取得了良好结果。
发现论文，激发创造
  • 温和后验分布及其变分逼近的集中性

    本文提出了一种通用方法来证明分数后验变分近似的集中性，应用于矩阵补全和高斯 VB 两个例子，弥补了变分贝叶斯方法在理论方面的不足。

    Jun, 2017

  • 利用 PAC-Bayesian 理论对变分自动编码器提供统计保证

    使用 PAC-Bayesian 理论为变分自动编码器（VAEs）提供统计保证，推导了后验分布的 PAC-Bayesian 界限，以及 VAE 的重构损失的泛化保证、输入分布与 VAE 生成模型定义的分布之间的距离的上界和 Wasserstein 距离的上界。

    Oct, 2023

  • 近似贝叶斯计算：非参数视角

    本文研究了基于自身与随机生成机理模型定义的技术：近似贝叶斯计算。我们推导了基于拒绝采样和线性调整的标准后验分布估计器的渐近偏差和方差，提出了一种基于二次调整的原始估计器，它的偏差所含的项比基于线性调整的估计器少。此外，我们建议使用摘要统计的变换，以使其更加均匀。通过不同的案例，本文表明了统计描述与贝叶斯计算方法的潜力。

    Apr, 2009

  • 变分预测

    本文提出了一种名为可变预测的方法，该方法可通过使用可变约束直接学习预测分布的可变近似，避免了后验边缘化的计算成本，并在一个玩具实例上演示了该方法。

    Jul, 2023

  • 用随机梯度变分贝叶斯近似伽马分布

    本文研究了使用梯度的 log posterior 方法来控制梯度估计方差的问题，并应用到伽马分布潜在变量中，以实现稀疏性和非负性适用的模型的黑盒变分推断。该方法在网络数据的伽马过程模型和一种新型的稀疏因子分析中的应用效果均优于传统采样算法和对变换后变量使用高斯变分分布的方法。

    Sep, 2015

  • PAC-Bayesian 学习初探

    本文对 PAC-Bayes 框架及其主要理论和算法发展进行了自包含的调查研究。

    Jan, 2019

  • 非参数变分推断

    本文提出了一种基于非参数核密度估计的变分逼近方法，通过优化内核位置和带宽参数最大化数据边际似然下限，不同于其他变分逼近方法，本方法能够捕捉后验分布的多个模式，并成功应用于各种图模型和非线性矩阵分解模型中，预测性能优于更专业化的变分方法和基于样本的逼近方法。

    Jun, 2012

  • 变分贝叶斯推断潜变量模型的参数和结构

    本文提出了变分贝叶斯 (Variational Bayes) 框架，通过解决概率图模型中潜在变量及其结构计算的问题，避免了因参数而导致过拟合和子最优泛化表现的通常方法，同时证明了该算法能成功应用于无监督聚类、盲源分离等模型。

    Jan, 2013

  • 变分贝叶斯方法的频率派一致性

    本文证明了变分贝叶斯法在频率学意义下是稳健的，它可以通过极小化 KL 散度来估计后验分布，并且其对应的参数的变分期望是一致的和渐近正态的。此理论应用于贝叶斯混合模型、Bayesian 广义线性混合模型和贝叶斯随机块模型，并通过模拟研究进行了验证。

    May, 2017

  • 用哈密尔顿蒙特卡洛估计最优的 PAC-Bayes 界限

    该论文通过对 MNIST 数据集进行实验，研究了 PAC-Bayes 参数约束为分解高斯分布时在优化 PAC-Bayes 界限时可能损失的紧密度，结果表明在某些情况下存在 5-6% 的显著紧密度差距。

    Oct, 2023