Dec, 2017

变分贝叶斯统计最优性

PDF
TL;DR本文研究了使用变分贝叶斯方法进行参数估计的合理性问题，并提供了获得基于点估计的最优风险界的一般条件。这些条件涉及参数空间上距离度量的某些测试函数的存在以及对先验的最小假设。本文概述了验证这些条件的一般步骤，这对具有或没有潜变量的现有贝叶斯模型广泛适用。同时，具体应用于潜在狄利克雷分配和高斯混合模型的过程也作了讨论。
发现论文，激发创造
  • 一种基于变分贝叶斯方法的高维线性回归中低维参数去偏推断

    研究中提出了一种可扩展的变分贝叶斯方法，用于对稀疏线性回归中高维参数的一个单一或低维子集进行统计推断，通过对干扰坐标进行均场近似和谨慎地对目标的条件分布建模，只需要预处理步骤，保留了均场变分贝叶斯的计算优势，同时确保了对目标参数以及不确定性量化的准确可靠推断，该算法在数值性能方面与现有方法相媲美，并且在估计和不确定性量化方面建立了伯恩斯坦 - 冯・米塞斯定理的相关理论保证。

    Jun, 2024

  • 变分贝叶斯方法的频率派一致性

    本文证明了变分贝叶斯法在频率学意义下是稳健的，它可以通过极小化 KL 散度来估计后验分布，并且其对应的参数的变分期望是一致的和渐近正态的。此理论应用于贝叶斯混合模型、Bayesian 广义线性混合模型和贝叶斯随机块模型，并通过模拟研究进行了验证。

    May, 2017

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • 变分贝叶斯推断潜变量模型的参数和结构

    本文提出了变分贝叶斯 (Variational Bayes) 框架，通过解决概率图模型中潜在变量及其结构计算的问题，避免了因参数而导致过拟合和子最优泛化表现的通常方法，同时证明了该算法能成功应用于无监督聚类、盲源分离等模型。

    Jan, 2013

  • 混合模型中基于变分贝叶斯推断的参数估计和模型选择的一致性

    本篇论文研究、应用和优化混合模型和变化推理等技术对贝叶斯统计学、计算生物学和自然语言处理等多个领域的贡献，并研究证明了可变组成元素数量的情况下，情形近似的集中性，以及证明了这种多次证明技术确实是有效的。

    May, 2018

  • 简化变分贝叶斯

    本文介绍了一种简化变分贝叶斯方法的步骤，通过显式寻找关于已知分布期望的线性表达形式，从而直观简化先验形式的识别，实现更加便捷、快速、简短和通用的更新方法。

    Apr, 2023

  • 随机搜索变分贝叶斯推断

    本文介绍了一种基于随机优化的替代算法，可以直接优化变分下界，通过控制变量来减少随机梯度的方差，其在非共轭模型：逻辑回归和 HDP 近似中的效果得到了证明。

    Jun, 2012

  • 自动编码变分贝叶斯

    本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

    Dec, 2013

  • 关于 Gibbs 后验变分逼近的性质

    本文通过变分逼近 Gibbs posterior 的优化分布，从而实现和原始 PAC-Bayesian 程序同样的收敛速度，以替代通常过慢的 Markov chain Monte Carlo 方法，在多个学习任务中（分类、排名、矩阵完成）取得了良好结果。

    Jun, 2015

  • 结构化随机变分推断

    文章展示了如何通过松弛均场独立近似来减少对局部最优解和超参数的敏感性，使得全局参数和局部隐藏变量之间的任意依赖关系得以被考虑，从而提高参数估计的精度。

    Apr, 2014