May, 2018

混合模型中基于变分贝叶斯推断的参数估计和模型选择的一致性

PDF
TL;DR本篇论文研究、应用和优化混合模型和变化推理等技术对贝叶斯统计学、计算生物学和自然语言处理等多个领域的贡献，并研究证明了可变组成元素数量的情况下，情形近似的集中性，以及证明了这种多次证明技术确实是有效的。
mixture modelsvariational inferenceposteriorsmodel selectionoracle inequalities
发现论文，激发创造
  • 提升变分推断：优化视角

    本文研究了基于 boosting 的变分推断算法在优化视角下的收敛性质及其与经典 Frank-Wolfe 算法之间的联系，提出了收敛的充分条件，明确了算法的收敛速率和简化方法，并在概率模型和理论特性之间架起了桥梁。

    Aug, 2017

  • 变分推理，高斯混合模型，贝叶斯机器学习

    通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

    Jun, 2024

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • 温和后验分布及其变分逼近的集中性

    本文提出了一种通用方法来证明分数后验变分近似的集中性，应用于矩阵补全和高斯 VB 两个例子，弥补了变分贝叶斯方法在理论方面的不足。

    Jun, 2017

  • 离散选择大规模模型的变分推断

    本文介绍了利用变分方法进行离散选择模型贝叶斯推断的过程，并且在大规模数据集上，相比马尔可夫蒙特卡罗方法，可以在更小的计算成本下达到相当的精度。

    Dec, 2007

  • 变分推断的进展

    本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

    Nov, 2017

  • 变分贝叶斯方法的频率派一致性

    本文证明了变分贝叶斯法在频率学意义下是稳健的，它可以通过极小化 KL 散度来估计后验分布，并且其对应的参数的变分期望是一致的和渐近正态的。此理论应用于贝叶斯混合模型、Bayesian 广义线性混合模型和贝叶斯随机块模型，并通过模拟研究进行了验证。

    May, 2017

  • 变分预测

    本文提出了一种名为可变预测的方法，该方法可通过使用可变约束直接学习预测分布的可变近似，避免了后验边缘化的计算成本，并在一个玩具实例上演示了该方法。

    Jul, 2023

  • 提升变分推断

    提出了一种新的算法 Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

    Nov, 2016

  • 随机变分推断

    本研究开发了基于随机变分推断的可伸缩算法，用于逼近后验概率分布，并且针对一类大规模的概率模型进行了技术开发；对两个概率主题模型进行了演示并应用于大量文献数据的分析，其中包括自然杂志、《纽约时报》和维基百科，结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断，并且表明贝叶斯非参数主题模型优于参数主题模型；因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。

    Jun, 2012