Aug, 2007

一种层次模型参数化的通用框架

PDF
TL;DR本文介绍使用中心化和非中心化方法对广泛类别的分层模型进行参数化的方法，旨在构建有效的 MCMC 算法以探索后验分布。介绍中心化和非中心化何时效果好，并介绍了使用中心化和非中心化参数化的 Gibbs 采样器的收敛时间复杂度理论。同时，还提供了构造非中心化参数化的通用方案，包括称为状态空间扩展技术的辅助变量技术。还介绍了部分非中心化方法，并演示了它们在构建稳健的 Gibbs 采样器算法中的应用，其收敛性不会过于敏感于数据。
centering methodologynoncentering methodologyparametrizationmcmc algorithmsgibbs samplers
发现论文，激发创造
  • 基于梯度的高效推理：将贝叶斯网与神经网之间进行转换

    本论文研究了层次贝叶斯网络和具有随机隐藏单元的神经网络，表明通过在潜在变量的中心化和可微非中心化参数化之间切换，这两种类型的模型可以相互转换，并且给出了各种参数化的优缺点及推断方法。在非中心形式中，可以使用简单的蒙特卡洛估计器来学习参数。理论结果得到了实验证实。

    Feb, 2014

  • 基于贝叶斯非参数的 k-means 聚类新算法再探

    本文从贝叶斯非参数的角度出发，重新审视了 k-means 聚类算法。通过分析 Dirichlet 过程混合物的 Gibbs 抽样算法，我们发现这个算法在极限下接近于硬聚类算法，可以优雅且单调地最小化一个类似 k-means 的聚类目标，包括对聚类数的惩罚。我们将这个方法推广到了多个数据集的聚类情况，并讨论了进一步的扩展，包括门槛特征向量的光谱松弛和在图中不需要固定聚类数的归一化割图聚类算法。

    Nov, 2011

  • 使用本地增强边界进行层次模型的变分推断

    本文提出了一种基于收紧方法的层次模型变分下界的变分方法，该方法可以自然地使用子采样以获得无偏梯度，并在较低维度空间中独立地应用紧缩较低下界的方法，以获得比相关基线更好的结果和更准确的后验近似。

    Mar, 2022

  • 标准随机测度混合模型的 MCMC 方法

    本文提出了一种基于 Markov chain Monte Carlo 方法的贝叶斯非参数混合模型的后验抽样方法，该方法采用归一化随机测度先验，并利用一些最近的后验特征进行修改，提高了 Neal 的 Dirichlet 过程混合模型 8 号算法的效率，并为其构建了一种相关算法。在应用实例方面，我们考虑了具有潜在归一化广义 Gamma 过程先验的混合模型，并描述了比较性的模拟结果证明了所提方法的有效性。

    Oct, 2013

  • 自适应 MCMC 框架针对多峰分布的目标

    提出了一种基于蒙特卡罗方法的采样技术，使用辅助变量设计了自适应方案来实现多模态分布下的本地移动和跳跃移动，并证明了算法的遍历性。

    Dec, 2018

  • 基于耦合的 Gibbs 采样收敛性评估：高维贝叶斯收缩先验回归

    本文考虑在连续收缩先验下，使用马尔可夫链蒙特卡罗算法进行贝叶斯高维回归分析。文章提出的耦合技术能够实现实用的诊断收敛性，适用于高维回归分析。实验证明，耦合技术在具有一定自由度的半 t 分布先验下能够大幅度减少算法迭代次数，提高计算效率。

    Dec, 2020

  • 贝叶斯非参数模型教程

    介绍贝叶斯非参数方法，这是一种避免模型选择问题的方法，是一个高级入门，包含多个应用示例。

    Jun, 2011

  • 基于贝叶斯非参数多层聚类与组级上下文

    本文提出了一种贝叶斯非参数多层聚类框架，利用群组水平上下文信息同时发现群组内容的低维结构和将群组分成簇，实验结果表明，该模型在文本和图像领域中利用上下文信息具有优势。

    Jan, 2014

  • 基于树形导引的标准化随机度量混合模型 MCMC 推断

    本文提出了一种混合推理算法，结合了 MCMC 和基于树的推理方法（IBHC）的优点，用于归一化随机测量（NRM）混合模型，该算法通过树引导 MCMC 进行有效提议，从而保证了收敛性和快速收敛。

    Nov, 2015

  • 使用后验自助法从多模式后验中进行可伸缩的非参数采样

    本文提出了一种可扩展的贝叶斯非参数学习方法，通过优化适当随机化的目标函数实现后验抽样，一个未知数据分布的狄利克雷过程先验考虑到了模型建立错误，并允许具有尴尬并行事后自举算法的非参数后验分布的独立和精确的样本生成，从而特别擅长从多峰后验分布中抽样。

    Feb, 2019