广义线性模型的超 - g 先验 | BriefGPT

Aug, 2010

广义线性模型的超 - g 先验

Hyper-g Priors for Generalized Linear Models

Daniel Sabanés Bové, Leonhard Held

TL;DR本文针对广义线性模型的超参数，对其进行了推广，在灵活性上做了优化。任何连续的适当的超先验 f（g）都可以使用，引出了大量的超 - g 先验。本文提出了联合 Laplace 近似方法，可以快速而准确地推理模型的后验分布，同时提出了一种高效的且无需调参的 Metropolis-Hastings 采样算法。通过使用 Pima Indians 糖尿病数据集，说明了变量选择和自动协变量转换的方法。

Abstract

We develop an extension of the classical Zellner's g-prior to generalized linear models. The prior on the hyperparameter g is handled in a flexible way, so that any continuous proper hyperprior f(g) can be used, giving rise to a large class of hyper-g priors. Connections with the liter

generalized linear models hyperparameter prior distribution marginal likelihood metropolis-hastings sampler

发现论文，激发创造

使用 Ridge 参数的 g-prior 分布变量选择研究

本文介绍了在贝叶斯随机搜索变量选择框架下，如何通过引入岭参数的灵活简单适配 g-prior 的方法，选择变量及超参数，并与贝叶斯 Lasso 进行了比较。

Feb, 2011

高维回归中的高斯混合尺度先验快速抽样

文中提出了一种高效的从结构化多元高斯分布中采样的方法，该分布经常作为分配条件高斯先验的模型参数的条件后验概率。所提出的算法仅需要矩阵操作（如矩阵乘法和线性系统解），并展示了与现有算法相比，算法的计算复杂度随着维度的增加而线性增长。该算法应该广泛适用于在高维模型参数上使用高斯比例混合先验的设置中。通过在具有马蹄先验的高维回归设置中进行后验采样，我们提供了一个说明。

Jun, 2015

优化收缩的 Dirichlet-Laplace 先验

通过引入一类新的 Dirichlet-Laplace 先验，文章探讨在 Bayesian 范例下连续收缩先验的特点及性质，并对使用该先验进行的后验计算进行了评估。

Jan, 2014

高斯过程全贝叶斯回归的近似推理

本文介绍了高斯过程模型中两种推断超参数后验分布的方法，一种是哈密顿蒙特卡罗（HMC）求解采样近似，另一种是变分推断（VI），其中超参数后验分布被近似为一个因子化的高斯分布或全秩高斯分布，该文分析了完全贝叶斯高斯过程回归在多个基准数据集上的预测性能。

Dec, 2019

高斯图模型的条件矩阵流

该研究提出了一种变分推断方法，通过定义于对称正定矩阵空间上的矩阵变分流来逼近高斯图模型的后验分布，对任意正则化参数 λ 和任意 l_p (伪 -) 范数，包括非凸的 l1 伪范数进行联合训练，从而获得一个模型，并可以恢复频率主义的解路径。

Jun, 2023

广义拉普拉斯近似

Bayesian 深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将 Bayesian 不一致性归因于模型规范不当和先验不足，提出了广义 Laplace 近似方法来获得高质量的后验分布。

May, 2024

广义 Beta 混合高斯

提出了一种使用广义贝塔分布的新型正态尺度混合类，并通过该类介绍了新的层次结构，从而发展了一类变分贝叶斯近似，以更高效地应对海量数据集。

Jul, 2011

估计超参数的高斯过程回归的收敛性及在贝叶斯逆问题中的应用

研究高斯过程回归中的收敛性，着重于层次高斯过程回归，在其中先验未知的高斯过程仿真器的均值和协方差结构中出现的超参数会从数据中学习，并与后验均值和协方差一起计算。提供收敛性分析，并通过连续函数的任何情况下的收敛性说明从数据中学习超参数不会影响高斯过程回归的收敛性，并且在广泛的场景中都得到保证。主要目标是利用高斯过程回归近似贝叶斯反问题的数据似然性，提供了在此背景下引入的误差界限。

Aug, 2019

算法线性受限高斯过程

本文提出了一种基于 Gr"obner bases 算法构建满足线性微分方程的多输出高斯过程先验分布的方法，并将其应用于物理、地球数学和控制等多个领域，将随机学习和计算机代数学相结合，实现了噪声观测和精密计算的结合。

Jan, 2018

广义后验的渐近正态性、集中性和覆盖性

本文提出了广义后验具有集中性，渐进正态性 (Bernstein-von Mises),A Laplace 近似正确，以及渐近正确的频率覆盖率的充分条件，并将其应用于广义似然的广义后验中，包括一般的伪似然，高斯马尔科夫随机场伪似然，完全观察的 Boltzmann 机器伪似然，Ising 模型伪似然，Cox 比例风险偏似然，以及基于中值的位置鲁棒推断的似然。此外，我们展示了如何使用我们的结果轻松建立指数族和广义线性模型的标准后验的渐进性质。

Jul, 2019