NIPSSep, 2017

PASS-GLM: 可扩展的贝叶斯广义线性模型推断的多项式近似充分统计量

PDF
TL;DR该论文提出了一项新的基于构造多项式近似充分统计量的广义线性模型 (PASS-GLM) 方法，这种方法在估计中提供了理论保证，并在逻辑回归上进行了验证，表现与随机梯度下降，MCMC 和拉普拉斯近似相当，可以用于处理庞大的数据集。
generalized linear modelsbayesian methodssufficient statisticslogistic regressionuncertainty estimates
发现论文，激发创造
  • 通过交换计算获得不确定性加速广义线性模型

    我们介绍了一系列迭代方法，用于计算大规模 Bayesian 广义线性模型（GLMs）中的近似误差，并通过并行计算、信息压缩来提高训练速度并减少计算量。

    Oct, 2023

  • 使用低秩数据逼近的高维贝叶斯推断 LR-GLM

    LR-GLM method based on low-rank approximation with Bayesian inference is proposed to improve efficiency of generalized linear models with large number of covariates, and the experiment results validate the effectiveness of LR-GLM on large-scale datasets.

    May, 2019

  • 安全贝叶斯广义线性回归

    该研究探讨了广义贝叶斯推断在错配模型下的应用，包括广义线性模型，通过 MCMC 抽样来实现广义贝叶斯 Lasso 和 Logistic 回归，并在模拟和真实数据中展示了广义贝叶斯在表现上超过标准贝叶斯的优点。

    Oct, 2019

  • 鲁棒回归再探：加速与改进的估计速率

    本文主要介绍了在强污染模型下进行统计回归问题的快速算法，其中使用了鲁棒梯度下降框架，并提出了更快、更有效的算法来加速最优化过程。

    Jun, 2021

  • 推广线性模型统一贝叶斯推断框架

    本文提出了一种统一的贝叶斯推理框架，用于解决广义线性模型问题，并证明了该框架的有效性和等价性，同时也引出了基于标准线性模型的一些新算法扩展。该框架在一位信号采样处理中有着显著的表现，说明了该方法的优越性。

    Dec, 2017

  • 高维鲁棒 M 估计：通过近似消息传递得到渐近方差

    作者使用近似消息传递算法 (AMP) 来计算 M-estimator 的操作特性，在高维极限下分析 Lasso estimator 并研究正则化最小二乘问题中出现的额外的高斯噪音。

    Oct, 2013

  • 非线性回归模型的近似贝叶斯计算

    介绍了一种基于机器学习的方法，通过非线性条件异方差回归和改进的重要性采样方法估计后验概率密度，相较于现有方法在统计遗传学和排队模型等领域计算负担减轻了不少。

    Sep, 2008

  • 参数高斯过程回归器

    提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

    Oct, 2019

  • 使用 Polya-Gamma 潜变量进行逻辑回归模型的贝叶斯推断

    本文提出了一种新的数据增强策略，基于多项式 Gamma 分布，用于贝叶斯模型中的后验推断。经过实验证明，该方法在回归模型中表现优异，且具有简单、高效等优点。

    May, 2012

  • 基于线性混合模型的大规模数据集高效计算及其在遗传研究中的应用

    考虑到基因组关联研究，在许多预测变量已经在同一个个体中收集并且每个预测变量都是单独分析的情况下，我们引入一个标准的线性模型，并在其中引入一个额外的随机效应。本文的三个创新点是（1）线性和 log-odds 尺度之间的转换是准确的，特别适用于小效应大小的重要的遗传情况；(2) 一种极大似然算法，比以前发表的方法快一个数量级以上；和 (3) 计算边缘似然的有效方法，允许贝叶斯模型比较。该方法已成功应用于包括超过 20,000 个人和 500,000 个遗传变异的多发性硬化的大规模关联研究。

    Jul, 2012