Oct, 2019

安全贝叶斯广义线性回归

PDF
TL;DR该研究探讨了广义贝叶斯推断在错配模型下的应用，包括广义线性模型，通过 MCMC 抽样来实现广义贝叶斯 Lasso 和 Logistic 回归，并在模拟和真实数据中展示了广义贝叶斯在表现上超过标准贝叶斯的优点。
generalized bayesian inferencegeneralized linear modelsmcmc samplersbayesian lassologistic regression
发现论文，激发创造
  • 贝叶斯推断在错配线性模型中的不一致性及修正方案

    在简单的线性回归问题中，我们证明贝叶斯推断在模型平均 / 选择和贝叶斯岭回归设置中可能存在一致性问题。同时，我们利用学习率来修正这个问题，并提出了 SafeBayes 方法，从数据中学习学习率，其结果非常令人鼓舞。

    Dec, 2014

  • 通过交换计算获得不确定性加速广义线性模型

    我们介绍了一系列迭代方法，用于计算大规模 Bayesian 广义线性模型（GLMs）中的近似误差，并通过并行计算、信息压缩来提高训练速度并减少计算量。

    Oct, 2023

  • 使用低秩数据逼近的高维贝叶斯推断 LR-GLM

    LR-GLM method based on low-rank approximation with Bayesian inference is proposed to improve efficiency of generalized linear models with large number of covariates, and the experiment results validate the effectiveness of LR-GLM on large-scale datasets.

    May, 2019

  • 高维逻辑回归现代极大似然理论

    本研究证明在逻辑回归模型中，当样本量和自变量个数的比例变大时，MLE 的偏差和方差均远大于经典预测所得，常用的 LRT 也未能满足卡方分布，因此现有的软件包所得出的推论是不可靠的。

    Mar, 2018

  • PASS-GLM: 可扩展的贝叶斯广义线性模型推断的多项式近似充分统计量

    该论文提出了一项新的基于构造多项式近似充分统计量的广义线性模型 (PASS-GLM) 方法，这种方法在估计中提供了理论保证，并在逻辑回归上进行了验证，表现与随机梯度下降，MCMC 和拉普拉斯近似相当，可以用于处理庞大的数据集。

    Sep, 2017

  • 广义广义线性模型：凸估计和在线界限

    提出一个计算新框架以估算广义广义线性模型 (GGLM) 中的参数，该模型扩展了流行的广义线性模型 (GLM) 以解释时空数据中的观测依赖性。该方法使用单调算子为基础的变分不等式方法来克服参数估计中的非凸性并提供参数恢复的保证，适用于 GLM 和 GGLM，重点关注时空模型，并使用数值模拟和真实数据实例演示算法的性能。

    Apr, 2023

  • Kullback-Leibler 聚合和错误指定的广义线性模型

    本文介绍了在确定性设计下，回归设置中的简单聚合问题，并将其从高斯分布扩展到指数族分布。通过约束和 / 或罚分最大化方法解决此问题并导出了能够在期望和高概率情况下保持的谐振不等式。最后，证明了所有边界在最小化意义上都是最优的。

    Nov, 2009

  • 推广线性模型统一贝叶斯推断框架

    本文提出了一种统一的贝叶斯推理框架，用于解决广义线性模型问题，并证明了该框架的有效性和等价性，同时也引出了基于标准线性模型的一些新算法扩展。该框架在一位信号采样处理中有着显著的表现，说明了该方法的优越性。

    Dec, 2017

  • 高维广义线性模型中的最优误差和相变

    本论文研究高维机器学习中常遇到的广义线性模型，利用互信息推导贝叶斯最优估计和广义错误率，并且严谨论证了存在多个可学习区域，这对于算法开发和模型性能评估具有挑战性。

    Aug, 2017

  • 高维广义线性模型与套索法

    研究了具有 Lipschitz 损失函数的高维广义线性模型，并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数，在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。

    Apr, 2008