Mar, 2022

使用草图和 Coresets 的 $p$- 广义 Probit 回归和可扩展的最大似然估计

PDF
TL;DR研究了 $p$-generalized probit 回归模型，这是一个用于二元响应的广义线性模型。提出了一种 $p$- 广义正态分布替换标准 probit 模型的链接函数，其主要应用是考虑到该分布对数据拟合更加灵活，最大似然估计方法可以通过组合技术在大数据中高效逼近，得到称为 coreset 的数据摘要。
$p$-generalized probit regressiongeneralized linear model$p$-generalized normal distributionmaximum likelihood estimatorcoreset
发现论文，激发创造
  • 高维逻辑回归现代极大似然理论

    本研究证明在逻辑回归模型中，当样本量和自变量个数的比例变大时，MLE 的偏差和方差均远大于经典预测所得，常用的 LRT 也未能满足卡方分布，因此现有的软件包所得出的推论是不可靠的。

    Mar, 2018

  • Lp 回归的采样算法和核集

    该论文提出了一个有效的两阶段抽样算法来解决 Lp 回归问题，包括构建核心集合、采样等方法，并且在算法的证明过程中提出了两个值得研究的概念：条件良好的基和子空间保留采样。

    Jul, 2007

  • 逻辑回归估计的样本复杂度

    透过研究样本复杂度，我们发现逻辑回归模型的参数估计受到维数和逆温度的影响，其样本复杂度曲线在逆温度上具有两个临界点，明确地分割低、中、高温度区间。

    Jul, 2023

  • 高维二元线性分类问题的双重下降模型

    研究了 logistic regression 中特征子集 $p$ 在 $n$ 训练样本上训练线性分类器的模型，运用梯度下降 （GD）方法在逻辑损失上训练分类器。基于 GD 的隐式偏置，在高斯特征情况下揭示了相变现象，对最大似然（ML）解和最大边际（SVM）解的分类误差进行了锐利的表征，得到了分类误差曲线，并揭示了双峰现象。

    Nov, 2019

  • 学习参数人口的最大似然估计

    研究了在观测了 Bernoulli 试验结果的基础上，针对具有未知分布的参数，利用最大似然估计方法准确地估计总体分布，提出了一种在样本容量不大于总体个体个数的情况下，MLE 能达到统计最优和高效计算的方法。

    Feb, 2019

  • 安全贝叶斯广义线性回归

    该研究探讨了广义贝叶斯推断在错配模型下的应用，包括广义线性模型，通过 MCMC 抽样来实现广义贝叶斯 Lasso 和 Logistic 回归，并在模拟和真实数据中展示了广义贝叶斯在表现上超过标准贝叶斯的优点。

    Oct, 2019

  • Kullback-Leibler 聚合和错误指定的广义线性模型

    本文介绍了在确定性设计下，回归设置中的简单聚合问题，并将其从高斯分布扩展到指数族分布。通过约束和 / 或罚分最大化方法解决此问题并导出了能够在期望和高概率情况下保持的谐振不等式。最后，证明了所有边界在最小化意义上都是最优的。

    Nov, 2009

  • 多重 $\ell_p$ 回归的核心集

    通过构建核心集，我们实现了对多个响应的多元回归目标的近似，并得到了关于样本数量和子空间逼近的几乎最优的界限。

    Jun, 2024

  • 高维逻辑回归中最大似然估计存在的相变

    本文通过建立高维逻辑回归模型中最大似然估计 MLE 存在性的分界曲线，证明 MLE 的存在性具有 “相变” 的特性，当问题具有足够高的维数时 MLE 几乎不可能存在，曲线参数由回归系数未知序列的整体大小确定。

    Apr, 2018

  • 高维回归中的假设检验： 高斯随机设计模型下的渐近理论

    本文探讨了在高维情况下使用 Lasso 估计器进行线性回归分析中，单个回归系数的 p-value 计算问题，证明了随机设计矩阵的问题可通过解偏差的 Lasso 估计器获得计算解，最后通过统计物理中的 Replica heuristics，推导出普遍高斯设计的标准分布极限。

    Jan, 2013