ICLROct, 2019

岭回归：结构、交叉验证和草图

PDF
TL;DR本文研究岭回归的三个基本问题：估计器结构、正确使用交叉验证选择正则化参数以及如何在不损失过多精度的情况下加速计算。我们在一个统一的大数据线性模型下考虑了这三个问题。通过将岭回归精确表示为真实参数和噪声的协方差矩阵相关的线性组合，我们研究了 $K$- 折交叉验证选择正则化参数的偏差，并提出了一种简单的偏差校正方法。我们分析了原始和对偶草图在岭回归中的准确性，并以模拟和实证数据分析为例说明了我们的结果。
发现论文，激发创造
  • 岭回归随机设计分析

    本文针对随机设计条件下，普通最小二乘估计量和岭回归估计量进行了同时分析，并从协变量 / 响应分布的温和假设出发，提供了关于 “样外” 预测误差的尖锐结论。同时，本文揭示了估计协方差结构错误和建模错误的影响，这两种影响在固定设计条件下并不存在。而本文的主要结果证明是基于简单的分解引理与随机向量和矩阵的浓度不等式结合。

    Jun, 2011

  • 草图岭回归：优化视角、统计视角和模型平均

    本研究探讨了经典草稿和黑塞草稿用于解决矩阵 Ridge 回归问题的统计和优化影响，并发现模型平均可大大降低由于草稿造成的统计风险，从而迅速获得近乎最优的解决方案。

    Feb, 2017

  • 正则化数据拟合的更锐利界限

    研究针对线性回归、低秩逼近和规范相关分析的正规化变体的矩阵草图方法，主要关注能够保留规范问题目标函数值的草图技术，为 ridge regularization 在这些问题上展示了算法资源界限，其中统计维度总是小于秩，并随着规范化程度的增加而减少

    Nov, 2016

  • 贝叶斯超越交叉验证：通过最大化期望实现高效准确的岭回归

    提出了一种用于调整岭回归的正则化超参数 λ 的新方法，比留一法交叉验证 (LOOCV) 更快速计算，同时产生等效或更好的回归参数估计，尤其在稀疏协变量的情况下。

    Oct, 2023

  • 高斯图模型结构学习中交叉验证的不一致性

    通过理论分析和实证研究，我们揭示了交叉验证在高斯图模型中泛化有限，并通过与其他常用信息准则进行对比，揭示了这种不一致性。这对于需要超参数选择的图模型结构学习算法来说具有重要意义。

    Dec, 2023

  • 一种改进的用于岭回归的量子算法

    本文提出了一个基于并行哈密顿模拟的量子算法以及 $K$ 倍交叉验证方法来优化岭回归 (Ridge Regression) 并进行预测性能评估，该算法对于非稀疏数据矩阵具有高效处理的能力，并且对于低秩矩阵且条件数较低的数据矩阵可以实现指数级加速，但对于条件数较高的数据矩阵只能实现多项式级加速。

    Jul, 2017

  • 带有有限观测的线性回归

    本文研究线性回归的常见变种问题，提出了基于属性选择的高效算法，并且相比之前的算法通过实验证明了效果的显著提升。

    Jun, 2012

  • 子采样岭回归集成：等效性和广义交叉验证

    本研究探讨了在比例渐近情况下，基于子采样的岭回归集成，通过分析岭回归集合的平方预测风险，证明了岭无偏估计器的预测风险与含所有可能子样本的完整无岭集合的预测风险相匹配，并证明了广义交叉验证对于估计岭回归集成的预测风险具有强一致性。

    Apr, 2023

  • 预测的高维渐近性：岭回归和分类

    本文在高维渐近极端条件下，对岭回归和正则化判别分析在密集随机效应模型中的预测风险进行了统一分析，并提供了两种方法的极限预测风险的明确和高效可计算的表达式。同时，揭示了岭回归和正则化判别分析各自的一些定性见解，本分析基于最近在随机矩阵理论领域的一些新进展。

    Jul, 2015

  • 高维核回归：超越双谷现象的细致分析

    该研究通过建立偏差 - 方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征， 揭示了特定的正则化方案下偏差和方差与训练数据数量 n 和特征维度 d 的组合方式对核回归风险曲线的形状的影响。

    Oct, 2020