Sep, 2023

普通最小二乘插值器的代数和统计性质

PDF
TL;DR通过提供 OLS 插值器的高维代数和统计结果，我们对其一般化能力和因果推断具有实质性影响进行了研究，此外，我们还在高斯 - 马尔可夫模型下提出了统计结果和方差估计的分析。
deep learningbenign overfittingordinary least squares interpolatorhigh-dimensional settingsgauss-markov model
发现论文，激发创造
  • 高维无脊岭最小二乘插值中的惊喜

    本文研究了高维最小二乘回归中的最小 L2 范数（“无岭”）插值，并考虑了特征分布的两个不同模型：线性模型和非线性模型

    Mar, 2019

  • 差分隐私普通最小二乘法

    通过利用高斯约翰逊 - 林登斯特劳斯变换（JLT）来估计 OLS 中的 $t$ 值并推导出投影后的数据的置信区间，该文提出了一种基于不同隐私估计器的类似保证性质的方法。

    Jul, 2015

  • 高维线性模型中的最小二乘法：无处不在的容错与无泪的处理

    本文介绍了针对高维度问题的普通最小二乘（OLS）法无法适用的问题，我们提出了一种基于岭回归的 OLS 的广义版本，并提出了两种新的三步算法，这些算法在直观上易于理解，计算上易于高效实现，并且在模型选择方面有较强的理论吸引力。通过模拟和数据分析中与基于罚项的方法相比较的数值实验，这些算法的潜力得到了证明。

    Jun, 2015

  • 自适应线性模型的统计限制：低维估计与推断

    使用自适应数据收集的估计和推断在统计学中面临重大挑战。通过研究单个坐标估计的错误表明了适应性数据和 i.i.d. 数据之间估计性能的显著差异。研究表明 OLS 方法可实现匹配的估计错误，我们还提出了一种新的单坐标推断估计器，通过解两阶段自适应线性估计方程来实现。

    Oct, 2023

  • 自适应线性估计方程

    本文提出了一种构建无偏估计器的普遍方法，使用自适应线性估计方程的思想，并建立渐近正常性的理论保证，以及实现接近最优渐近方差的讨论。

    Jul, 2023

  • 集成线性插值器：集成的作用

    插值器不稳定，论文研究了集合稳定如何改善插值器的泛化性能，Bagging 作为一种随机化集合方法能够并行实现，通过引入基于乘法自助法的 Bagged 最小二乘估计器，对最小二乘估计器求平均，得到该方法。该文进一步探讨了 Sketching 和 Bagging 对样品内外预测风险的影响，并发现 Bagging 作为一种形式的隐式正则化手段，能够有效减小方差。

    Sep, 2023

  • 正交最小二乘法的近优界

    本文研究了用于稀疏恢复的正交最小二乘算法以及与之相关的采样矩阵的限制等距性质，证明了在满足特定条件下，算法能够从采样中精确恢复出 $k$- 稀疏向量的支撑集，并提供了对于一般情况下无法恢复的支撑集的上界调节量。

    Nov, 2016

  • 一般回归误差假设下无岭最小二乘估计器的均方误差

    本文从均方误差的角度对 ridgeless interpolation least squares estimator 进行分析，证明相对于样本大小引入大量不重要的参数能够有效降低估计器的均方误差，并且利用回归误差的方差 - 协方差矩阵的迹来刻画估计困难。

    May, 2023

  • 学习无需混合：追求线性系统识别的尖锐分析

    该研究证明了最小二乘（OLS）估算器在从单个观察轨迹中识别线性动态系统方面达到了几乎最小化最优性能。

    Feb, 2018

  • OLS 随机投影的隐私 - 效用权衡

    我们研究了差分隐私（DP）在核心机器学习问题线性最小二乘（OLS）上的应用，发现了 ALS 算法作为 OLS 问题的随机化解决方案能够提供更好的隐私和效用平衡，同时我们提供了 ALS 算法和 OLS 中标准高斯机制的第一个紧密差分隐私分析。

    Sep, 2023