Feb, 2024

早停梯度下降的交叉验证的成功和失败

PDF
TL;DR分析了在高维最小二乘回归中应用的广义交叉验证（GCV）和留一交叉验证（LOOCV）的统计特性，证明了 GCV 作为早期停止梯度下降的预测风险估计量普遍不一致，而 LOOCV 则沿着梯度下降轨迹一致收敛于预测风险。利用个别 LOOCV 误差，构建了整个梯度下降轨迹上预测误差分布的一致估计量和广泛的误差函数的一致估计量，这特别使得基于 GD 迭代的路径预测区间在培训数据条件下具有渐近正确的名义覆盖率。
发现论文，激发创造
  • 关于参数学习中的最优泛化

    本文提出了一种快速且准确的基于参数学习的交叉验证策略 ALOOCV，并利用其开发了一种基于经验风险最小化框架的正则化优化算法。

    Nov, 2017

  • 低复杂度交叉验证线性收缩协方差矩阵估计

    本文研究线性收缩估计器的参数选择，并提出了数据驱动的交叉验证方法，用于自动选择收缩系数，以最小化估计误差的弗罗贝尼乌斯范数。该方法不仅适用于使用样本协方差矩阵和多种典型收缩目标的收缩设计，还可用于使用一般收缩目标，多个目标和 / 或基于最小二乘法的协方差矩阵估计器的方案，并在数种不同的阵列信号处理问题中展示了应用。

    Oct, 2018

  • ROTI-GCV：适用于右旋转不变数据的广义交叉验证

    在高维正则化回归中，我们使用旋转不变协变分布来建模结构化的样本依赖性和重尾现象，并引入了一种可靠执行交叉验证的新框架 ROTI-GCV，同时提出了在这些具有挑战性的条件下对信噪比和噪声方差进行估计的新估计器。通过广泛的实验，我们展示了我们方法的强大性以及其相较于现有方法的优越性。

    Jun, 2024

  • LASSO 中的交叉验证及其加速

    本文利用留一交叉验证的方法，对 LASSO 方法中惩罚项权重的确定进行了研究并提供了两种求解 CV 误差的简单公式，最后将公式应用于超新星实验数据的分析。

    Dec, 2015

  • 近似交叉验证：模型评价和选择的保证

    通过单个牛顿推的启动程序，实现了对大量训练数据集的 CV 的近似，解决了 CV 运行时间长的问题；本文提供了一致的非渐进性，确定性的模型评估保证，同时也保证了与 CV 相当的模型选择性能。

    Mar, 2020

  • 高斯图模型结构学习中交叉验证的不一致性

    通过理论分析和实证研究，我们揭示了交叉验证在高斯图模型中泛化有限，并通过与其他常用信息准则进行对比，揭示了这种不一致性。这对于需要超参数选择的图模型结构学习算法来说具有重要意义。

    Dec, 2023

  • 高维二元线性分类问题的双重下降模型

    研究了 logistic regression 中特征子集 $p$ 在 $n$ 训练样本上训练线性分类器的模型，运用梯度下降 （GD）方法在逻辑损失上训练分类器。基于 GD 的隐式偏置，在高斯特征情况下揭示了相变现象，对最大似然（ML）解和最大边际（SVM）解的分类误差进行了锐利的表征，得到了分类误差曲线，并揭示了双峰现象。

    Nov, 2019

  • 测试误差的交叉验证置信区间

    研究了交叉验证的中心极限定理和渐近方差一致估计，为 $k$ 折测试错误的可实现渐近精确置信区间和有效的假设测试提供了理论框架，并且在真实数据实验中表现优异。

    Jul, 2020

  • 最小二乘法中提前停止的连续时间视角

    本文研究了应用于最小二乘回归问题的梯度下降迭代的统计特性，将其与岭回归的风险进行比较。研究发现，在梯度下降的整个路径上，其风险不低于岭回归的 1.69 倍，并在平均信号下保持相对风险边界，同时考虑了极限风险表达式和支撑数值实验。

    Oct, 2018

  • 线性模型中迭代算法的不确定性量化及其在提前停止中的应用

    研究了高维线性回归问题中，使用迭代算法得到的迭代次数从 1 到 T 的变量，并提出了估计器来估计迭代过程中的泛化误差，并应用于提前停止等问题。通过仿真实验证明了理论结果。

    Apr, 2024