本文提出了两种框架来解决高维情境下通过加入惩罚项来降低过拟合的问题,同时证明了二者在光滑条件下的等效性,并在多个标准问题中验证了该方法的有效性。
Jul, 2018
研究高维环境下的样本外风险估计问题,介绍了一种计算效率高的闭式近似留一法,适用于大多数正则化估计器,并通过理论分析和实验数据验证了其优秀的绩效表现和实际应用的可行性。
Jan, 2018
模型推理是模型开发的重要部分,Leave-one-out 交叉验证方法在评估模型泛化能力方面普遍适用,但是不适用于大型数据集。我们提出了一种结合近似推理技术和大小为概率比例采样的方法,用于快速评估大型数据集的 LOO 模型,提供了理论和实证结果来说明其性能优良。
Apr, 2019
通过研究我们发现,在机器学习模型的性能评估中,交叉验证方法会引入分布偏差现象,导致性能评估及超参数优化受到负面影响。为了解决这个问题,我们提出了一个通用的校正分布偏差的交叉验证方法,并通过合成模拟和多个已发布的实验验证结果。
Jun, 2024
分析了在高维最小二乘回归中应用的广义交叉验证(GCV)和留一交叉验证(LOOCV)的统计特性,证明了 GCV 作为早期停止梯度下降的预测风险估计量普遍不一致,而 LOOCV 则沿着梯度下降轨迹一致收敛于预测风险。利用个别 LOOCV 误差,构建了整个梯度下降轨迹上预测误差分布的一致估计量和广泛的误差函数的一致估计量,这特别使得基于 GD 迭代的路径预测区间在培训数据条件下具有渐近正确的名义覆盖率。
Feb, 2024
本文研究线性收缩估计器的参数选择,并提出了数据驱动的交叉验证方法,用于自动选择收缩系数,以最小化估计误差的弗罗贝尼乌斯范数。该方法不仅适用于使用样本协方差矩阵和多种典型收缩目标的收缩设计,还可用于使用一般收缩目标,多个目标和 / 或基于最小二乘法的协方差矩阵估计器的方案,并在数种不同的阵列信号处理问题中展示了应用。
Oct, 2018
提出了一种用于调整岭回归的正则化超参数 λ 的新方法,比留一法交叉验证 (LOOCV) 更快速计算,同时产生等效或更好的回归参数估计,尤其在稀疏协变量的情况下。
Oct, 2023
通过单个牛顿推的启动程序,实现了对大量训练数据集的 CV 的近似,解决了 CV 运行时间长的问题;本文提供了一致的非渐进性,确定性的模型评估保证,同时也保证了与 CV 相当的模型选择性能。
Mar, 2020
本文利用留一交叉验证的方法,对 LASSO 方法中惩罚项权重的确定进行了研究并提供了两种求解 CV 误差的简单公式,最后将公式应用于超新星实验数据的分析。
Dec, 2015
本文主要研究了 Bayesian model 的 Bayesian cross-validation 技术在高斯潜在变量模型中的应用,通过 Laplace method 或 expectation propagation 方法来估计与推断,旨在评估快速方法的准确性和可靠性。实证结果表明,基于 LOO 边缘分布(cavity distribution)的高斯近似法可获得最准确可靠结果。
Dec, 2014