prediction risk | BriefGPT - AI 论文速递

关键词prediction risk

搜索结果 - 7

重相关下岭插值器的精确分析 —— 一种随机对偶理论视角
通过随机对偶理论，我们研究了完全行 / 列相关的线性回归模型，并考察了最小范数插值器、最小二乘法和岭回归器等几种经典估计方法。我们的结果表明，闭式计算的结果精确描述了所有相关的估计方法关于优化目标的特征，包括预测风险（测试或泛化误差），并定
PDF23 days ago
早停梯度下降的交叉验证的成功和失败
分析了在高维最小二乘回归中应用的广义交叉验证（GCV）和留一交叉验证（LOOCV）的统计特性，证明了 GCV 作为早期停止梯度下降的预测风险估计量普遍不一致，而 LOOCV 则沿着梯度下降轨迹一致收敛于预测风险。利用个别 LOOCV 误差，
PDF4 months ago
朝着最佳神经网络：样本拆分在超参数选择中的作用
本文针对神经网络在实际应用中的表现提出了一个新理论，通过发现在神经网络模型构建过程中的一个常见做法 —— 样本分裂的奥秘来探究其有效性，该理论表明，从样本分裂中得出的最佳超参数能够使神经网络模型渐近地最小化预测风险。我们在不同的应用场景和网
PDFa year ago
子采样和岭正则化之间的广义等价性
本文从套索惩罚和子采样的角度建立它们之间结构和风险的等效关系，通过限制不同的岭正则化系数和子采样比例的路径，证明子采样的二阶统计量和岭回归分析的期望风险是等价的，提供一种基于数据推导的确定等价路径的方法，进一步解决了最近由 Nakkiran
PDFa year ago
子采样岭回归集成：等效性和广义交叉验证
本研究探讨了在比例渐近情况下，基于子采样的岭回归集成，通过分析岭回归集合的平方预测风险，证明了岭无偏估计器的预测风险与含所有可能子样本的完整无岭集合的预测风险相匹配，并证明了广义交叉验证对于估计岭回归集成的预测风险具有强一致性。
PDFa year ago
超参数线性回归中的最优加权 L2 正则化
本文对过参数线性模型中采用广义（加重）岭回归估计系数的预测风险进行了分析，并探讨了在偏好一定系数分布时参数的最优预测，以及过参数现象在主成分回归中的具体表现，进而提出了在无偏估计与最优正则化问题中，加权目标函数方法的优越性。
PDF4 years ago
无分布自由分布回归
本文介绍了分布式回归，在不假设误差项和协变量的分布的情况下，证明了当有效维度足够小时（由加倍维度测量），过度的预测风险会以多项式的方式收敛于零。
PDF11 years ago