Jun, 2013

早停和非参数回归：一种最优的数据依赖性停止规则

PDF
TL;DR本文针对非参数回归问题中的一种梯度下降算法，提出了一种基于数据的提前停止策略，不需要保留数据或交叉验证，同时证明了该策略有较好的性能表现，可应用于 Sobolev 平滑性类等多种核函数类中。此外，本文还展现了该策略与核岭回归估计器的解路径之间的紧密联系。
early stoppingnon-parametric regressionreproducing kernel hilbert spacegradient-descentdata-dependent stopping rule
发现论文，激发创造
  • 核提升算法的早停策略：带局部复杂度的普适分析

    本文针对一类损失函数和梯度提升算法，展示了停止迭代估计器的性能与相关函数类的本地高斯复杂度之间的直接联系，并证明了高斯或 Rademacher 复杂性的本地不动点分析可以用于推导最佳停止规则，为各种核类别推导了这种停止规则，并说明了我们理论和实践的对应关系。

    Jul, 2017

  • 关于最小二乘回归的早停规则

    线性回归问题中，我们分析了离散全批量梯度下降的参数轨迹和期望过度风险，证明了使用学习率调度和有限时间内的早停解与广义岭正则化问题的最小范数解等价，并表明早停对于具有任意频谱和多种学习率调度的一般数据都是有益的。我们给出了最佳停止时间的估计并通过实验证明了估计的准确性。

    Jun, 2024

  • 早停法是非参数变分推断

    本研究使用非参数变分近似后验分布的样本抽取来解释随机梯度下降，为基于最小下限的对数边际似然的超参数优化提供一种输出，包括神经网络等领域。

    Apr, 2015

  • 无需验证集的早停算法

    本文提出了一种新的基于局部统计梯度的早期停止准则，该准则完全消除了验证集的需要，并在最小二乘法、逻辑回归和神经网络的情况下被证明是一种可行的方法。

    Mar, 2017

  • 早期停止的 Boosting 方法：收敛性和一致性

    本文研究了基于一组基函数的线性空间的 boosting 算法的数值收敛性、一致性和统计收敛速率及早停止的策略，展示了理论结果对于提供实际 boosting 应用见解的重要性。

    Aug, 2005

  • 凸损失函数学习的迭代正则化

    本文提出了一种基于次梯度方法的新型迭代正则化形式，经过实验迭代停止可以实现广义化。在再生核希尔伯特空间的非参数设定下，我们证明了在一般正则条件下的有限样本损失风险界。本研究提供了一类高效正则化学习算法，并给出了统计学和优化学在机器学习中相互作用的见解。

    Mar, 2015

  • 线性模型中迭代算法的不确定性量化及其在提前停止中的应用

    研究了高维线性回归问题中，使用迭代算法得到的迭代次数从 1 到 T 的变量，并提出了估计器来估计迭代过程中的泛化误差，并应用于提前停止等问题。通过仿真实验证明了理论结果。

    Apr, 2024

  • 非参数稀疏性和正则化

    研究非线性模型下的监督学习与变量选择问题，提出一种基于偏导数的非参数稀疏模型，利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法，并通过理论和实验分析表明其具有优秀的性能表现。

    Aug, 2012

  • 提前停止的神经网络具有一致性

    研究使用逻辑损失的梯度下降训练 ReLU 网络在二元分类数据上的行为，证明通过提前停止的梯度下降可以在总体风险上接近最优，并获得概率校准。

    Jun, 2021

  • 基于核的非参数回归的最小化最优迁移学习

    通过研究转移学习在非参数回归问题上的应用，本文提出了两种解决方案：已知转移源时使用基于核岭回归的两步核估计器，未知转移源时使用基于高效集成算法的新方法，该方法可以自动检测并减轻负面源的影响，并通过大量的数值实验证实了理论结果并展示了提出的方法的有效性。

    Oct, 2023