NIPSJul, 2017

核提升算法的早停策略：带局部复杂度的普适分析

PDF
TL;DR本文针对一类损失函数和梯度提升算法，展示了停止迭代估计器的性能与相关函数类的本地高斯复杂度之间的直接联系，并证明了高斯或 Rademacher 复杂性的本地不动点分析可以用于推导最佳停止规则，为各种核类别推导了这种停止规则，并说明了我们理论和实践的对应关系。
发现论文，激发创造
  • 早期停止的 Boosting 方法：收敛性和一致性

    本文研究了基于一组基函数的线性空间的 boosting 算法的数值收敛性、一致性和统计收敛速率及早停止的策略，展示了理论结果对于提供实际 boosting 应用见解的重要性。

    Aug, 2005

  • 早停和非参数回归：一种最优的数据依赖性停止规则

    本文针对非参数回归问题中的一种梯度下降算法，提出了一种基于数据的提前停止策略，不需要保留数据或交叉验证，同时证明了该策略有较好的性能表现，可应用于 Sobolev 平滑性类等多种核函数类中。此外，本文还展现了该策略与核岭回归估计器的解路径之间的紧密联系。

    Jun, 2013

  • 无需验证集的早停算法

    本文提出了一种新的基于局部统计梯度的早期停止准则，该准则完全消除了验证集的需要，并在最小二乘法、逻辑回归和神经网络的情况下被证明是一种可行的方法。

    Mar, 2017

  • 关于最小二乘回归的早停规则

    线性回归问题中，我们分析了离散全批量梯度下降的参数轨迹和期望过度风险，证明了使用学习率调度和有限时间内的早停解与广义岭正则化问题的最小范数解等价，并表明早停对于具有任意频谱和多种学习率调度的一般数据都是有益的。我们给出了最佳停止时间的估计并通过实验证明了估计的准确性。

    Jun, 2024

  • 线性模型中迭代算法的不确定性量化及其在提前停止中的应用

    研究了高维线性回归问题中，使用迭代算法得到的迭代次数从 1 到 T 的变量，并提出了估计器来估计迭代过程中的泛化误差，并应用于提前停止等问题。通过仿真实验证明了理论结果。

    Apr, 2024

  • NYTRO: 当子采样遇到早停

    本研究旨在探讨早停止和随机子抽样方法在最小二乘回归设置中的结合，提出了一种基于早停止和随机子抽样的随机迭代正则化形式，并分析了其统计和计算性质。

    Oct, 2015

  • 提前停止的神经网络具有一致性

    研究使用逻辑损失的梯度下降训练 ReLU 网络在二元分类数据上的行为，证明通过提前停止的梯度下降可以在总体风险上接近最优，并获得概率校准。

    Jun, 2021

  • 早停法是非参数变分推断

    本研究使用非参数变分近似后验分布的样本抽取来解释随机梯度下降，为基于最小下限的对数边际似然的超参数优化提供一种输出，包括神经网络等领域。

    Apr, 2015

  • 一种简单有效的正则化方法，用于携带有泛化保证的嘈杂标签数据的训练

    探讨在有噪声标签的情况下，过度参数化的深度神经网络的正则化方法，其中比较有效的包括参数与初始化之间的距离和为每个训练示例添加一个可训练的辅助变量，实验结果表明这些方法能够有效提高模型的泛化性，并且泛化误差的上界独立于网络的大小，可达到无噪声标签情况下的水平。

    May, 2019

  • 基于正则化的持续学习的统计理论

    我们对基于正则化的连续学习在一系列线性回归任务中进行了统计分析，重点在于不同正则化项如何影响模型性能。我们推导了作为先验估计器的收敛速率，考虑了由矩阵值超参数索引的广义 l2 正则化算法族，包括最小范数估计器和连续岭回归作为特例。随着任务的增加，我们推导了广义 l2 正则化估计器的估计误差的迭代更新公式，从中确定了导致最佳算法的超参数。有趣的是，超参数的选择能够有效平衡前向和后向知识转移的权衡，并适应数据异质性。此外，我们明确地推导出最佳算法的估计误差，它与先验估计器的误差同阶。相比之下，我们的最小范数估计器和连续岭回归的下界显示了它们的子优性。我们的理论分析的副产品是提出了在连续学习中早停和广义 l2 正则化之间的等价性，这可能具有独立的研究价值。最后，我们进行实验以补充我们的理论。

    Jun, 2024