Feb, 2020

一种精确的用于提升和最小-ℓ-1-范数插值分类器的高维渐近理论

HTML
PDF
TL;DR本文建立了一个精确的高维渐近理论，探讨了分离数据上的 Boosting 的统计和计算方法。在考虑特征（弱学习器）数量 $p$ 与样本大小 $n$ 比例过大的高维情况下，提供了一种统计模型的确切分析，探讨了 Boosting 在插值训练数据并最大化经验 l1-margin 时的泛化误差，解答了 Boosting 的相关问题。同时，文章研究了最大 l1-margin，引入了新的非线性方程和高斯比较技术和均匀偏差论证。
发现论文，激发创造
  • 提升算法的双重表述

    研究使用新视角的提升算法，证明 AdaBoost、LogitBoost 和软边界 LPBoost 的拉格朗日对偶问题都是熵最大化问题，并通过研究这些算法的对偶问题，表明了提升算法的成功可以从最大化边缘并同时控制边缘方差的角度来理解。通过列生成优化算法，实现了更快的收敛率，并使得使用提议的优化技术建立集成所需的弱分类器更少。

    Jan, 2009

  • 边缘、收缩和提升

    本文研究表明，通过固定小常数缩放步长选择，AdaBoost及其直接变体可以产生近似的最大间隔分类器，同时对于梯度提升的优化过程提供了保证和提高了保证的方法。这些结果适用于指数损失和类似损失，尤其是逻辑损失。

    Mar, 2013

  • 核提升算法的早停策略：带局部复杂度的普适分析

    本文针对一类损失函数和梯度提升算法，展示了停止迭代估计器的性能与相关函数类的本地高斯复杂度之间的直接联系，并证明了高斯或Rademacher 复杂性的本地不动点分析可以用于推导最佳停止规则，为各种核类别推导了这种停止规则，并说明了我们理论和实践的对应关系。

    Jul, 2017

  • 梯度提升优化

    本文针对一种最先进的预测技术——梯度提升方法，通过解决无限维凸优化问题，顺序地生成一个由简单预测器（通常为决策树）的线性组合构成的模型。我们对两个广泛使用的梯度提升版本进行了彻底的分析，并从函数优化的角度引入了一个通用框架来研究这些算法。证明了它们在迭代次数趋近于无穷时的收敛性，并强调了具有强凸风险函数的重要性。我们还提供了一个合理的统计环境，确保在样本大小增长时提高了预测器的一致性。在我们的方法中，优化程序是无限运行的（也就是说，没有采用早期停止策略），并且通过适当的$L^2$损失惩罚和强凸性论证来实现统计正则化。

    Jul, 2017

  • 提升算法中的最优最小间隔最大化

    该研究论文介绍了提升算法的基本概念，通过对 AdaBoostV 算法的研究，提出了一种新算法可以同时减少基本假设的数量和提高最小间隔的质量，并进一步证明其最优性。

    Jan, 2019

  • 正则化在高维噪声高斯混合分类中的作用

    研究了高维混合的两个高斯类在噪声条件下的学习，正则化方法可以让分类器达到贝叶斯最优性能，同时分析了正则化程度的影响。

    Feb, 2020

  • 过参数化情况下线性分类器插值的有限样本分析

    通过分析在随机数据集以及有噪声数据集情况下最大间隔算法的应用，探讨了过度参数化的最大间隔算法训练噪声数据集可以实现接近最优的数据种群风险，其中数据噪声由对手选择在一定范围内。

    Apr, 2020

  • 特征学习的高维渐近性：一个梯度步骤如何改善表示

    研究两层神经网络中第一梯度下降步骤，证明第一梯度更新中存在一个秩为 1 的“峰值”，可以使第一层权重与教师模型的线性部分对其，并探索学习率对特征的影响，得出即使一步梯度下降也能带来显著优势的结论。

    May, 2022

  • 过参数化线性模型的多类分类精确渐近推广

    本文研究了高超参数线性模型在多类别高斯协变量下的渐近泛化，包括对 Subramanian 等人所提出的双层模型的研究，提出了新的下界，证明了该模型的渐近一致性，并提供了一个在稀疏标签多类问题中广泛适用的 Hanson-Wright 不等式的变体。

    Jun, 2023

  • 高效样本无关提升方法

    本文针对无关提升中的样本效率低下问题，提出了一种全新的方法，显著提高了样本利用率而不增加计算复杂度。研究结果表明，该算法相较于已有的无关联提升算法展现出更好的样本效率，并且在其他学习问题（如强化学习的提升）上也取得了改进效果。

    Oct, 2024