研究使用新视角的提升算法，证明 AdaBoost、LogitBoost 和软边界 LPBoost 的拉格朗日对偶问题都是熵最大化问题，并通过研究这些算法的对偶问题，表明了提升算法的成功可以从最大化边缘并同时控制边缘方差的角度来理解。通过列生成优化算法，实现了更快的收敛率，并使得使用提议的优化技术建立集成所需的弱分类器更少。

Jan, 2009

本文研究了一种将参数组织成矩阵的学习方式，采用矩阵范数来适当地规范参数以实现更复杂的先验知识。基于已知的对偶事实，即函数相对于某些范数是强凸的，当且仅当其共轭函数相对于对偶范数是强平滑的，我们的方法是基于统计学性质来确定合适的正则化函数。通过将这个框架应用于多任务学习、多类学习和核学习中，并推导出新的广义化和失误上限，我们展示了这个方法的潜力。

Oct, 2009

本文研究了在线增强学习的任务，重点探讨在线弱分类器的不同之处，提出了一种新颖的在线增强算法，并通过理论分析设计了算法参数以及确定弱分类器个数等问题，实验结果表明所提出的算法比现有的在线算法效果更好。

Jun, 2012

本文将扩展反推理论以解决在线学习中的回归问题，提出了两种弱学习算法模型，并提出一种在线梯度推进算法将弱学习算法转化为强学习算法，同时介绍了一种更简单的反推算法，并证明了其最优性。

Jun, 2015

本文证明使用随机梯度方法训练的参数模型少迭代次数即可实现消失的泛化误差，提供了新的对于随机梯度方法多周期泛化性能好的解释，对于神经网络的训练也有新的稳定性解释。

Sep, 2015

本文针对一种最先进的预测技术——梯度提升方法，通过解决无限维凸优化问题，顺序地生成一个由简单预测器（通常为决策树）的线性组合构成的模型。我们对两个广泛使用的梯度提升版本进行了彻底的分析，并从函数优化的角度引入了一个通用框架来研究这些算法。证明了它们在迭代次数趋近于无穷时的收敛性，并强调了具有强凸风险函数的重要性。我们还提供了一个合理的统计环境，确保在样本大小增长时提高了预测器的一致性。在我们的方法中，优化程序是无限运行的（也就是说，没有采用早期停止策略），并且通过适当的$L^2$损失惩罚和强凸性论证来实现统计正则化。

Jul, 2017

研究非凸性学习任务中经验风险的精细属性（梯度）和群体对应属性的收敛速度以及收敛对优化的影响；提出矢量值Rademacher复杂性作为导出非凸问题梯度无维度一致收敛界的工具；给出了应用这些技术进行非凸广义线性模型和非凸健壮回归的批梯度下降方法的新分析，显示了使用任何找到近似稳定点的算法可以获得最优样本复杂度。

Oct, 2018

本研究探讨了当经验风险为弱凸函数时，梯度下降的学习性能，并通过将最小负特征值应用于控制梯度下降的稳定性，从而证明了与先前的研究相比，其持有更广范围步长的一般化误差界。当经验风险满足局部弱凸性时，可以通过对网络进行归一化来控制误差，其中，两层神经网络的经验风险可以满足局部弱凸性。通过权衡网络复杂度和缩放，深入探讨了神经网络缩放的隐式偏差，并得出实验结果的支持。

Jan, 2021

本研究解决了提升算法在并行复杂性方面理论下限与算法性能之间的显著差距问题。通过提供改进的并行复杂性下限和一种并行提升算法，研究展示了这一算法在整个训练轮次与每轮总并行工作量的权衡中性能匹配这些下限。最终，这项工作确立了近似样本最优的提升算法的真实并行复杂性。

Aug, 2024

本文针对无关提升中的样本效率低下问题，提出了一种全新的方法，显著提高了样本利用率而不增加计算复杂度。研究结果表明，该算法相较于已有的无关联提升算法展现出更好的样本效率，并且在其他学习问题（如强化学习的提升）上也取得了改进效果。

Oct, 2024