Aug, 2023

基于 GBM 的 Bregman Proximal 约束学习算法

PDF
TL;DR现代机器学习面临了新的约束学习范式，其中包括最重要的应用领域如 Neyman-Pearson 分类和公平性分类，本文针对这些约束学习任务在 Bregman 近端算法框架下适配了梯度提升机算法，并提出了具有全局最优性保证的 Bregman 原始 — 对偶方法。我们的算法与现有的约束学习算法不同之处在于能够与 XGBoost 和 LightGBM 这样的公开实现无缝集成，并已通过实验证明了算法框架的有效性。虽然主要关注于 Neyman-Pearson 分类和公平性机器学习，但我们的框架在更广泛的约束学习应用领域也具有重要潜力。
constrained learninggradient boosting machinesbregman proximal algorithmsneyman-pearson classificationfairness classification
发现论文，激发创造
  • 明智地选择你的路径：在 Bregman 距离框架中的梯度下降

    本文提出将广义 Bregman 距离应用于非凸函数的梯度下降算法中，实现了从粗到细的多尺度特征引入，达到恢复优于传统梯度下降的非凸优化问题解的效果，并且在磁共振成像、盲去卷积以及神经网络图像分类等领域有广泛的应用。

    Dec, 2017

  • 公平约束下的梯度提升树

    我们提出了 FairGBM，这是一种用于在公平约束下训练 GBDT 的双升学习框架，其对预测性能的影响很小，同时提出了平滑的凸误差率代理。

    Sep, 2022

  • 应用于深度学习的非凸随机 Bregman 近端梯度方法

    研究一系列随机 Bregman 近端梯度法（SBPG）方法，用于训练具有非 Lipschitz 梯度的非凸目标函数，及应用于神经网络训练中具有多项式内核函数的深度神经网络的优化算法。证明了 SBPG 及其动量版本（MSBPG）在非凸优化问题中有很好的收敛性，提出了 MSBPG 解决大规模优化中随机梯度下降法的一些不足。

    Jun, 2023

  • 约束学习问题的近似最优解

    通过对双向上升算法进行特性化，我们在非凸条件下解决了理论与实践之间的差距，揭示了双向学习的先前经验成功，并在公平学习任务中验证了我们的结果。

    Mar, 2024

  • 自适应近端梯度方法用于凸优化

    本文探讨了凸优化中的两个基本一阶算法，梯度下降法（GD）和近端梯度法（ProxGD）。我们着重于通过利用光滑函数的局部曲率信息，使这些算法完全自适应。我们提出了基于观察到的梯度差异的 GD 和 ProxGD 的自适应版本，因此没有额外的计算成本。此外，我们证明了方法的收敛性，仅需假设梯度在局部利普希茨连续。此外，所提出的版本允许使用比 [MM20] 最初建议的更大的步长。

    Aug, 2023

  • 基于梯度的元学习的可证明保证

    本文介绍了基于在线凸优化的元学习问题，并提出了一种元算法，使得流行的基于梯度的元学习和传统的基于正则化的多任务转移方法之间的差距得以弥合。我们的方法是第一个在凸设置下同时满足良好的样本效率保证，并且具有随着任务相似度提高而改善的泛化界限，同时在现代深度学习体系结构和多任务环境下具有可伸缩性的方法。尽管算法很简单，但它匹配了下限，是任何此类参数传输方法在自然任务相似度假设下的性能的常数因子。我们在凸和深度学习设置下的实验验证和演示了我们理论的适用性。

    Feb, 2019

  • 对于相对平滑的凸优化的加速 Bregman 近端梯度方法

    提出一个利用 Bregman 距离三角形缩放和自适应算法加速处理可微和非可微函数求和的算法，证明基于内部三角形缩放定义的最优算法仍具有快速的经验收敛率，并且在多个应用中进行了数值实验

    Aug, 2018

  • 受限凸最小化问题的原始 - 对偶算法框架

    本文提出了一种原始 - 对偶算法框架，以获得近似解决方案来解决典型的约束凸优化问题，并严格描述了常见结构假设如何影响数值效率。通过选择双重平滑策略和中心点，我们的框架将分解算法、增广 Lagrange 以及交替方向乘子方法作为其特殊情况，并为所有迭代的原始目标残差和原始可行性间隙提供最优收敛速率。

    Jun, 2014

  • 凸优化的广义 Boosting 算法

    该研究分析了梯度下降算法，引入了新的弱学习器性能度量，并扩展了 Boosting 方法，以支持任意凸损失函数，并给出了相应的弱到强的收敛结果。

    May, 2011

  • 带有非凸损失函数的约束学习

    本文提出利用经验对偶域学习解决受约束的统计学习问题，并使用一种实用的受约束学习算法，在社会、工业和医学领域中实现对学习的显式约束。我们在公平性和对抗鲁棒性方面的速率受限学习应用中说明了这一理论和算法。

    Mar, 2021