Nov, 2019

隐私保护的梯度提升决策树

PDF
TL;DR本篇论文旨在研究如何提高 Gradient Boosting Decision Tree 模型的准确性，同时保持差分隐私强有力的保护措施。通过改进灵敏度限制和与树之间隐私预算的分配算法，该论文提出一种更有效的差分隐私 GBDT 训练算法，以实现更高的模型准确性。
gradient boosting decision treedifferential privacysensitivity boundsprivacy budgetmodel accuracy
发现论文，激发创造
  • S-GBDT：节俭差分隐私梯度提升决策树

    隐私保护学习梯度提升决策树（GBDT）可对标准表格数据具有很强的效用 - 隐私权衡潜力，采用差分隐私作为验证隐私属性的最新方法，并利用四种主要技术改善了效用 - 隐私权衡。

    Sep, 2023

  • 实用联邦梯度提升决策树

    本文研究了使用局部敏感哈希的 GBDT 在水平联邦学习中的训练，证明了其安全性并且可以显著提高预测准确性。

    Nov, 2019

  • 鲁棒 - GBDT: 一种新的梯度提升模型用于噪声鲁棒分类

    该研究介绍了一种名为 Robust-GBDT 的噪声鲁棒增强模型，该模型在多类分类任务中应用广泛，通过采用凸可靠损失函数和处理类不平衡的新型鲁棒损失函数，有效抵抗标签噪声和类别不平衡，提高了分类准确性和泛化能力。

    Oct, 2023

  • 扩散增强树

    融合去噪扩散概率模型和梯度提升方法，引入扩散增强范式以解决监督学习问题。我们开发了扩散增强树（DBT），它可以被视为一种新的去噪扩散生成模型，其参数由决策树（每个扩散时间步长一个单一树）进行参数化，同时也是一种新的提升算法，可以把弱学习器结合成条件分布的强学习器，而不对其密度形式进行显式的参数化假设。通过实验证明了 DBT 相较于基于深度神经网络的扩散模型的优势，以及 DBT 在真实回归任务上的能力，并展示了将 DBT 应用于表格数据（欺诈检测）进行分类学习且具备学习推迟的能力。

    Jun, 2024

  • 公平约束下的梯度提升树

    我们提出了 FairGBM，这是一种用于在公平约束下训练 GBDT 的双升学习框架，其对预测性能的影响很小，同时提出了平滑的凸误差率代理。

    Sep, 2022

  • 使用平滑敏感度的差分隐私随机决策森林

    提出了一种新的差分隐私决策树集成学习算法，在保护隐私的前提下，通过集成学习、指数机制等方法，显著提高了预测能力。

    Jun, 2016

  • 带权重剪枝的 DP-SGD

    通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

    Oct, 2023

  • 自适应每次迭代隐私预算的集中式差分隐私梯度下降

    本文说明如何通过更加精心地分配每个迭代的隐私预算，从而改进基于梯度的算法，提高其对模型拟合的性能。

    Aug, 2018

  • 在梯度提升树中实现本地可解释性：特征贡献

    GBDT 模型是一种基于树集合的强大的加性模型，本文开发了一种特征贡献方法，通过利用 GBDT 架构来计算每个特征的贡献，从而提供了一种对 GBDT 算法进行局部可解释性的模型。该方法在理论证明和多个实验中得到了验证，并且既能反映 GBDT 的内部行为也符合欧洲 GDPR 等相关法律的要求。

    Feb, 2024

  • 具有概率鲁棒性的差分隐私决策树对抗数据污染

    本文提出了一种名为 PrivaTree 的新方法，基于私有直方图的决策树扩展算法，它在具有混合数值和分类数据的情况下，在消耗小的隐私预算的同时选择了良好的分裂策略，并且在隐私 - 效用平衡上提供了显著更好的性能，并且相对于常规决策树，显著提高了对抗象征攻击的鲁棒性。

    May, 2023