S-GBDT：节俭差分隐私梯度提升决策树

Sep, 2023

S-GBDT：节俭差分隐私梯度提升决策树

S-GBDT: Frugal Differentially Private Gradient Boosting Decision Trees

Moritz Kirsche, Thorsten Peinemann, Joshua Stock, Carlos Cotrini, Esfandiar Mohammadi

TL;DR隐私保护学习梯度提升决策树（GBDT）可对标准表格数据具有很强的效用 - 隐私权衡潜力，采用差分隐私作为验证隐私属性的最新方法，并利用四种主要技术改善了效用 - 隐私权衡。

Abstract

privacy-preserving learning of gradient boosting decision trees (GBDT) has the potential for strong utility-privacy tradeoffs for tabular data, such as census data or medical meta data: classical GBDT learners can extract non-linear patterns from small sized datasets. The state-of-the-

privacy-preserving learning gradient boosting decision trees (gbdt)differential privacy privacy leakage test error

发现论文，激发创造

隐私保护的梯度提升决策树

本篇论文旨在研究如何提高 Gradient Boosting Decision Tree 模型的准确性，同时保持差分隐私强有力的保护措施。通过改进灵敏度限制和与树之间隐私预算的分配算法，该论文提出一种更有效的差分隐私 GBDT 训练算法，以实现更高的模型准确性。

Nov, 2019

实用联邦梯度提升决策树

本文研究了使用局部敏感哈希的 GBDT 在水平联邦学习中的训练，证明了其安全性并且可以显著提高预测准确性。

Nov, 2019

具有概率鲁棒性的差分隐私决策树对抗数据污染

本文提出了一种名为 PrivaTree 的新方法，基于私有直方图的决策树扩展算法，它在具有混合数值和分类数据的情况下，在消耗小的隐私预算的同时选择了良好的分裂策略，并且在隐私 - 效用平衡上提供了显著更好的性能，并且相对于常规决策树，显著提高了对抗象征攻击的鲁棒性。

May, 2023

公平约束下的梯度提升树

我们提出了 FairGBM，这是一种用于在公平约束下训练 GBDT 的双升学习框架，其对预测性能的影响很小，同时提出了平滑的凸误差率代理。

Sep, 2022

机器学习的贝叶斯差分隐私

提出了基于贝叶斯的差分隐私方法，并实验表明基于样本数据分布的隐私保护方法比传统方法更实用有效。

Jan, 2019

使用平滑敏感度的差分隐私随机决策森林

提出了一种新的差分隐私决策树集成学习算法，在保护隐私的前提下，通过集成学习、指数机制等方法，显著提高了预测能力。

Jun, 2016

分布式差分隐私决策树学习的可扩展和可证明精确性算法

本文提出了分布式环境下差分隐私保护决策树学习的第一个证明准确的算法: DP-TopDown，并介绍了两种分布式实现方法。这些研究成果提供了差分隐私保护下的顶部 - 向下决策树学习的效用保证，并揭示了在隐私、精度和概括性之间学习私有决策树的权衡。

Dec, 2020

扩散增强树

融合去噪扩散概率模型和梯度提升方法，引入扩散增强范式以解决监督学习问题。我们开发了扩散增强树（DBT），它可以被视为一种新的去噪扩散生成模型，其参数由决策树（每个扩散时间步长一个单一树）进行参数化，同时也是一种新的提升算法，可以把弱学习器结合成条件分布的强学习器，而不对其密度形式进行显式的参数化假设。通过实验证明了 DBT 相较于基于深度神经网络的扩散模型的优势，以及 DBT 在真实回归任务上的能力，并展示了将 DBT 应用于表格数据（欺诈检测）进行分类学习且具备学习推迟的能力。

Jun, 2024

具有差分隐私的数据分析

本论文利用差分隐私算法对分布式和流数据进行分析，通过学习全局数据模型并保障差分隐私，提出了三种分布式学习贝叶斯网络模型的新方法，并针对流数据中的用户密度估计问题，提供了用户级别的隐私保护算法和改进策略。

Jul, 2023

自适应每次迭代隐私预算的集中式差分隐私梯度下降

本文说明如何通过更加精心地分配每个迭代的隐私预算，从而改进基于梯度的算法，提高其对模型拟合的性能。

Aug, 2018