Feb, 2024

训练的随机森林完全揭示您的数据集

PDF
TL;DR我们介绍了一种基于优化的重建攻击，能够完全或近乎完全重建用于训练随机森林的数据集。我们将重建问题定义为一个组合优化问题，并通过最大似然目标函数来解决。通过广泛的计算研究，我们证明了即使在小规模树集的情况下，使用特征随机化的随机森林也容易被完全重建，这突显了广泛采用的集成方法固有的关键弱点，值得关注和缓解。虽然隐私研究中已经讨论了此类重建攻击的潜在性，但我们的研究提供了明确的实证证据。
optimization-based reconstruction attackrandom forestcombinatorial problemconstraint programmingensemble methods
发现论文，激发创造
  • 随机森林的代价复杂度剪枝

    通过使用 out-of-bag 样本来提高随机森林的泛化误差表现。对 UCI 数据库中的四个数据集进行的初步实证研究表明，随机森林的规模有所减小，而精度损失不大。

    Mar, 2017

  • 大数据的随机森林

    本文主要关注于基于分类问题的随机森林模型处理大数据问题的现有方案，并尝试了五个变体实验，探究它们的相对性能和局限性。

    Nov, 2015

  • 基于信息对手的训练数据重构

    研究如何通过反向工程的方法利用少量的反向查询训练数据重建整个机器学习模型，尤其是针对神经网络等更一般的模型，通过实际攻击和差分隐私的方法来防御这种攻击，并探讨其对标准机器学习管道的影响。

    Jan, 2022

  • 对无数据先验的对手的边界重建攻击成功性进行限制

    通过实验结果，我们在现实场景中提供了差分隐私机器学习模型下重构成功的明确上界，这有助于在不同上下文和度量标准下进行隐私参数的明智选择。

    Feb, 2024

  • 神经随机森林

    将随机回归树方法改成了一个新的神经网络模型，称为神经随机森林。 基于随机回归树的架构利用了先验知识并具有更少的参数，较少的限制设计决策路径和优秀的表现使得方法可用于多样的预测问题。

    Apr, 2016

  • 数据重构攻击和防御：系统评估

    在这项工作中，我们提出了一种针对联邦学习环境中的强力重构攻击，该攻击重构了中间特征，并且与大多数先前的方法相比，集成且表现更好。我们在这种更强力的攻击上进行了深入的理论和实证研究，发现梯度剪裁是针对最先进攻击的最有效策略。

    Feb, 2024

  • 可解释模型的概率式数据集重建

    解释性是可信任机器学习的一个关键要求，因为通过学习和发布一些内在可解释的模型可以泄露有关底层训练数据的信息，而这可能直接与隐私冲突。本文提出了一个新的框架，用于处理其他形式的可解释模型和更普遍的知识，并证明在对可解释模型结构做出现实的假设的情况下，可以有效地计算重建的不确定性。最后，我们通过比较精确学习算法和启发式学习算法关联的理论信息泄漏，说明了我们方法的适用性，使用决策树和规则列表。我们的结果表明，对于给定的准确性水平，最优解释性模型通常更紧凑，泄露的关于训练数据的信息更少。

    Aug, 2023

  • 分类器解构： 针对文本分类模型的数据重构攻击

    本文提出了一种名为 Mix And Match 的新型有针对性数据重构攻击，强调了考虑分类模型中的数据重构攻击与隐私风险的重要性，并提供了有关可能泄漏的见解。

    Jun, 2023

  • 通过森林修剪提高随机森林的准确性和可解释性

    通过提出两种森林修剪方法，我们的研究旨在实现既有随机森林的准确性又具有决策树的解释性，通过在给定随机森林中找出最佳子森林，再将选定的树组合在一起，实验证明我们的方法在准确性和所使用的树的数量方面优于当前先进的森林修剪方法。

    Jan, 2024

  • 贝叶斯容量作为联邦学习中重构攻击的度量

    在这篇论文中，我们利用信息论量化信息流的框架，形式化了重建威胁模型。我们展示了贝叶斯容量与 DP-SGD 算法泄漏给对重建攻击感兴趣的敌手相关的 Sibson 无穷阶互信息之间的紧密上界。我们提供了实证结果，证明了这一指标在衡量机制对抗重建威胁方面的有效性。

    Jun, 2024