Jun, 2019

基于树模型的鲁棒性验证

PDF
TL;DR研究基于树的模型的鲁棒性验证问题，包括决策树、随机森林和梯度上升决策树。提出了一种线性时间算法，可以验证单棵树，对于树集合，可以将验证问题建模为一个多部分图上的最大团问题并通过发现图的 boxicity 来求得一个紧密的下限。在 10 个数据集上，算法比之前需要解决的 MILP 快几百倍，并且能够对具有数百棵深度树的大型 GBDT 模型给出紧密的鲁棒性验证界限。
发现论文，激发创造
  • 可验证的增强树集合

    可验证学习通过训练机器学习模型实现高效的安全验证，该研究从基本集成方法扩展到高级增强树集成，证明了多项式时间内对某些攻击者的强健性验证是可实现的，但对于其他基于范数的攻击者仍然是 NP - 难的。

    Feb, 2024

  • 用于鲁棒树集的可验证学习

    本文提出了一种叫做可验证学习的方法用以解决机器学习模型在测试阶段对抗攻击的安全验证问题，并提出了一种新的训练算法以自动学习人工决策树集合。在公开数据集上的实验结果证实，这种方法可以在标准的商业硬件上在几秒钟内验证其使用我们算法训练的大规模分布型集合，而且相对于传统集合，大规模分布型集合对于对抗攻击更具鲁棒性，而在非对抗环境下只会受到相对较小的精度损失。

    May, 2023

  • 对抗样本下的强健决策树

    本文研究了树模型中对抗样本和模型稳健性的问题，并提出了一种优化决策树构建过程的算法，通过在最坏情况下的输入特征扰动下优化性能，可以显著提高树模型对抗样本的稳健性。

    Feb, 2019

  • 集成树桩和树的 lp - 范稳健性

    本文研究了集成决策树对于一般 $\ell _p$ 范数扰动的鲁棒性验证和认证防御问题，并证明了验证的难度，提出了一种基于动态规划的高效算法以及第一种经验证明有效的防御方法。

    Aug, 2020

  • 计算最优树集合

    提出了两种新算法以及相应的下限，适用于树集合，展示了决策树和树集合分类训练数据集所需的切割数相比，随着树的数量增加，集合所需的切割数可能会指数级下降。

    Jun, 2023

  • 寻找优秀的训练样本以提升梯度提升决策树的效果

    解决了如何在树集合模型中找出影响力训练样本的问题，并对扩展该方法以适用于非参数模型提出了几种方法。实验证明，本方法不仅性能良好，而且计算效率高。

    Feb, 2018

  • 企业网络入侵检测的对抗鲁棒性评估

    提出了一种方法论性对多个决策树集成模型进行对抗鲁棒性评估的基准测试，评估了正常和对抗训练的随机森林 (RF)、梯度提升树 (XGB)、轻梯度提升树 (LGBM) 和增强型决策树 (EBM) 模型对网络流量的检测性能，通过减少误报来提高对可疑活动的可靠检测能力。

    Feb, 2024

  • 可证明鲁棒性提升的决策树与决策桩抵御对抗攻击

    本文研究了提升决策树和决策桩的对抗性稳健性问题，并提出了一种快速计算精确的 min-max 鲁棒损失和测试误差的方法，并给出了一个高效的集成优化算法；同时，为提升树提出了一种基于上界的对稳健损失的优化算法，该方法在 MNIST，FMNIST 和 CIFAR-10 数据集上均取得了领先的稳健测试误差率，竞争力可与可证稳健卷积网络媲美。

    Jun, 2019

  • 不变随机森林：基于树的模型解决 OOD 泛化问题

    这篇论文介绍了一种针对决策树模型的 OutOf-Distribution（OOD）泛化的新颖有效解决方案，名为不变决策树（IDT）。IDT 通过在树的生长过程中对于不同环境下分割的不稳定 / 变化行为施加惩罚项来实现 OOD 泛化。通过理论结果和合成以及真实数据集的数值测试，证实了所提出的方法的优越性能，表明决策树模型的 OOD 泛化是绝对必要且应该更加关注。

    Dec, 2023

  • 概率回归树集成

    该研究使用基于树的集成方法，如随机森林、梯度提升树和贝叶斯增加回归树，在许多应用和研究中成功地用于回归问题。本文研究了概率回归树的集成版本，通过将每个观测分配到相对应的概率分布区域，为目标函数提供平滑逼近。我们证明了所考虑的概率回归树的集成版本是一致的，并在实验中研究了它们的偏差 - 方差折衷，并与最先进的性能预测方法进行比较。

    Jun, 2024