对抗样本下的强健决策树
本研究提出了一种新的对抗性梯度树提升方法用于公平分类,并在多个数据集上进行实证评估,通过使用一组不同的公平定义来衡量公平性,证明了该方法在精度相同的情况下取得了更高的公平性。
Nov, 2019
本文研究了提升决策树和决策桩的对抗性稳健性问题,并提出了一种快速计算精确的 min-max 鲁棒损失和测试误差的方法,并给出了一个高效的集成优化算法;同时,为提升树提出了一种基于上界的对稳健损失的优化算法,该方法在 MNIST,FMNIST 和 CIFAR-10 数据集上均取得了领先的稳健测试误差率,竞争力可与可证稳健卷积网络媲美。
Jun, 2019
研究基于树的模型的鲁棒性验证问题,包括决策树、随机森林和梯度上升决策树。提出了一种线性时间算法,可以验证单棵树,对于树集合,可以将验证问题建模为一个多部分图上的最大团问题并通过发现图的 boxicity 来求得一个紧密的下限。在 10 个数据集上,算法比之前需要解决的 MILP 快几百倍,并且能够对具有数百棵深度树的大型 GBDT 模型给出紧密的鲁棒性验证界限。
Jun, 2019
本文提出一种基于威胁模型的决策树学习算法 Treant,通过采用坚固分裂和攻击鲁棒性等两种技术手段,使得学习过程更为完整、高效,有效提高抗攻击性能。
Jul, 2019
本文通过理论分析和大量模拟实验表明:在大样本情况下,许多流行的决策树算法对于对称标签噪声具有鲁棒性,并提供了一些样本复杂度结果来说明其鲁棒性的可靠性。
May, 2016
通过提出一种决策树优化框架,解决了当前领域中两个开放性问题:不平衡数据处理和连续变量完全优化。此外,我们还介绍了一种可扩展的算法,可以在存在连续变量的情况下产生可证明的最优结果,并相对于现有技术将决策树构建速度提高了数个数量级。
Jun, 2020
该论文提出了一种算法,该算法能够基于全局目标同时优化决策树的所有级别的分裂函数和叶参数,使用随机梯度下降进行优化,实验结果表明,该算法相比贪心算法在分类任务的表现优秀。
Nov, 2015
基于混合整数规划技术,我们提出了一种学习鲁棒分类树的方法,通过问题转化和约束生成的解决方法,在公共可用数据集上展示了最差情况准确率提高了 12.48%,平均情况准确率提高了 4.85%。
Oct, 2023
本文提出了一种多类别增强框架来确保对抗鲁棒性,通过将鲁棒性要求加入损失函数并使用被对抗性破坏的输入进行随机梯度下降步骤,证明在弱训练预测器的情况下可以实现鲁棒性,实验证明对抗鲁棒的多类别增强不仅优于最先进的方法,而且训练所需时间极少。
Mar, 2021