用于鲁棒树集的可验证学习

May, 2023

Verifiable Learning for Robust Tree Ensembles

Stefano Calzavara, Lorenzo Cazzaro, Giulio Ermanno Pibiri, Nicola Prezza

TL;DR本文提出了一种叫做可验证学习的方法用以解决机器学习模型在测试阶段对抗攻击的安全验证问题，并提出了一种新的训练算法以自动学习人工决策树集合。在公开数据集上的实验结果证实，这种方法可以在标准的商业硬件上在几秒钟内验证其使用我们算法训练的大规模分布型集合，而且相对于传统集合，大规模分布型集合对于对抗攻击更具鲁棒性，而在非对抗环境下只会受到相对较小的精度损失。

Abstract

Verifying the robustness of machine learning models against evasion attacks at test time is an important research problem. Unfortunately, prior work established that this problem is NP-hard for →

machine learning security verification decision tree ensembles verifiable learning evasion attacks

发现论文，激发创造

可验证的增强树集合

可验证学习通过训练机器学习模型实现高效的安全验证，该研究从基本集成方法扩展到高级增强树集成，证明了多项式时间内对某些攻击者的强健性验证是可实现的，但对于其他基于范数的攻击者仍然是 NP - 难的。

Feb, 2024

基于树模型的鲁棒性验证

研究基于树的模型的鲁棒性验证问题，包括决策树、随机森林和梯度上升决策树。提出了一种线性时间算法，可以验证单棵树，对于树集合，可以将验证问题建模为一个多部分图上的最大团问题并通过发现图的 boxicity 来求得一个紧密的下限。在 10 个数据集上，算法比之前需要解决的 MILP 快几百倍，并且能够对具有数百棵深度树的大型 GBDT 模型给出紧密的鲁棒性验证界限。

Jun, 2019

Treant: 训练逃避感知的决策树

本文提出一种基于威胁模型的决策树学习算法 Treant，通过采用坚固分裂和攻击鲁棒性等两种技术手段，使得学习过程更为完整、高效，有效提高抗攻击性能。

Jul, 2019

计算最优树集合

提出了两种新算法以及相应的下限，适用于树集合，展示了决策树和树集合分类训练数据集所需的切割数相比，随着树的数量增加，集合所需的切割数可能会指数级下降。

Jun, 2023

树集合中更快的重复规避攻击

构建树集成模型中对抗样本的计算挑战和特征扰动的快速识别方法。

Feb, 2024

面向安全应用的成本感知鲁棒树集成

该论文提出了一种基于成本驱动的约束来训练鲁棒性决策树模型的成本建模方法，在 Twitter 垃圾邮件检测等场景中显示出比现有方法更高的准确性、更低的误报率和更强的成本感知鲁棒性。