通过整数规划从树集合中提取可解释规则的统一方法

Jun, 2024

通过整数规划从树集合中提取可解释规则的统一方法

A Unified Approach to Extract Intepretable Rules from Tree Ensembles via Integer Programming

Lorenzo Bonasera, Emilio Carrizosa

TL;DR从训练的树集成中提取一组优化的规则，提供给用户一个简化、可解释的模型，保留了完整模型的大部分预测能力。

Abstract

tree ensemble methods represent a popular machine learning model, known for their effectiveness in supervised classification and regression tasks. Their performance derives from aggregating predictions of multiple decision trees, which are renowned for their interpretability properties

tree ensemble methods interpretable output rules extraction tabular data time series data

发现论文，激发创造

基于整数规划的最优广义决策树

本文提出了一种混合整数规划的方法来构建特定大小的最优决策树，采用特殊结构的分类特征，考虑每个节点上基于特征子集的组合决策，并通过阈值处理处理数值特征，证明了在中等规模的训练集下，采用小型决策树可获得很高的准确率，我们使用现代求解器解决所提出的优化问题。

Dec, 2016

基于整数规划的时间关系分类器集成

本篇论文针对自然语言处理中时间性事件以及它们之间关联的提取和理解问题，提出了采用整数规划的集成方法来提高多个分类器的关于文本中时间性表达的判断。实验结果表明该方法在 SemEval-2013 TempEval-3 (Temporal Annotation) 和 SemEval-2016 Task 12 (Clinical TempEval) 两个最新挑战中明显优于使用单个分类器的结果。

Dec, 2014

树形集成模型的可解释性

该研究提出一种后处理方法通过使用 EM 算法和简化模型来提高树模型的可解释性，并进行了人工合成实验以证明该方法的可行性。

Jun, 2016

TE2Rules: 从树模型集合中提取规则列表

该研究提出一种新方法，将针对二元分类任务训练的 Tree Ensemble 模型转换为规则列表，以增强模型的解释性和可理解性，并在基准数据集上进行了实验。

Jun, 2022

用 inTrees 解释树集合

本文提供 inTrees 框架，通过提取、衡量、修剪和选择树集合中的规则，并计算频繁的变量交互来提高树集合的可解释性。inTrees 框架可以应用于分类和回归问题，并适用于多种树集合类型，例如随机森林、正则化随机森林和 Boosted Trees。

Aug, 2014

使树集成模型可解释性：贝叶斯模型选择方法

本研究提出了一种通过模型简化方法（树模型的选择问题），使得复杂的树模型具有可解释性的算法，该算法可以保证预测性能的同时，将复杂的树模型逼近成最简单的表现形式