可解释机器学习的决策树混合模型

ICMLNov, 2022

可解释机器学习的决策树混合模型

Mixture of Decision Trees for Interpretable Machine Learning

Simeon Brüggenjürgen, Nina Schaaf, Pascal Kerschke, Marco F. Huber

TL;DR介绍了一种新的可解释机器学习方法，称为决策树混合模型 (MoDT)，该方法利用线性模型作为门控函数，利用决策树作为专家，适用于不能被单棵决策树满足的问题，并将问题分为子问题，使得每个决策都可理解和追踪到人类。通过实验证明，MoDT 相对于单个决策树和复杂度相似的随机森林有更好的表现。

Abstract

This work introduces a novel interpretable machine learning method called mixture of decision trees (modt). It constitutes a special case

interpretable machine learning mixture of decision trees modt ensemble architecture subproblems

发现论文，激发创造

马尔可夫决策过程的最优决策树策略

本文提出了一种优化方法，通过线性规划直接优化有限深度的决策树，使其在马尔科夫决策过程中达到最优性能，可用于解决强化学习策略可解释性的问题。通过实验证明，这种方法在性能和可解释性之间取得了平衡。

Jan, 2023

从医学文本中提取医疗决策树的 Text2MDT

通过自动提取医疗文本中的医疗决策树，我们提出了一种新的任务 Text2MDT，探索构建临床决策支持系统的能力。使用两种方法进行 Text2MDT 任务的研究，一个是只依赖大型语言模型（LLM）指导的端到端框架，另一个是将 Text2MDT 任务分解为三个子任务的流水线框架。实验结果表明，使用 LLMs 的端到端方法在 Text2MDT 数据集上表现出色，优于流水线方法。

Jan, 2024

基于人类专业知识的可解释模型：优先采用专家混合模式

提出了一种名为 Preferential MoE 的人类 - 机器学习混合专家模型，它可以根据决策中有无人类专家经验的必要性，在需要时对数据分类器进行增强。该模型展示了可解释的门控函数，提供何时遵循或避免人类规则的信息。提出了解决具有凸次问题的耦合多目标问题。提出近似算法并研究其性能和收敛性。最后，我们演示了 Preferential MoE 在治疗人类免疫缺陷病毒（HIV）和管理重度抑郁症（MDD）的两个临床应用中的实用性。

Jan, 2021

学习最优公平分类树：可解释性、公平性和准确性之间的权衡

本研究设计了一个 MIO（mixed integer optimization）框架，用于学习最优的分类树算法，以及与任意公平性约束进行扩展；提出了一个新的模型可解释性度量标准，称为决策复杂度；在流行数据集上，我们对公平性、可解释性及预测准确性之间的权衡进行了综合分析，证明了我们的方法在几乎完全平等的情况下仍能保持精度.

Jan, 2022

一种可扩展的基于 MIP 的学习最优多变量决策树方法

本文提出了一种新的基于支持向量机和 1 - 范数分多元决策树（ODT）训练的混合整数规划（MIP）公式，利用线性规划（LP）数据选择方法选择数据样本，实现了对大数据集的有效训练，并在包含 245,000 个样本的数据集上验证了该方法优于现有的启发式方法和其他基于 MIP 的技术的效果。

Nov, 2020

借助基于模型的树作为可解释的替代模型进行模型蒸馏

使用模型树作为替代模型，将特征空间通过决策规则划分为可解释的区域，然后利用基于加性主效应的可解释模型来近似黑盒模型的行为，平衡可解释性和性能，对比了四种模型树算法，最后提供了用户特定的推荐概述。

Oct, 2023

多层梯度提升决策树

提出了一种名为 mGBDTs 的多层 GBDT 森林算法，通过堆叠多层回归 GBDTs 作为其构建块，探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练，无需反向传播或可微分性，并在性能和表示学习能力方面得到了证实。

May, 2018

深度神经决策树

本研究提出了 Deep Neural Decision Trees（DNDT）—— 由神经网络实现的树模型，可以用于处理表格数据，DNDT 具有自解释性和自剪枝功能。

Jun, 2018

决策树的优质多样进化学习

为了解释机器学习的需求，在解释性人工智能研究方向上，决策树和增强学习的混合模型成为一个新的研究方向，其中使用了 MAP-Elites 方法来拓展模型，该方法在 OpenAI Gym 库的两个控制问题中表现良好。

Aug, 2022

预测的政策树：机器学习中可解释和自适应的模型选择

通过开发一种树基的方法学，Optimal Predictive-Policy Trees (OP2T)，我们提出了一种规定性方法来解决机器学习模型选择中的关键问题，从而产生可解释的适应性策略以选择预测模型或集成，并具有参数化选项拒绝进行预测。

May, 2024