深度模型的树形正则化解释性超越稀疏性

AAAINov, 2017

深度模型的树形正则化解释性超越稀疏性

Beyond Sparsity: Tree Regularization of Deep Models for Interpretability

Mike Wu, Michael C. Hughes, Sonali Parbhoo, Maurizio Zazzi, Volker Roth...

TL;DR该研究通过外显地对深度模型进行规则化，以便人类用户可以快速了解模型预测过程，训练了深度时间序列模型，使其类概率预测具有高准确性，同时又被节点较少的决策树紧密建模。通过直观的玩具示例以及用于治疗脓毒症和艾滋病的医学任务，我们展示了这种新的树规则化方法产生的模型比简单的 L1 或 L2 惩罚更容易被人类模拟，同时不会牺牲预测能力。

Abstract

The lack of interpretability remains a key barrier to the adoption of deep models in many applications. In this work, we explicitly regularize deep models so human users might step through the process behind thei

interpretability deep models regularization time-series models decision trees

发现论文，激发创造

区域树正则化用于黑盒模型的可解释性

本文介绍了一种名为 “地区树规则化” 的方法，它可以在维持准确率的同时让神经网络更具有可解释性，该方法通过预先定义输入空间中特定区域所需的决策逻辑，鼓励深层模型分别被数个分离的决策树所逼近，本方法在多个数据集上都比只训练每个区域的决策树更能提高准确预测，同时比其他神经网络规则化方案更简单，并不会破坏预测能力；两个医疗案例证明了本方法可以通过对神经网络的审查来提高理解。

Aug, 2019

基于 L1 - 正交正则化的深度神经网络决策树解释增强

本文介绍了一种基于决策树的解释器模型，通过使用 L1 - 正交正则化技术在保持神经网络准确性的同时，生成一个小型决策树模型，从而提供了对神经网络的可解释性，并证明使用这种技术可以获得模型更高的保真度和更低的复杂性。

Apr, 2019

TREE：树正则化用于高效执行

通过奖励不均匀概率分布来减少决策树路径长度，优化决策树的内存架构感知实现以降低执行时间。

Jun, 2024

最优随机分类树中的稀疏性

本文提出了一种连续优化方法来构建精简的最佳分类树，基于斜裁剪，并旨在在整个树中使用较少的预测变量进行剪枝。该方法模拟了本地和全局稀疏性，证明了其对提高分类精度具有实用性。

Feb, 2020

正则化黑盒模型以提高可解释性（HILL 2019 版本）

本文提出了一种新的方法，即在训练时直接对黑盒模型进行可解释性正则化，以改善解释效果，提高模型的可解释性，并保持一定的准确性。

May, 2019

通过模型提取方法解释黑匣子模型

为了解释黑盒模型，本文提出使用决策树对其进行全局解释，并采用新的决策树提取算法避免过拟合，评估表明该方法正确率更高且可解释性更强。

May, 2017

树状可解释人工智能：从局部解释到全局理解

通过运用博弈论、局部特征交互作用效应和全局模型结构，我们实现了对基于树的机器学习模型的高可解释性，应用于三个医疗机器学习问题，在透露模型全局结构的同时保持其基本特征，识别出美国人口中高强度但低频率的非线性死亡风险因素，突显具有共同危险特征的明显人口亚组，识别出慢性肾脏疾病危险因素之间的非线性交互作用效应，并监测在医院部署的机器学习模型（Identifying factors leading to model's performance decay over time）

May, 2019

通过特征空间分割窥视深度神经网络

本文提出了一种通过构建树形结构，实现对复杂模型进行分级分区并揭示其迭代拒绝可能的类标签的过程，以达到在不影响模型准确性的前提下实现模型解释性的方法。

Nov, 2016

时间序列深度模型解释：一份综述

本篇论文介绍了基于反向传播、扰动和近似等后处理方法的时间序列模型后解释的广泛范围。我们提出了内在可解释模型的新颖类别，并介绍了用于说明的常见评估指标及时间序列可解释性问题未来研究的方向。

May, 2023

最优稀疏生存树

解释性对于医生、医院、制药公司和生物技术公司来分析和做出决策具有重要意义，而树状方法作为生存分析中广泛采用的方法之一，具有解释性强和捕捉复杂关系能力的优点，但是现有的大多数方法依赖启发式算法来生成生存树模型，存在产生次优模型的风险，本文提出了一种动态规划和界限方法，可以在几秒内找到证明最优稀疏生存树模型。

Jan, 2024