Oct, 2016

通过单棵树逼近解释模型

PDF
TL;DR提出了一种用于构建决策树的方法，可以近似复杂机器学习模型的性能，可用于解释和简化随机森林（RFs）和其他模型的预测模式。在医学问卷中，树形结构特别有意义，因为它使问卷自适应地缩短，减轻回答负担。 研究了分裂的渐近行为，并引入了一种改进的分裂方法，旨在稳定树形结构。经实验证明，我们的方法可以同时实现高近似性和稳定性。
decision treemachine learningrandom forestsmedical questionnairesapproximation
发现论文，激发创造
  • 使树集成模型可解释性：贝叶斯模型选择方法

    本研究提出了一种通过模型简化方法（树模型的选择问题），使得复杂的树模型具有可解释性的算法，该算法可以保证预测性能的同时，将复杂的树模型逼近成最简单的表现形式

    Jun, 2016

  • 树形集成模型的可解释性

    该研究提出一种后处理方法通过使用 EM 算法和简化模型来提高树模型的可解释性，并进行了人工合成实验以证明该方法的可行性。

    Jun, 2016

  • 借助基于模型的树作为可解释的替代模型进行模型蒸馏

    使用模型树作为替代模型，将特征空间通过决策规则划分为可解释的区域，然后利用基于加性主效应的可解释模型来近似黑盒模型的行为，平衡可解释性和性能，对比了四种模型树算法，最后提供了用户特定的推荐概述。

    Oct, 2023

  • 通过模型提取方法解释黑匣子模型

    为了解释黑盒模型，本文提出使用决策树对其进行全局解释，并采用新的决策树提取算法避免过拟合，评估表明该方法正确率更高且可解释性更强。

    May, 2017

  • 一种可解释性近似理论

    通过简单特征的决策树是否能够逼近深度神经网络的问题，以及该问题的变体，正是对可由人类解释的机器学习模型不断增长的需求。本文通过引入可解释逼近的概念来研究这些问题，这一概念捕捉了通过一些基类概念的小聚合来逼近目标概念 c 的想法。我们的主要贡献是：对于给定的 H 和 c，对于任何给定的 pair，只有下列三种情况之一成立：(i) c 无法以任意精度通过 H 来逼近；(ii) c 可以以任意精度通过 H 来逼近，但不存在一种普遍的速率来限制逼近的复杂度与精度之间的关系；或者 (iii) 存在一个只依赖于 H 和 c 的常数 kappa，对于任何数据分布和任何期望的精度水平，c 可以通过 H 来逼近，并且复杂度不超过 kappa。这种分类法与监督分类的情况形成鲜明对比，后者提供了复杂的分布自由和普遍可学习的场景。我们表明，在可解释逼近的情况下，即使对逼近的复杂度有一个略微非平凡的先验保证，也可以得到具有常数（与分布和精度无关）复杂度的逼近。我们将我们的分类法扩展到具有无界 VC 维度的类 H，并给出了基于 H 生成的代数的可解释性的特征。

    Jun, 2024

  • TREE：树正则化用于高效执行

    通过奖励不均匀概率分布来减少决策树路径长度，优化决策树的内存架构感知实现以降低执行时间。

    Jun, 2024

  • 提高决策树模型的稳定性

    通过研究实际医疗应用中的决策树模型，引入了一种新的距离度量方法并提出了一种新的训练方法，以增强模型的稳定性，探究决策树稳定性、预测能力和可解释性之间的平衡。在六个实际医疗应用案例的定量和定性分析中表明，通过小幅度的预测能力下降（4.6%），可以显著提高模型的稳定性（38%）。

    May, 2023

  • 通过森林修剪提高随机森林的准确性和可解释性

    通过提出两种森林修剪方法，我们的研究旨在实现既有随机森林的准确性又具有决策树的解释性，通过在给定随机森林中找出最佳子森林，再将选定的树组合在一起，实验证明我们的方法在准确性和所使用的树的数量方面优于当前先进的森林修剪方法。

    Jan, 2024

  • 计算最优树集合

    提出了两种新算法以及相应的下限，适用于树集合，展示了决策树和树集合分类训练数据集所需的切割数相比，随着树的数量增加，集合所需的切割数可能会指数级下降。

    Jun, 2023

  • CART 稀疏学习

    本文研究了 CART 方法构建的回归树的统计特性，发现训练误差由每个节点中的最优决策树与响应数据的 Pearson 相关性控制，并通过构建先验分布和解决非线性优化问题来限制其范围，利用训练误差和 Pearson 相关性之间的联系来展示当深度随样本大小的对数尺度变化时，使用 cost-complexity pruning 的 CART 方法可以实现最佳复杂度 / 拟合度权衡，同时，数据相关量可以适应回归模型的维度和潜在结构，控制预测误差的收敛速度。

    Jun, 2020