May, 2023
提高决策树模型的稳定性
Improving Stability in Decision Tree Models
Dimitris Bertsimas, Vassilis Digalakis Jr
TL;DR通过研究实际医疗应用中的决策树模型,引入了一种新的距离度量方法并提出了一种新的训练方法,以增强模型的稳定性,探究决策树稳定性、预测能力和可解释性之间的平衡。在六个实际医疗应用案例的定量和定性分析中表明,通过小幅度的预测能力下降(4.6%),可以显著提高模型的稳定性(38%)。
Abstract
Owing to their inherently interpretable structure, decision trees are
commonly used in applications where interpretability is essential. Recent work
has focused on improving various aspects of →
发现论文,激发创造
回归树的稳定更新
通过使用经验稳定性的概念,我们提出了一种正则化方法,该方法根据初始模型中的不确定性对数据点进行加权,并提供了在可预测性和经验稳定性之间取得平衡的算法,通过调整超参数来调节这种平衡。结果表明,所提出的更新方法在改善稳定性的同时实现了类似或更好的预测性能。这表明在更新回归树时可以实现预测性和稳定的结果。
Feb, 2024
学习最优公平分类树:可解释性、公平性和准确性之间的权衡
本研究设计了一个 MIO(mixed integer optimization)框架,用于学习最优的分类树算法,以及与任意公平性约束进行扩展;提出了一个新的模型可解释性度量标准,称为决策复杂度;在流行数据集上,我们对公平性、可解释性及预测准确性之间的权衡进行了综合分析,证明了我们的方法在几乎完全平等的情况下仍能保持精度.
Jan, 2022
借助基于模型的树作为可解释的替代模型进行模型蒸馏
使用模型树作为替代模型,将特征空间通过决策规则划分为可解释的区域,然后利用基于加性主效应的可解释模型来近似黑盒模型的行为,平衡可解释性和性能,对比了四种模型树算法,最后提供了用户特定的推荐概述。
Oct, 2023
通过单棵树逼近解释模型
提出了一种用于构建决策树的方法,可以近似复杂机器学习模型的性能,可用于解释和简化随机森林(RFs)和其他模型的预测模式。在医学问卷中,树形结构特别有意义,因为它使问卷自适应地缩短,减轻回答负担。 研究了分裂的渐近行为,并引入了一种改进的分裂方法,旨在稳定树形结构。经实验证明,我们的方法可以同时实现高近似性和稳定性。
Oct, 2016