TREE:树正则化用于高效执行
本文介绍了一种名为 “地区树规则化” 的方法,它可以在维持准确率的同时让神经网络更具有可解释性,该方法通过预先定义输入空间中特定区域所需的决策逻辑,鼓励深层模型分别被数个分离的决策树所逼近,本方法在多个数据集上都比只训练每个区域的决策树更能提高准确预测,同时比其他神经网络规则化方案更简单,并不会破坏预测能力;两个医疗案例证明了本方法可以通过对神经网络的审查来提高理解。
Aug, 2019
该研究通过外显地对深度模型进行规则化,以便人类用户可以快速了解模型预测过程,训练了深度时间序列模型,使其类概率预测具有高准确性,同时又被节点较少的决策树紧密建模。通过直观的玩具示例以及用于治疗脓毒症和艾滋病的医学任务,我们展示了这种新的树规则化方法产生的模型比简单的 L1 或 L2 惩罚更容易被人类模拟,同时不会牺牲预测能力。
Nov, 2017
本文研究了 CART 方法构建的回归树的统计特性,发现训练误差由每个节点中的最优决策树与响应数据的 Pearson 相关性控制,并通过构建先验分布和解决非线性优化问题来限制其范围,利用训练误差和 Pearson 相关性之间的联系来展示当深度随样本大小的对数尺度变化时,使用 cost-complexity pruning 的 CART 方法可以实现最佳复杂度 / 拟合度权衡,同时,数据相关量可以适应回归模型的维度和潜在结构,控制预测误差的收敛速度。
Jun, 2020
本文提出了一种连续优化方法来构建精简的最佳分类树,基于斜裁剪,并旨在在整个树中使用较少的预测变量进行剪枝。该方法模拟了本地和全局稀疏性,证明了其对提高分类精度具有实用性。
Feb, 2020
提出了一种用于构建决策树的方法,可以近似复杂机器学习模型的性能,可用于解释和简化随机森林(RFs)和其他模型的预测模式。在医学问卷中,树形结构特别有意义,因为它使问卷自适应地缩短,减轻回答负担。 研究了分裂的渐近行为,并引入了一种改进的分裂方法,旨在稳定树形结构。经实验证明,我们的方法可以同时实现高近似性和稳定性。
Oct, 2016
通过使用智能猜测策略,我们可以在几个数量级的时间里降低运行时间,提供对最佳决策树误差和表达能力偏差的界限,并在许多情况下快速构建与黑盒模型的匹配精度的稀疏决策树。
Dec, 2021
本文首次开发了一种公平决策树归纳技术,即 “公平森林”,旨在解决机器学习算法中可能存在的公正性问题,并比其他替代方案提供了更高的准确性和公平性。作者还引入了针对多项和连续属性的新公平度量,并提出了一种全新的评估算法的评估方法,该方法考虑到整个数据集而不仅仅是特定保护属性。
Dec, 2017
该论文提出了一种算法,该算法能够基于全局目标同时优化决策树的所有级别的分裂函数和叶参数,使用随机梯度下降进行优化,实验结果表明,该算法相比贪心算法在分类任务的表现优秀。
Nov, 2015
通过一种代码生成方法来为决策树集成模型分配寄存器,从而在单个转换步骤中直接生成机器汇编代码,使决策树集成模型的推理性能得到显著提高。
Apr, 2024