快速可解释的贪心树求和 (FIGS)
我们提出了一种新方法,名为 G-FIGS ,可以在医疗领域等高风险领域中处理有限的训练数据,同时保持模型的可解释性。该方法使用实例的权重在数据集中有效地汇集不同组,生成简明的基于规则的模型。在一些重要的临床数据集上,与 CART 和 FIGS 唯一相比,G-FIGS 可用于增加特异度,从而提高诊断敏感性,同时维持 FIGS 的规则数量在 16 条以下,且规则与医学领域的专业知识相匹配。
May, 2022
本文提出了一种能够全局解释黑匣子机器学习模型的简单而有效的方法,即使用紧凑的二叉树 “解释树” 显式地表示隐含在黑匣子机器学习模型中的最重要的决策规则,而这个树是从贡献矩阵中学习得来的,通过递归地最大化区分空间之间分裂变量的平均贡献差来划分输入变量空间。我们通过多任务的机器学习模型诊断实验证明了我们方法的有效性,同时也便于人类理解机器学习模型。
Feb, 2018
决策树和决策规则系统在分类器、知识表示工具和算法方面发挥重要作用。本文研究了这两个模型之间的关系,考虑了将决策树转换为决策规则系统的逆转换问题,并提出了一种基于贪婪多项式时间算法,在给定属性值元组上模拟决策树操作的方法。
Jan, 2024
该研究提出了一种新方法来推断不同的规则集,通过在 Max-Sum 多样化框架下优化决策规则之间的小重叠,以及在鉴别品质和规则集多样性之间最大化加权总和,来克服联想规则指数级搜索空间的困难。该算法通过随机采样高度鉴别且重叠小的规则,并证明其拥有更好的预测能力和解释性。
Jun, 2020
该论文提出了 FIRE (快速可解释规则提取) 算法,通过优化框架从树集成模型中提取出易于理解的、稀疏的代表性决策规则集合,同时鼓励规则融合以提高模型可解释性,算法通过特殊优化器可实现 40 倍于现有优化器的性能。实验表明,该方法在构建稀疏规则集方面优于现有算法,并能提供比现有方法更可解释的模型。
Jun, 2023
本研究设计了一个 MIO(mixed integer optimization)框架,用于学习最优的分类树算法,以及与任意公平性约束进行扩展;提出了一个新的模型可解释性度量标准,称为决策复杂度;在流行数据集上,我们对公平性、可解释性及预测准确性之间的权衡进行了综合分析,证明了我们的方法在几乎完全平等的情况下仍能保持精度.
Jan, 2022
提出了一种用于构建决策树的方法,可以近似复杂机器学习模型的性能,可用于解释和简化随机森林(RFs)和其他模型的预测模式。在医学问卷中,树形结构特别有意义,因为它使问卷自适应地缩短,减轻回答负担。 研究了分裂的渐近行为,并引入了一种改进的分裂方法,旨在稳定树形结构。经实验证明,我们的方法可以同时实现高近似性和稳定性。
Oct, 2016
提出了一个两阶段概率推理模型,ThinkSum,用于大语言模型的推理和理解。ThinkSum 能够对多个对象或事实进行结构化推理和引用,并在 BIG-bench 评估任务中取得了改进成果。
Oct, 2022
决策树具有易于解释的优点,因为它们允许根据 if-then 规则对输入数据进行分类。然而,决策树是由算法构建的,该算法在达到清晰分类的同时使用最少的必要规则,因此,即使数据中存在各种潜在规则,树也只提取最少规则。为了解决这个问题,本文提出了 “MAABO-MT” 和 “GS-MRM” 算法,它们分别在具有小计算复杂性的所有可能树中构建具有高估计性能的树,以及仅提取可靠且不相似的规则。通过使用几个开源数据集进行实验分析,结果证实了 MAABO-MT 以较低的计算代价发现可靠规则,比其他依赖随机性的方法更为有效。此外,所提出的方法被证实在深入挖掘相比之前常用的单一决策树的研究中提供更深入的见解。因此,MAABO-MT 和 GS-MRM 能够高效地从组合爆炸的决策树中提取规则。
Oct, 2023