Oct, 2023

提升随机森林的本地可解释性：一种基于邻近性的方法

PDF
TL;DR通过利用随机森林模型中的特征空间中的点之间的相似性，我们提出了一种新的方法来解释随机森林的样本外表现，这使得随机森林的预测可以准确地重写为训练数据点目标标签的加权平均值，并为模型预测生成任何观测的归因，从而补充了 SHAP 等现有的针对模型预测在特征空间维度上生成的归因的方法。我们在美国公司债券交易的债券定价模型的背景下演示了这种方法，并将其与各种现有的模型可解释性方法进行了比较。
random forestweighted k nearest-neighbors modelproximityexplainabilitybond pricing model
发现论文，激发创造
  • 利用随机森林相似度距离阐明特征贡献

    通过观察输入的变化如何映射到决策空间中的实例的移动，随着输入的改变将特定的实例靠近内部组或外部组，可以揭示每个要素的独立贡献，从而计算特征对于决策过程的贡献，这使得黑盒决策的解释成为可能。

    Jul, 2018

  • 基于示例的随机森林预测解释

    通过计算训练示例的标签和由森林叶子确定的一组权重之间的数量积可以得到一个随机森林预测；因此，每个预测可以由这些权重非零的训练示例集来解释。研究发现，这种解释所涉及的示例数量与训练集的维度和随机森林算法的超参数有关，这意味着可以通过变化这些参数在一定程度上控制每个预测所涉及的示例数量。然而，对于导致所需预测性能的设置而言，每个预测所涉及的示例数量可能过大，使用户无法掌握解释。为了提供更有用的解释，提出了一种修改后的预测过程，只包括具有最高权重的示例。对回归和分类任务的研究表明，与标准预测过程相比，可以显著减少每个解释中使用的示例数量，同时仍然保持或提高预测性能。

    Nov, 2023

  • RF + 聚类模型在留一验证中的性能敏感度分析

    本研究提出了一种改进的 RF + clust 方法，通过调整基于距离的权重与回归模型的特征相关性来解决 LOPO 问题，并在 CEC 2014 基准套件上实验证明了其优越性。

    May, 2023

  • 决策森林的快速近似反事实解释

    本文提出一种简单且有效的方法，将寻找分类或回归森林的反事实解释所需的最优化问题限制在由实际数据点填充的森林定义的输入空间区域，并使用某个数据集上的某个距离的最近邻搜索来解决问题。这种解决方式有两个优点：能够快速找到解决方案，并且更有可能是现实的，因为它是引导向输入空间的高密度区域的。

    Mar, 2023

  • 弱学习器解释的组合以提高随机森林的解释和鲁棒性

    通过组合弱学习者解释的鉴别平均值，可以提高集成方法中解释的鲁棒性。该方法利用后续的 SHAP 方法和随机森林集成进行实施和测试，并取得了成功的结果。通过定量测量获得的改进，并提供了一些关于集成方法中可解释性鲁棒性的见解。

    Feb, 2024

  • 使用 SAT 解释随机森林

    本文证明了求出随机森林的一个 PI 解释是 D^P 完全的，并提出了一种命题编码方法，以使用 SAT 求解器找到 PI 解释。实验结果表明，该 SAT 方法的效果显著优于现有的启发式方法。

    May, 2021

  • 树状可解释人工智能：从局部解释到全局理解

    通过运用博弈论、局部特征交互作用效应和全局模型结构，我们实现了对基于树的机器学习模型的高可解释性，应用于三个医疗机器学习问题，在透露模型全局结构的同时保持其基本特征，识别出美国人口中高强度但低频率的非线性死亡风险因素，突显具有共同危险特征的明显人口亚组，识别出慢性肾脏疾病危险因素之间的非线性交互作用效应，并监测在医院部署的机器学习模型（Identifying factors leading to model's performance decay over time）

    May, 2019

  • 树集成分类器的概念视角

    本文提出了一种基于格论的代数方法来解释树集成分类器中随机森林的分类性能，并展示了该方法在提供全局解释方面的能力。

    Feb, 2023

  • 最优加权随机森林

    本文提出了一种基于权重优化的随机森林算法，通过极小化预测误差和风险来决定基本学习器的权重，实验结果显示该算法在回归问题上的预测精度优于其他算法。

    May, 2023

  • 广义随机森林

    该研究提出了广义随机森林方法，用于基于随机森林进行非参数统计估计，可以用于拟合任何被识别为满足一组局部矩方程的解的感兴趣数量，提出了一种灵活且计算有效的算法以及新的非参数回归，条件平均偏差估计和异质性治疗效应估计方法，通过本研究可用 GRF 软件实现。

    Oct, 2016