Feb, 2024

相关性下的变量重要性排序挑战

PDF
TL;DR变量重要性在可解释机器学习中起着关键作用，它有助于衡量因素对预测模型输出的影响。我们的研究重点是评估和评估旨在解决变量重要性评估中特征相关性问题的方法，如条件预测影响（CPI）等，我们首先进行综合模拟研究，调查特征相关性对变量重要性评估的影响，然后通过 knockoff 构造从理论上证明高相关特征对 CPI 的限制。我们的发现强调了处理高特征相关性时的困难和方法在变量重要性评估中的实用性和局限性的必要性。
variable importanceinterpretable machine learningfeature correlationconditional predictive impact (cpi)knockoff construction
发现论文，激发创造
  • 通过条件排列统计有效变量重要性评估

    我们提出了条件置换重要性（CPI）的系统方法，通过为复杂机器学习应用中的变量重要性评估提供精确的类型 - I 错误控制，并在大规模数据集和深度神经网络中的实证研究中表现出最高准确性。

    Sep, 2023

  • 高维情况下的变量重要性需要分组

    解释机器学习算法的决策过程对模型性能提升和人类理解至关重要，通过评估单个变量的重要性来实现，甚至对于高容量的非线性方法，如深度神经网络（DNNs）。在高维设置中，引入了 BCPI（基于块的条件排列重要性）作为一种新的通用框架来计算变量的重要性，具备统计保证并处理单个和群组情况。此外，通过将 DNN 架构扩展为适用于群组结构的次线性层，我们还引入了一种新的堆叠方法，以处理高基数群组，该方法在高度相关的群组中控制了一类错误，并在基准测试中展现了顶级准确性。此外，我们对大规模医学数据集进行了实际数据分析，旨在展示生物标志物预测方面的研究结果与文献的一致性。

    Dec, 2023

  • 通用框架：关于对算法无关变量重要性的推断

    本文提出了关于变量重要性的非参数推断的一般框架，定义了变量重要性作为所有可用特征与除考虑特征外的所有特征之间的神谕可预测性的总体对比，并提出了有效的估计程序和策略。

    Apr, 2020

  • 随机森林中的相关性和变量重要性

    本篇论文针对高维回归或分类框架中预测变量高度相关的情况下的变量选择问题，研究使用随机森林算法的变量选择。论文提供了一种理论研究和模拟实验的方式，证明了使用递归特征排除算法作为排名标准对变量进行选择的高效性，并进行了陆地卫星数据集的测试。

    Oct, 2013

  • 非参数特征影响与重要性

    该论文提出了特征重要性和特征影响的数学定义，并通过局部依赖曲线直接在数据上对其进行评估，证明其在预测任务中与现有特征选择技术具有竞争力。

    Jun, 2020

  • 无法实现数据的变量重要性

    使用合作谢普利方法（Cohort Shapley）来验证黑盒预测算法的重要变量，并通过经济博弈理论来量化变量的重要性。该方法可以用于算法公平性问题，以确定受保护变量的重要性，并通过贝叶斯自助法估计 Shapley 值的不确定性。

    May, 2022

  • 所有的模型都是错误的，但很多都是有用的：通过同时研究整个预测模型类来学习变量的重要性

    该研究提出模型类依赖（MCR）作为评估预测模型准确性的变量重要性（VI）方法，通过考虑不同参数形式的多个预测模型来提供更全面的重要性描述，并将 MCR 应用于 Broward 县犯罪记录的公共数据集，研究了性别和种族对累犯预测模型的依赖关系。

    Jan, 2018

  • 通过随机森林回归进行特征重要性的去相关和趋势检测的概念

    本文介绍了基于 Gram-Schmidt 去相关方法的特征重要性新概念，并提出了用于使用随机森林回归确定数据趋势的绝对和相对横向速率两种估计器。然后，在各种合成和实际数据集上，将我们的估计器的性质与那些知名估计器进行了实证比较。

    Mar, 2023

  • 一种简单有效的基于模型的变量重要性度量方法

    本文提出了一种标准化的、基于模型的方法来测量监督学习算法中预测器的重要性，该方法适用于各种现代算法，如随机森林、梯度提升决策树等。

    May, 2018

  • 变量重要性云图：探索一组好模型的变量重要性的方法

    本文介绍了一个名为变量重要性云的概念，它将每个变量映射到所有良好预测模型中的重要性，并提出了变量重要性图表作为可视化工具，通过在犯罪司法、营销数据和图像分类任务中的实验证明了变量在近似等精度预测模型中的重要性可以发生很大变化。

    Jan, 2019