将尺子带入黑匣子：从个体条件期望图中揭示特征影响

KDDSep, 2021

将尺子带入黑匣子：从个体条件期望图中揭示特征影响

Bringing a Ruler Into the Black Box: Uncovering Feature Impact from Individual Conditional Expectation Plots

Andrew Yeh, Anhthy Ngo

TL;DR本研究提出一种新的基于 ICE 图的特征影响度量，可解释为类似于线性回归系数的模型无关，性能无关的特征影响度量，并介绍了 ICF 特征影响力的多样性，最后我们展示了这种实用性工具在几个现实世界的数据任务中的效用。

Abstract

As machine learning systems become more ubiquitous, methods for understanding and interpreting these models become increasingly important. In particular, practitioners are often interested both in what features the model relies on and how the model relies on them--the feature's impact

machine learning interpratation feature impact ice plots model-agnostic

发现论文，激发创造

黑盒子内部探究：以个体条件期望作图可视化统计学习

本文提出了个体条件期望（ICE）图形，这是一种可视化任何监督学习算法估计模型的工具，通过绘制每个观测值在特征的范围上的预测响应和特征之间的函数关系，突出了拟合值在协变量范围内的变化，提供了探索性分析的绘图工具和数据生成模型的可加结构的可视化检验。

Sep, 2013

黑盒模型特征重要性可视化

本文介绍了一种基于局部特征重要性的机器学习可解释性方法，提出了两个可视化工具：partial importance (PI) 和 individual conditional importance (ICI) plots，并引入了 Shapley feature importance，可以公平地分配模型性能，比较不同模型上的特征重要性。

Apr, 2018

黑盒监督学习模型中预测变量效果可视化

提出了一种名为积累局部影响（ALE）图的新的可视化方法，与 PD 图和 M 图相比，ALE 图不需要外推，并且不会因省略变量而产生偏差，它结合了 PD 图和 M 图的优点，是一种较少计算负担的数据可视化工具，用于对黑盒子监督学习模型进行主要因素和交互作用影响程度的可视化。

Dec, 2016

机器学习解释中的不确定性传达：用可视化分析方法进行预测过程监控

本研究探讨了如何在可靠和透明的决策机制中集成不确定性量化和模型可解释性方法，以促进可信的业务和运营过程分析。研究了如何在全局和本地后验解释方法中有效地传达模型不确定性，并检查了适当的可视化分析方法以促进方法论的集成。所提出的方法和界面也得到了专家的反馈。

Apr, 2023

动态建模场景下的部分依赖图解析 (iPDP)

提出了一种模型无关的可解释人工智能框架，称为增量 PDP (iPDP)，扩展了 PDP 来提取非平稳学习环境下的时间依赖特征效果，并展示了在漂移检测上的应用和在真实世界和合成数据集和数据流上进行多次实验。

Jun, 2023

预测不确定性的模型无关变量重要性：一种基于熵的方法

这篇论文介绍了如何将解释性方法扩展到具有不确定性意识的模型中，并演示了如何通过这些方法深入理解模型行为、特征对预测分布熵和真实标签对数似然的影响，以及不确定性来源对模型性能的影响。

Oct, 2023

非参数特征影响与重要性

该论文提出了特征重要性和特征影响的数学定义，并通过局部依赖曲线直接在数据上对其进行评估，证明其在预测任务中与现有特征选择技术具有竞争力。

Jun, 2020

超越单一特征重要性的冰激凌

通过识别 ICECREAM 对于任何模型中的常见和罕见事件进行基于联合的解释的研究，我们提出一种信息论定量度量来衡量变量联合对目标变量分布的影响，实验结果显示 ICECREAM 在解释性和根本原因分析方面优于其他方法，并在两个任务中取得了令人印象深刻的准确性。

Jul, 2023

机器学习解释的艺术与科学

本文讨论超越传统误差测量和图形评估机器学习模型的几种通用的解释方法，包括决策树模型、个体条件期望、局部可解释模型无关解释、偏置度量图和 Shapley 解释；并提供现实应用建议和公共软件示例以复现性检验。

Oct, 2018

机器学习中解释性不可信的原因：对部分依赖图的敌对攻击

该论文提出了一种对机器学习任务中基于排列的解释方法的脆弱性进行揭示的对抗性框架，特别关注了偏依赖图。通过修改原始黑盒模型以操作外推领域的实例预测，该框架能产生欺骗性的偏依赖图，可掩盖歧视行为并保留原模型大部分预测，从而使黑盒模型在 PD 图等解释工具下显得中立。研究结果使用真实数据集进行验证，发现可有意隐藏预测器的歧视行为，提供了对监管机构和从业人员的管理洞察。

Apr, 2024