动态建模场景下的部分依赖图解析 (iPDP)
通过通过使用已知或假设的输入变量的因果结构,以产生监督学习模型的简单和实用解释,并将这些解释可视化,提出了因果依赖图,即 CDP。CDP 可以成为可解释的 AI 或可解释 ML 工具箱中的有力工具,并有助于科学机器学习和算法公平性的应用,也可以用于模型无关说明。
Mar, 2023
该论文研究了预测模型可解释性的方法,发现 Partial Dependence (plots, profiles, PDP) 等方法并不可靠,易受到对抗攻击,本文提出使用基因算法等方法对这些解释方式进行攻击,并警告这种攻击在金融和医学等领域具有潜在风险。
May, 2021
本文提出了个体条件期望(ICE)图形,这是一种可视化任何监督学习算法估计模型的工具,通过绘制每个观测值在特征的范围上的预测响应和特征之间的函数关系,突出了拟合值在协变量范围内的变化,提供了探索性分析的绘图工具和数据生成模型的可加结构的可视化检验。
Sep, 2013
该论文提出了一种对机器学习任务中基于排列的解释方法的脆弱性进行揭示的对抗性框架,特别关注了偏依赖图。通过修改原始黑盒模型以操作外推领域的实例预测,该框架能产生欺骗性的偏依赖图,可掩盖歧视行为并保留原模型大部分预测,从而使黑盒模型在 PD 图等解释工具下显得中立。研究结果使用真实数据集进行验证,发现可有意隐藏预测器的歧视行为,提供了对监管机构和从业人员的管理洞察。
Apr, 2024
提出了一种名为 iPFI 的有效的、模型无关的算法,用于在动态建模条件下估计特征边际化的增量特征重要性评估方法,包括概念漂移。实验证明,相比传统的批处理 PFI 方法,该方法具有良好的效果。
Sep, 2022
提出了一种名为积累局部影响(ALE)图的新的可视化方法,与 PD 图和 M 图相比,ALE 图不需要外推,并且不会因省略变量而产生偏差,它结合了 PD 图和 M 图的优点,是一种较少计算负担的数据可视化工具,用于对黑盒子监督学习模型进行主要因素和交互作用影响程度的可视化。
Dec, 2016
本研究探讨了如何在可靠和透明的决策机制中集成不确定性量化和模型可解释性方法,以促进可信的业务和运营过程分析。研究了如何在全局和本地后验解释方法中有效地传达模型不确定性,并检查了适当的可视化分析方法以促进方法论的集成。所提出的方法和界面也得到了专家的反馈。
Apr, 2023
通过使用用户提供的反事实来生成 POMDP 策略的对比解释,探索可解释人工智能的方法以提高系统透明度并建立信任,本文以 Search and Rescue (SAR) 为例进行了分析和讨论相关挑战。
Mar, 2024
本研究提出一种新的基于 ICE 图的特征影响度量,可解释为类似于线性回归系数的模型无关,性能无关的特征影响度量,并介绍了 ICF 特征影响力的多样性,最后我们展示了这种实用性工具在几个现实世界的数据任务中的效用。
Sep, 2021
本文针对深度学习模型的可解释性分析依赖因素作出第一次研究,提出 Explanation Dependency Decomposition 方法,并使用解释验证预测结果。
Dec, 2020