Sep, 2023

事后 XAI 方法中的可预测性与可理解性：用户中心分析

PDF
TL;DR评估 LIME 和 SHAP 两种常用工具的用户可理解性和可预测性，发现 SHAP 对于接近模型决策边界的样本提供的解释可理解性显著降低。此外，发现反事实解释和错误分类可以显著增加用户对机器学习模型决策的理解。根据研究结果，提出为未来的事后解释方法提供增加可理解性和可预测性的设计建议。
post-hoc explainability methodsuser studylimeshapcomprehensibility and predictability
发现论文，激发创造
  • 如何选择一个解释器？一个基于应用的后续解释评估

    提出了一种名为 XAI Test 的应用基准评估方法，旨在评估不同水平的信息提供对最终决策的影响，针对现实世界的欺诈检测任务进行了实验，并使用多种统计方法分析了三种热门解释器的影响。

    Jan, 2021

  • 整合先前知识的事后解释

    本文提出了一种新的解释性方法框架，它在拟合先验知识与解释可解释性目标之间增加了兼容性项，并在反事实解释上实例化了提出的形式化方法，称为知识整合反事实解释（KICE）。

    Apr, 2022

  • LIME 和 SHAP 欺骗：对事后解释方法的对抗攻击

    本文提出一种新型的脚手架技术可以隐藏任何给定分类器的偏见，并演示了该技术如何可以欺骗常见的解释技术如 LIME 和 SHAP 生成无害的解释而不反映潜在的偏见。

    Nov, 2019

  • 神经网络自然语言处理的事后可解释性：一项综述

    本文主要讨论了近期后续方法如何向人类传达模型解释的分类，深入讨论了每种方法及其验证过程。

    Aug, 2021

  • 可解释人工智能方法评论：SHAP 和 LIME

    这篇论文探讨解释的可解释人工智能（XAI）方法，特别是 SHapley 加性解释和局部可解释模型无关解释等两种使用广泛的方法，提出一个框架来解释它们的输出，强调它们的优缺点。

    May, 2023

  • 消除不可能，剩下的必然是真实的

    研究使用背景知识使得可解释的人工智能更简洁易懂，并使用现有的规则归纳技术从数据集中提取背景信息来做出预测并报告使用的背景信息，帮助人类检查解释的正确性。

    Jun, 2022

  • 事后反事实解释的问题：一次讨论

    本文探讨了后设反事实解释方法对数据和分类器的基本假设导致其在很多情况下的不可靠性，并提出了近似性、连通性和稳定性三种量化方法和途径。另外，本文还证明了后设反事实方法不满足这些属性的风险。

    Jun, 2019

  • 可靠的事后解释：解释性中的不确定性建模

    本文提出了基于贝叶斯框架的黑盒模型解释方法，能够生成可靠的局部解释和其关联的不确定性，并且具有稳定性和高度一致性，可以快速地解决几个重要问题。通过实证研究，证明了该方法的有效性，并提高了解释的可靠性。

    Aug, 2020

  • 即使解释：正式基础、优先级和复杂性

    对于可解释人工智能的半事实即使思考的局部事后解释性查询进行了研究，比较了不同类别的模型的计算复杂度，发现线性模型和基于树的模型比神经网络更具可解释性。然后引入了一种基于偏好的框架，使用户能够根据其偏好进行个性化解释，无论是在半事实还是对事实进行优化，增强了可解释性和用户中心性。最后，探索了所提出的基于偏好的框架中几个可解释性问题的复杂性，并提供了多项式情况下的算法。

    Jan, 2024

  • 后因解释的危险性：不合理的反事实解释

    通过研究局部邻域，探究人工构建的反事实解释是否为实际数据知识，发现存在较高风险，多数最前沿方法不能区分有解释性的反事实实例和不合理实例。

    Jul, 2019