ICMLJun, 2019

事后反事实解释的问题：一次讨论

PDF
TL;DR本文探讨了后设反事实解释方法对数据和分类器的基本假设导致其在很多情况下的不可靠性，并提出了近似性、连通性和稳定性三种量化方法和途径。另外，本文还证明了后设反事实方法不满足这些属性的风险。
post-hoc interpretabilityblackbox classifierproximityconnectednessstability
发现论文，激发创造
  • 后因解释的危险性：不合理的反事实解释

    通过研究局部邻域，探究人工构建的反事实解释是否为实际数据知识，发现存在较高风险，多数最前沿方法不能区分有解释性的反事实实例和不合理实例。

    Jul, 2019

  • 来自反事实解释的模型提取

    本文介绍了后验方法中计数事实解释作为黑盒机器学习模型的后解释技术中越来越受欢迎的方法，但使用该方法泄露了与模型相关的信息，攻击者可以建立一个忠实副本。通过在真实世界数据集上进行评估，我们证明了该攻击可以在低查询预算下实现高保真度和高准确度的模型提取，进而引出了隐私问题。

    Sep, 2020

  • 通过不同的反事实解释解释机器学习分类器

    本文提出了一种基于决定点过程的生成和评估多样性反事实解释的框架，旨在优化反事实行为的可行性和多样性，并提供了可比较的度量标准来评估反事实方法。通过实验，验证了该框架能生成多样性的反事实，并且能有效地近似本地决策边界。

    May, 2019

  • 针对表格数据的学习模型无关反事实解释

    本文提出了一种新的方法 ——C-CHVAE，该方法可以生成可实现的反事实解释，以更好地满足反事实解释的质量要求。

    Oct, 2019

  • 生成强健的反事实解释

    本文提出了一种名为 CROCO 的新框架，用于生成具有鲁棒性的反事实解释，并有效地管理反事实输入更改带来的挑战，针对表格数据进行评估，证明了该方法的有效性。

    Apr, 2023

  • 事后 XAI 方法中的可预测性与可理解性：用户中心分析

    评估 LIME 和 SHAP 两种常用工具的用户可理解性和可预测性，发现 SHAP 对于接近模型决策边界的样本提供的解释可理解性显著降低。此外，发现反事实解释和错误分类可以显著增加用户对机器学习模型决策的理解。根据研究结果，提出为未来的事后解释方法提供增加可理解性和可预测性的设计建议。

    Sep, 2023

  • 贝叶斯分层模型用于反事实估计

    本文提出一个新的概率模型，用于计算模型的多个对抗性解释。该模型可以共享群体分组的信息，并保留领域特定的约束条件，同时评估不确定性，并得出合理、稀疏、多样和可行的结果。

    Jan, 2023

  • 反事实解释可被操纵

    本文介绍了反事实解释的脆弱性并表明其容易被操纵，进一步提出了一个新颖的目标来训练明显公平的模型，在轻微扰动下反事实解释可以找到更低成本的救济措施。然而，我们在贷款和暴力犯罪预测数据集上的实验表明，这些模型可能会不公平地提供低成本的救济措施给特定的子群体。这些发现引起了对当前反事实解释技术可信度的担忧，并希望能启发对健壮性反事实解释的探索。

    Jun, 2021

  • 利用生成潜空间中的对比可反事实来解释图像分类器

    在不需要重新训练或调整的情况下，使用预训练的生成模型，介绍了生成因果关系和可解释的反事实解释方法，以提供对黑匣子算法的透明性，并获得对面部属性分类器的对比和因果支持和必要分数，从而展示不同属性如何影响分类器输出。

    Jun, 2022

  • 评价反事实解释的鲁棒性

    本研究旨在正式和实证研究了解反事实解释的鲁棒性，以及在不同模型和不同类型扰动下的鲁棒性，并提出合理的反事实解释来改进鲁棒性和个体平等。

    Mar, 2021