Apr, 2023

因果解释的分歧：透明度如何具有欺骗性

PDF
TL;DR本文针对可解释人工智能中的对策解释方法（Counterfactual explanations）中存在的异议问题（the disagreement problem）进行了大规模实证研究，发现不同算法生成的解释之间存在高度异议，从而呼吁更多关于算法决策透明度的讨论和实验研究。
发现论文，激发创造
  • 反事实解释的多样性实现：综述和讨论

    本文综述了可解释人工智能（XAI）领域中的对抗事实例，这些例子通过指示对实例进行的修改来解释训练决策模型的预测，以改变其相关预测。同时，本文探讨了可解释人工智能中多元对抗事实例的概念定义，讨论了它们的基本原理以及它们依赖的用户需求的假设，并提出了这方面的进一步研究挑战。

    May, 2023

  • CERTIFAI：人工智能模型鲁棒性、透明度、可解释性和公平性的因果推断解释

    本文介绍了一个通用工具 CERTIFAI，可以应用于任何黑盒模型和任何类型的输入数据，通过生产接近输入但改变模型预测的 counterfactuals，探讨机器学习模型的鲁棒性、可解释性、透明性和公平性，并介绍了第一个黑盒模型鲁棒性分数 CERScore。

    May, 2019

  • 揭示反事实解释在就业能力的潜力

    本研究提出反事实解释在复杂机器学习算法下的应用，以数据实例展示其在雇用相关问题中提高决策支持、遵守法律要求、引导受控变更和分析新颖洞见的作用。

    May, 2023

  • 可解释人工智能中的反事实和因果：理论、算法和应用

    本研究对可解释人工智能中反事实和因果关系的分类算法进行了系统考察，发现当前的模型无法促进因果性，提出了新的方向和挑战。

    Mar, 2021

  • 使用概率对比假设解释黑盒算法

    该研究提出一种基于因果关系的方法来解释黑盒决策系统，并使用概率对比反事实证明其有效性，能够为受算法决策影响的个体提供可行的补救措施。该方法不需要了解算法内部结构，能够计算全局、局部和情境层面的有效解释和补救措施。经实验证明，该方法较 XAI 的其他流行算法效果更好。

    Mar, 2021

  • 校准解释：带不确定信息和反事实分析

    本文介绍了一种基于 Venn-Abers 的新型特征重要性解释方法 Calibrated Explanations，该方法能校准底层模型、生成特征重要性解释并对概率估计和特征重要性权重进行不确定性量化。此外，该方法对模型没有偏见、规则易于理解、可生成反事实解释和不确定性量化。

    May, 2023

  • 可解释人工智能在数据驱动系统中的隐私影响

    机器学习模型的不透明性威胁到其可解释性，可解释人工智能（XAI）技术通过提供解释 ML 模型内部决策过程的框架和方法来解决这一挑战，同时维护隐私的难题需要在理解 ML 决策和保护隐私之间找到平衡点。

    Jun, 2024

  • 反事实解释可被操纵

    本文介绍了反事实解释的脆弱性并表明其容易被操纵，进一步提出了一个新颖的目标来训练明显公平的模型，在轻微扰动下反事实解释可以找到更低成本的救济措施。然而，我们在贷款和暴力犯罪预测数据集上的实验表明，这些模型可能会不公平地提供低成本的救济措施给特定的子群体。这些发现引起了对当前反事实解释技术可信度的担忧，并希望能启发对健壮性反事实解释的探索。

    Jun, 2021

  • 如果我们有更好的反事实解释：修正反事实 XAI 技术评估中的五个主要不足

    该论文通过调查 100 种不同的反事实解释方法，评估这些方法在心理和计算上的不足，并列出了五个关键的评估缺陷，并提出了标准化基准评估的路线图来解决这些影响该领域科学进展的问题。

    Feb, 2021

  • 机器学习的反事实解释和算法补救措施综述

    本文综述分类了反事实解释的研究，包括如何评估和设计反事实解释算法，探讨了反事实解释在机器学习领域中的研究方向和发现的不足之处。

    Oct, 2020