KDDJun, 2022

基于解释的反事实重训练（XCR）：黑盒模型校准方法

PDF
TL;DR本文提出了一种新的基于解释的反事实训练方法，即 eXplanation-based Counterfactual Retraining (XCR)，通过提取特征重要性来优化黑盒模型，解决了解释性人工智能的 Out-of-Distribution 问题和社会不协调问题，并在流行的图像数据集和数据损坏基准数据集中进行了实证研究，证明其有效性。
explainable artificial intelligenceout-of-distribution problemxai modelscounterfactual retrainingfeature importance
发现论文，激发创造
  • 利用因果发现对黑盒机器学习模型进行反事实解释，并应用于信用评级

    该研究提出了一种新的可解释人工智能框架，利用反事实概率和关于因果结构的先验信息，以实现通过因果发现方法和黑盒分类模型来估计因果图并估计解释得分，从而更准确地解释模型的内部机制。通过人工数据的数值实验和信贷评级的实际数据应用，证明了该方法在因果图未知的情况下的有效性。

    Feb, 2024

  • 校准解释：带不确定信息和反事实分析

    本文介绍了一种基于 Venn-Abers 的新型特征重要性解释方法 Calibrated Explanations，该方法能校准底层模型、生成特征重要性解释并对概率估计和特征重要性权重进行不确定性量化。此外，该方法对模型没有偏见、规则易于理解、可生成反事实解释和不确定性量化。

    May, 2023

  • 生成强健的反事实解释

    本文提出了一种名为 CROCO 的新框架，用于生成具有鲁棒性的反事实解释，并有效地管理反事实输入更改带来的挑战，针对表格数据进行评估，证明了该方法的有效性。

    Apr, 2023

  • 平滑解释黑匣子 —— 反事实方法

    该研究提出了一种黑盒对抗解释器来解释医学应用中的图像分类模型，并通过对诊断放射学居民进行实验，发现反事实解释是唯一能显着提高用户对分类器决策理解的解释方法。

    Jan, 2021

  • 使用概率对比假设解释黑盒算法

    该研究提出一种基于因果关系的方法来解释黑盒决策系统，并使用概率对比反事实证明其有效性，能够为受算法决策影响的个体提供可行的补救措施。该方法不需要了解算法内部结构，能够计算全局、局部和情境层面的有效解释和补救措施。经实验证明，该方法较 XAI 的其他流行算法效果更好。

    Mar, 2021

  • 基准测试可解释性人工智能的反事实算法：从白盒到黑盒

    该研究通过在三种不同类型的机器学习模型上进行基准评估来调查机器学习模型对反事实解释生成的影响，发现不同的机器学习模型对反事实解释生成没有影响，强烈建议进行定性分析来确保反事实解释的稳健分析和潜在偏差的识别。

    Mar, 2022

  • 针对数据转换下的反事实解释鲁棒性的验证训练

    这篇论文介绍了 VeriTraCER，一种联合训练分类器和解释器的方法，明确考虑生成的反事实解释对小型模型偏移的稳健性，从而提供对反事实解释有效性的确定性保证。我们的实证评估表明，VeriTraCER 生成的反事实解释 (1) 对小型模型更新具有可验证的稳健性，(2) 在处理包括随机初始化、leave-one-out 和分布偏移等经验模型更新方面显示出与最先进方法竞争力的稳健性。

    Mar, 2024

  • 通过概念特定的解释揭示分割和物体检测中的隐藏上下文偏差

    本文提出了后续可解释的人工智能方法 L-CRP，可以生成更细致的解释，自动识别和可视化模型在推理过程中学习、识别和使用的相关概念，并在输入空间中精确定位它们，进而揭示和验证背景特征的使用和存在，并说明对各个流行数据集的效果。

    Nov, 2022

  • 基于树形集成的稳健反事实解释

    本文利用 RobX 策略生成树模型集合的鲁棒性反事实解释，并使用 Counterfactual Stability 度量方法评估这些解释的稳健性。结果表明，与现有的最先进的方法相比，我们的策略生成的反事实解释显著更加鲁棒和真实。

    Jul, 2022

  • PairCFR：通过对比学习增强对配对因果增强数据模型训练

    通过对已有数据样本进行最小且充分的修改以改变其标签，Counterfactually Augmented Data (CAD) 创建新的数据样本。与 CAD 训练可以增强模型对与标签相关的偶然特征的鲁棒性相比，最新的研究表明，通过 CAD 训练可能导致模型过分关注修改后的特征，而忽视其他重要的上下文信息，无意中引入可能损害在分布外数据集上性能的偏见。为了缓解这个问题，在学习反事实线索的同时，我们采用对比学习来促进全局特征对齐。我们在两个人工编辑的 CAD 数据集上进行了全面的实验证明，我们提出的方法在分布外数据集上优于现有技术。

    Jun, 2024