Aug, 2020

可靠的事后解释：解释性中的不确定性建模

PDF
TL;DR本文提出了基于贝叶斯框架的黑盒模型解释方法，能够生成可靠的局部解释和其关联的不确定性，并且具有稳定性和高度一致性，可以快速地解决几个重要问题。通过实证研究，证明了该方法的有效性，并提高了解释的可靠性。
black box explanationsbayesian frameworklocal explanationsuncertaintyfeature importances
发现论文，激发创造
  • 强健稳定的黑盒解释

    通过敌对训练的方法，我们提出了一个生成稳健且高保真黑盒模型解释的新框架，尝试解决现有算法在受到分布偏移时缺乏稳定性和鲁棒性的问题，本文是首次尝试生成对一类有实际意义的敌对扰动具有鲁棒性的后续解释，实验发现我们的方法显著提高了解释的鲁棒性，而不会在原始数据分布上牺牲解释的保真度。

    Nov, 2020

  • 概念解释估计应该具备不确定性意识

    用可理解的人类概念来解释模型的全局解释的不稳定性问题以及提出了一种基于不确定性的贝叶斯估计方法，可以提高概念解释的可靠性。

    Dec, 2023

  • 可解释的贝叶斯多视角生成检索

    现代确定性检索管道通过集中追求最先进的性能，但在决策过程中往往缺乏可解释性。本文将不确定性校准和可解释性引入检索管道，通过引入贝叶斯方法和多角度检索来校准检索管道中的不确定性。我们结合 LIME 和 SHAP 等技术分析黑盒子再排模型的行为，并用这些解释方法得到的重要性分数作为补充关联分数来增强基本再排模型。通过在问答和事实核查任务上对不确定性校准和可解释性再排的评估，我们的方法在三个 KILT 数据集上展示了显著的性能提升。

    Feb, 2024

  • S-LIME: 模型解释的稳定化 LIME

    研究黑盒机器学习模型的解释方法，提出一种基于中心极限定理的假设测试框架方法，名为 S-LIME，以保证解释结果的稳定性，实验结果在模拟和真实数据集上表明该方法的有效性。

    Jun, 2021

  • 黑匣子 NLP 模型的解释：一项调查

    本文提出了一种基于中心极限定理的假设检验框架以确定所需扰动点的数量，从而保障解释稳定性的方法 S-LIME，以解决黑箱模型的可解释性问题。对模拟数据集和实际数据集进行的实验表明了该方法的有效性。

    Mar, 2022

  • LIME 和 SHAP 欺骗：对事后解释方法的对抗攻击

    本文提出一种新型的脚手架技术可以隐藏任何给定分类器的偏见，并演示了该技术如何可以欺骗常见的解释技术如 LIME 和 SHAP 生成无害的解释而不反映潜在的偏见。

    Nov, 2019

  • 无需获取模型的本地模型解释和不确定性

    我们提出了一个针对机器学习模型的模型无关算法，用于在仅可得到模型的输入输出样本而非对模型本身直接访问时生成事后解释和不确定性区间。

    Jan, 2023

  • 事后 XAI 方法中的可预测性与可理解性：用户中心分析

    评估 LIME 和 SHAP 两种常用工具的用户可理解性和可预测性，发现 SHAP 对于接近模型决策边界的样本提供的解释可理解性显著降低。此外，发现反事实解释和错误分类可以显著增加用户对机器学习模型决策的理解。根据研究结果，提出为未来的事后解释方法提供增加可理解性和可预测性的设计建议。

    Sep, 2023

  • 基于局部不变学习的本地不变解释：实现稳定单向解释

    提出了一种基于不变风险最小化 (IRM) 原则的模型无关局部解释方法，该方法能够稳定、直观地生成高保真度解释，该方法通过消除黑盒函数梯度在附近范围内突然变化的特征，实现了与实际邻居方法相当甚至更好的解释质量，同时没有必要花费过多时间来学习邻居结构。

    Jan, 2022

  • 为什么我应该信任你？": 解释任何分类器的预测

    本文提出了一种可解释性的机器学习算法解释技术 ——LIME，基于该技术可以在一个可解释且可靠的小规模模型内对任何分类器的预测进行解释，从而提高了可信度和可理解性，实现了对于信任度的估计及诸多信任场景的适用性。

    Feb, 2016