ICMLOct, 2022

利用可解释的人工智能来提高神经网络的性能

PDF
TL;DR本研究提出了一种重新训练流程，使用 SHapley Additive explanations 值，从 XAI 入手并利用最先进的技术来增加模型的透明度和可信度，在人数统计场景和图像分类数据集上进行了实验验证，结果表明使用 SHAP-based 重新训练方法比使用相等加权训练方法更有效，分别提高了 4% 和 3% 的准确率。
explainable artificial intelligenceshapley additive explanationsretraining pipelinemodel transparencyperformance improvement
发现论文，激发创造
  • 机器学习模型中的统一解释：一种扰动方法

    面向可解释人工智能（XAI）的高速范式转变已在近年来出现。高度复杂的机器学习（ML）模型在许多智能任务中蓬勃发展，而问题开始从传统的有效性度量转向更深层次的问题：该模型告诉我关于我的数据什么，它是如何得出这些结论的？XAI 和建模技术之间的不一致可能对这些解释性方法的效力产生质疑。为了解决这些问题，我们提出了一种针对流行的 XAI 的模型不可知方法 SHapley Additive exPlanations（Shap）进行系统的扰动分析。我们设计了一些算法，在动态推理的设置下生成相对特征重要性，这些设置针对一套流行的机器学习和深度学习方法，以及允许我们量化静态情况下生成解释的质量的度量指标。我们提出了特征重要性方法论的分类体系，度量了一致性，并观察了几个数据集中解释模型之间的可量化相似性。

    May, 2024

  • 可解释人工智能方法评论：SHAP 和 LIME

    这篇论文探讨解释的可解释人工智能（XAI）方法，特别是 SHapley 加性解释和局部可解释模型无关解释等两种使用广泛的方法，提出一个框架来解释它们的输出，强调它们的优缺点。

    May, 2023

  • 关于时间序列 XAI 方法的严格评估

    本文介绍了将之前主要用于图像和文本领域的可解释人工智能（XAI）方法应用于时间序列上的新方法。作者提出了一种方法来测试和评估各种对于时间序列的 XAI 方法，并介绍了新的验证技术用以融入时间维度。作者进一步进行了初步实验来评估所选 XAI 方法的解释质量，并证明了在初步实验中，SHAP 方法的工作表现很强，但是像 DeepLIFT，LRP 和 Saliency Maps 等方法却更适用于特定的架构。

    Sep, 2019

  • 利用 SHAP 进行可解释的金融股票交易强化学习

    该研究提出在金融证券交易中利用 SHAP 方法解释深度强化学习架构的决策机制，证明其可行性并在 SENSEX 和 DJIA 数据集上验证其效果。

    Aug, 2022

  • 临床数据可解释人工智能方法的实证比较：以创伤性脑损伤为例的案例研究

    利用结构化表格和时间序列生理数据实现了创伤性脑损伤 (TBI) 的短期和长期预测模型，使用六种不同的解释技术分析了局部和全局的预测模型，并对每种方法的优缺点进行了比较，发现 SHAP 是最稳定的，且保真度最高，但理解度低。

    Aug, 2022

  • 基于解释性人工智能的自适应学习与 SHAP 聚类在能耗预测方面的应用

    通过整合可解释的人工智能技术与自适应学习，本论文提出了一种方法来增强能源消耗预测模型，重点处理数据分布变化。利用 SHAP 聚类方法，我们的方法能够为模型的预测结果提供可解释的解释，并利用这些洞察力来自适应地改进模型，平衡模型复杂度和预测性能。我们引入了一个三阶段的过程：(1) 获取 SHAP 值以解释模型的预测结果，(2) 通过聚类 SHAP 值来识别不同的模式和异常值，以及 (3) 根据得到的 SHAP 聚类特征来改进模型。我们的方法能够减轻过拟合并确保处理数据分布变化的鲁棒性。我们在一个包含建筑物能耗记录以及两个额外数据集的综合数据集上评估了我们的方法，以评估我们的方法在其他领域、回归和分类问题中的可迁移性。我们的实验结果表明，我们的方法在两种任务类型中均具有有效性，能够改善预测性能并提供可解释的模型解释。

    Feb, 2024

  • 视觉解释的可解释人工智能基准

    深度学习算法的崛起在计算机视觉任务中取得了重大进展，但它们的 “黑匣子” 性质引发了对可解释性的关注。可解释人工智能（XAI）作为一个重要的研究领域出现，旨在打开这个 “黑匣子”，并揭示人工智能模型的决策过程。视觉解释作为可解释人工智能的一个子集，通过突出显示输入图像中的重要区域，为处理视觉数据的人工智能模型的决策过程提供直观的见解。我们提出了一个 XAI 基准，其中包括来自不同主题的数据集集合，为图像提供了类别标签和相应的解释注释。我们引入了一个全面的视觉解释流程，在这个流程中整合了数据加载、预处理、实验设置和模型评估过程。此结构使研究人员能够公平比较各种视觉解释技术。此外，我们对视觉解释的超过 10 种评估方法进行综合评述，以帮助研究人员有效利用我们的数据集合。为了进一步评估现有的视觉解释方法的性能，我们使用各种以模型为中心和以真实标注为中心的评估指标在选定的数据集上进行实验。我们希望这个基准可以推动视觉解释模型的进步。这个 XAI 数据集合和用于评估的易于使用的代码公开可访问。

    Oct, 2023

  • 解决谜题：推导深度网络的最优解释

    通过整合不同的解释方法并利用非线性的 “解释优化器”，我们提出了一种新颖的框架，旨在增强深度神经网络的可解释性，并通过实验证实了其有效性。

    May, 2024

  • 可解释性并非游戏

    这篇论文提出了一个简单的论点：Shapley 值可能会给出误导性的相对特征重要性量度，从而不仅会将更多的重要性分配给与预测无关的特征，而且会给与与预测相关的特征更少的重要性，这对于高风险应用领域中相对特征重要性的许多提议使用产生了挑战。

    Jun, 2023

  • 可解释人工智能 (XAI) 中的机遇与挑战：一份调查

    本文介绍了深度学习中可解释人工智能技术（XAI），提出了技术分类法并介绍了方法学、范畴和应用层次等主要原则，旨在建立可信、可解释和自说明的深度学习模型。此外，通过八种不同的可解释人工智能算法对图像数据进行了评估，讨论了这种方法的局限性，并提出了未来改进的潜在方向。

    Jun, 2020