Greybox XAI: 一种神经符号学习框架，用于生成可解释的图像分类预测

Sep, 2022

Greybox XAI: 一种神经符号学习框架，用于生成可解释的图像分类预测

Greybox XAI: a Neural-Symbolic learning framework to produce interpretable predictions for image classification

Adrien Bennetot, Gianni Franchi, Javier Del Ser, Raja Chatila, Natalia Diaz-Rodriguez

TL;DR通过形式化说明解释是什么，提出一些公理和定义来澄清可解释的人工智能的数学角度。最后，我们提出了一个 Greybox XAI 框架，该框架通过使用符号知识库将 DNN 和透明模型组成。我们从数据集中提取知识库，并使用它来训练透明模型（即逻辑回归）。然后，我们在 RGB 图像上训练编码器 - 解码器架构，以产生类似于透明模型使用的知识库的输出。一旦两个模型独立地训练好后，它们就在组成的形式上用于形成可以解释的预测模型。我们展示了这种新的架构在几个数据集中是准确的和可以解释的。

Abstract

Although deep neural networks (DNNs) have great generalization and prediction capabilities, their functioning does not allow a detailed explanation of their behavior. opaque deep learning models are increasingly

deep neural networks opaque deep learning models explainable artificial intelligence predictive model explanations

发现论文，激发创造

视觉解释的可解释人工智能基准

深度学习算法的崛起在计算机视觉任务中取得了重大进展，但它们的 “黑匣子” 性质引发了对可解释性的关注。可解释人工智能（XAI）作为一个重要的研究领域出现，旨在打开这个 “黑匣子”，并揭示人工智能模型的决策过程。视觉解释作为可解释人工智能的一个子集，通过突出显示输入图像中的重要区域，为处理视觉数据的人工智能模型的决策过程提供直观的见解。我们提出了一个 XAI 基准，其中包括来自不同主题的数据集集合，为图像提供了类别标签和相应的解释注释。我们引入了一个全面的视觉解释流程，在这个流程中整合了数据加载、预处理、实验设置和模型评估过程。此结构使研究人员能够公平比较各种视觉解释技术。此外，我们对视觉解释的超过 10 种评估方法进行综合评述，以帮助研究人员有效利用我们的数据集合。为了进一步评估现有的视觉解释方法的性能，我们使用各种以模型为中心和以真实标注为中心的评估指标在选定的数据集上进行实验。我们希望这个基准可以推动视觉解释模型的进步。这个 XAI 数据集合和用于评估的易于使用的代码公开可访问。

Oct, 2023

解决谜题：推导深度网络的最优解释

通过整合不同的解释方法并利用非线性的 “解释优化器”，我们提出了一种新颖的框架，旨在增强深度神经网络的可解释性，并通过实验证实了其有效性。

May, 2024

深度神经网络的解释处理

本文发现了一个问题：通过微调输入图像，我们可以演示图像识别的解释方式可以通过进化策略对其进行任意操作。通过我们的 Adversarial XAI 算法 AttaXAI，我们能够在不使用梯度或其他模型内部的情况下，成功地在黑盒设置下操作解释方法，从而实现了对图像做微小改变却使 XAI 方法输出特定解释的目标。

Nov, 2022

改进分类器性能的通用框架：基于可解释人工智能方法

该论文提出了一个使用可解释人工智能技术方法来自动提升预训练深度学习分类器性能的通用框架，避免了重新训练复杂模型所带来的计算开销，通过两种不同的学习策略，自动编码器和编码器 - 解码器，来实现这一架构。

Mar, 2024

可解释的神经符号视觉推理

本文讨论了为非技术用户产生解释的最有效和高效的解决方案，提出了一种基于连接主义和符号范式的推理模型来解释神经网络的决策，并用一个例子演示了它的潜在用途。

Sep, 2019

网络安全可解释人工智能调查

通过对网络系统中的网络驱动安全威胁和问题进行系统分类，本文就网络安全中的可解释人工智能问题进行了回顾和研究，探讨了解释人工智能目前的挑战和局限性，并提出了未来的研究方向。

Mar, 2023

卷积网络中嵌入编码器解码器以实现可解释的 AI

本文介绍了一种新的可解释卷积神经网络（XCNN），能够表示视觉刺激的重要和驱动特征，并提供了无需本地化标签和额外后处理步骤的热图生成。在多个数据集上的实验证明了 XCNN 的成功，验证了其在类别特定特征表示和可解释热图生成方面的性能优于当前算法，同时提供了简单灵活的网络结构，为提高可解释的弱监督定位和语义分割奠定了基础。

Jun, 2020

可解释人工智能 (XAI) 中的机遇与挑战：一份调查

本文介绍了深度学习中可解释人工智能技术（XAI），提出了技术分类法并介绍了方法学、范畴和应用层次等主要原则，旨在建立可信、可解释和自说明的深度学习模型。此外，通过八种不同的可解释人工智能算法对图像数据进行了评估，讨论了这种方法的局限性，并提出了未来改进的潜在方向。

Jun, 2020

图像活动预测及其自然语言解释的黑盒攻击

解释性人工智能 (XAI) 方法旨在描述深度神经网络的决策过程。本文首次评估基于自我合理化的图像识别模型生成的自然语言解释在黑盒攻击下的鲁棒性，我们通过对预测结果和相应解释之间的关联进行空间上的无限制、变异性的干扰来误导模型生成不忠实的解释。我们表明，即使只能访问模型的最终输出，我们也能通过创建对抗性图像来操纵活动识别模型的解释。

Sep, 2023

可解释人工智能分析和设计的多组件框架

这篇论文讨论了符合科学历史的可解释人工智能 (XAI) 的框架问题，其原因追溯至现代机器学习（尤其是深度和强化学习）和对创造值得信赖的 AI 系统的关注，它的五个级别框架是 XAI 的关键组成部分。

May, 2020