使用热图字幕和大型语言模型实现深度神经网络自解释性
本文研究基于热图的可解释 AI 方法在图像分类问题中的质量,并且提出了一个新的分布来显示正确预测和错误预测之间的鲜明差异。最后,提出了一种名为 “生成增强解释” 的方法,可生成能够提高预测精度的热图。
Dec, 2021
通过采用解释性人工智能技术和预训练的目标检测器,本文提出了一个名为 TbExplain 的框架,用于针对场景分类模型提供基于文本的解释。此外,TbExplain 还结合了一种新的方法,在初始预测不可靠时基于输入图像中的对象统计数据进行预测校正和文本解释。定性实验结果表明,基于文本的解释是相当可靠的。此外,在场景分类数据集上的定量和定性实验结果显示,TbExplain 相较于 ResNet 变种在分类准确性方面取得了改进。
Jul, 2023
热力图在解释人工智能(XAI)中起到了重要的作用,这篇论文探讨了提高热力图信息性和可访问性的方法,并提出了开发自动化、可扩展和数值分析方法以使热力图 XAI 更客观、用户友好和成本效益的需求,同时也需要全面的评估指标来评估热力图质量。
May, 2024
本文提出了一种基于 CLEVR 视觉问题回答任务的基准评估框架,在十种不同的 XAI 方法上进行比较和评估,结果得到了新的关于 XAI 方法质量和属性的深入认识。
Mar, 2020
本文介绍了一种新的可解释卷积神经网络(XCNN),能够表示视觉刺激的重要和驱动特征,并提供了无需本地化标签和额外后处理步骤的热图生成。在多个数据集上的实验证明了 XCNN 的成功,验证了其在类别特定特征表示和可解释热图生成方面的性能优于当前算法,同时提供了简单灵活的网络结构,为提高可解释的弱监督定位和语义分割奠定了基础。
Jun, 2020
本文发现了一个问题:通过微调输入图像,我们可以演示图像识别的解释方式可以通过进化策略对其进行任意操作。通过我们的 Adversarial XAI 算法 AttaXAI,我们能够在不使用梯度或其他模型内部的情况下,成功地在黑盒设置下操作解释方法,从而实现了对图像做微小改变却使 XAI 方法输出特定解释的目标。
Nov, 2022
本论文针对医学图像 AI 模型预测结果的解释问题,提出了基于不同模态的特征重要性度量方法,对 16 种 heatmap 算法进行评估,结果表明这些算法不能很好地解释多模态医学图像的 AI 模型预测结果,因此需要基于该研究提出的度量方法设计 XAI 算法以满足临床应用要求。
Mar, 2022
深度学习算法的崛起在计算机视觉任务中取得了重大进展,但它们的 “黑匣子” 性质引发了对可解释性的关注。可解释人工智能(XAI)作为一个重要的研究领域出现,旨在打开这个 “黑匣子”,并揭示人工智能模型的决策过程。视觉解释作为可解释人工智能的一个子集,通过突出显示输入图像中的重要区域,为处理视觉数据的人工智能模型的决策过程提供直观的见解。我们提出了一个 XAI 基准,其中包括来自不同主题的数据集集合,为图像提供了类别标签和相应的解释注释。我们引入了一个全面的视觉解释流程,在这个流程中整合了数据加载、预处理、实验设置和模型评估过程。此结构使研究人员能够公平比较各种视觉解释技术。此外,我们对视觉解释的超过 10 种评估方法进行综合评述,以帮助研究人员有效利用我们的数据集合。为了进一步评估现有的视觉解释方法的性能,我们使用各种以模型为中心和以真实标注为中心的评估指标在选定的数据集上进行实验。我们希望这个基准可以推动视觉解释模型的进步。这个 XAI 数据集合和用于评估的易于使用的代码公开可访问。
Oct, 2023
通过形式化说明解释是什么,提出一些公理和定义来澄清可解释的人工智能的数学角度。最后,我们提出了一个 Greybox XAI 框架,该框架通过使用符号知识库将 DNN 和透明模型组成。我们从数据集中提取知识库,并使用它来训练透明模型(即逻辑回归)。然后,我们在 RGB 图像上训练编码器 - 解码器架构,以产生类似于透明模型使用的知识库的输出。一旦两个模型独立地训练好后,它们就在组成的形式上用于形成可以解释的预测模型。我们展示了这种新的架构在几个数据集中是准确的和可以解释的。
Sep, 2022