一种生成带有 XAI 地面真实性数据集的方法,以评估图像模型的新方法
深度学习算法的崛起在计算机视觉任务中取得了重大进展,但它们的 “黑匣子” 性质引发了对可解释性的关注。可解释人工智能(XAI)作为一个重要的研究领域出现,旨在打开这个 “黑匣子”,并揭示人工智能模型的决策过程。视觉解释作为可解释人工智能的一个子集,通过突出显示输入图像中的重要区域,为处理视觉数据的人工智能模型的决策过程提供直观的见解。我们提出了一个 XAI 基准,其中包括来自不同主题的数据集集合,为图像提供了类别标签和相应的解释注释。我们引入了一个全面的视觉解释流程,在这个流程中整合了数据加载、预处理、实验设置和模型评估过程。此结构使研究人员能够公平比较各种视觉解释技术。此外,我们对视觉解释的超过 10 种评估方法进行综合评述,以帮助研究人员有效利用我们的数据集合。为了进一步评估现有的视觉解释方法的性能,我们使用各种以模型为中心和以真实标注为中心的评估指标在选定的数据集上进行实验。我们希望这个基准可以推动视觉解释模型的进步。这个 XAI 数据集合和用于评估的易于使用的代码公开可访问。
Oct, 2023
评估可解释人工智能方法与其基础模型的逼真度是一项具有挑战性的任务,本研究通过引入三个可靠的解释基准数据集,对当前最先进的可解释人工智能方法进行公平客观的比较,以识别逼真度较低的方法,并将其排除在进一步研究之外,促进了更可靠和有效的可解释人工智能技术的发展。研究结果表明,基于输出信息反向传播到输入的可解释人工智能方法相比于基于敏感性分析或类激活模式的方法具有更高的准确性和可靠性,但反向传播方法往往会生成更多噪声显著图。这些发现对于可解释人工智能方法的进展具有重要意义,可以消除错误的解释,促进更健壮可靠的可解释人工智能的发展。
Nov, 2023
我们提出了一种新的评估方法,用于基准测试最先进的可解释 AI 归因方法,该方法由合成的分类模型及其衍生的地面实况解释组成,该方法提供了关于 XAI 方法输出的更深入的洞察。
Aug, 2023
本文比较了 14 个不同的评估指标在 9 种最先进的 XAI 方法和 3 种用作参考的虚拟方法(如随机显著性图)上的应用结果,结果表明其中一些指标会产生高度相关的结果,还展示了基准超参数变化对评估指标值的显著影响,最后使用虚拟方法评估指标的可靠性及其排名方面的限制。
May, 2023
使用透明模型决策树作为基准,研究提出了一种新的测度指标验证 XAI 方法的准确性,结果显示了现有的测度指标在真实场景中不可靠,并建议开发新的指标以解决这些问题。
Jan, 2024
本文探讨不同非线性分类场景下,解释性人工智能模型的表现,并通过一系列实验测试发现,当前流行的 XAI 方法往往无法显著提高准确性基线和边缘检测方法,甚至在不同模型结构下产生非常不同的解释,存在误解的风险。
Jun, 2023
本文提出了一种基于 CLEVR 视觉问题回答任务的基准评估框架,在十种不同的 XAI 方法上进行比较和评估,结果得到了新的关于 XAI 方法质量和属性的深入认识。
Mar, 2020
机器学习模型解释学(即可解释性 AI)的研究与深度人工神经网络同步呈指数增长,但传统的信任和解释却太狭隘,导致研究社区被误导。该研究提出了一种实用的解决方案,建议研究人员关注机器学习解释的实用性而非信任,提出五种广泛的用例,并为每种情况描述可依靠客观经验测量和可证伪假设的伪实验。该实验严谨的处理方法将对 XAI 领域的科学知识的进一步贡献是必要的。
Sep, 2020
本文介绍了深度学习中可解释人工智能技术(XAI),提出了技术分类法并介绍了方法学、范畴和应用层次等主要原则,旨在建立可信、可解释和自说明的深度学习模型。此外,通过八种不同的可解释人工智能算法对图像数据进行了评估,讨论了这种方法的局限性,并提出了未来改进的潜在方向。
Jun, 2020