深度视觉解释简介
本研究介绍了 Network Dissection 方法,通过为深度视觉表示的单元提供标签来解释网络。该方法量化了CNN表示的可解释性,通过评估单个隐藏单元和一组视觉语义概念之间的对齐来识别最佳对齐,认定单位为人类可解释标签。研究发现,深度网络是比预期更加透明和可解释的,并且可用于提供CNN对图像的解释预测,以增强其可解释性,这是深度神经网络的重要属性,提供了对其分层结构的新的洞见。
Nov, 2017
本文提出了一种基于内部特征及可视化的方法,能够自动识别预先训练模型中与给定类相关的特征,以进行深度模型的解释和阐释,并且提出了一种针对deconvNet可视化操作引入的伪像问题的方法,同时还提出了一个专门用于视觉解释方法客观定量评估的数据集an8Flower。实验证明,该方法在MNIST、ILSVRC12、Fashion144k和an8Flower数据集上能够产生具有良好主题相关特征覆盖的详细解释。
Dec, 2017
本文综述了可视化分析在深度学习中的角色,并且结合人类中心疑问框架,着重讨论了为什么、谁、什么、如何、何时和何地,从而全面总结了目前的研究现状,同时提出了未来研究的方向和问题。
Jan, 2018
本文综述了解神经网络表示和学习可解释/解耦的中间层表示的最新研究进展,并重点介绍了卷积神经网络 (CNNs) 的可视化、诊断、解耦、学习及其在可解释人工智能方面的前景趋势。
Feb, 2018
CNN Explainer是一个用于学习和检查卷积神经网络的交互式可视化工具,旨在解决初学者在学习CNNs时面临的关键挑战。该工具紧密集成了模型概述和动态视觉解释视图,使用户能够检查低级数学运算和高级模型结构之间的相互作用,并通过平滑的抽象级别转换。通过定性用户研究,发现CNN Explainer可以帮助用户更容易地了解CNNs的内部工作,并且使用起来引人入胜。
Apr, 2020
该论文的研究内容主要涵盖了人工智能、深度神经网络、可解释AI、视知觉技术以及深度模型的调试等领域。论文提出的Perception Visualization技术通过可视化深度模型对于输入图像的感知来解释模型预测结果,研究发现人类能够更好地理解和预测系统决策,从而使深度模型的调试和部署更加可靠。
Apr, 2022
提出了使用 RES 框架进行监督解释的方法以提高深度神经网络的外推泛化性和内在的可解释性,该框架可解决标注不准确、区域不完整和分布不一致等挑战,经测试在两种实际图像数据集上均表现较好。
Jun, 2022
本文是可解释人工智能领域的第一篇调查研究,探讨了深度视觉模型解释方法和度量标准,提供了现有技术的分类组织,阐述了不同属性的度量方法,并就当前趋势、挑战和未来方向进行了深入讨论。
Jan, 2023
深度学习算法的崛起在计算机视觉任务中取得了重大进展,但它们的“黑匣子”性质引发了对可解释性的关注。可解释人工智能(XAI)作为一个重要的研究领域出现,旨在打开这个“黑匣子”,并揭示人工智能模型的决策过程。视觉解释作为可解释人工智能的一个子集,通过突出显示输入图像中的重要区域,为处理视觉数据的人工智能模型的决策过程提供直观的见解。我们提出了一个XAI基准,其中包括来自不同主题的数据集集合,为图像提供了类别标签和相应的解释注释。我们引入了一个全面的视觉解释流程,在这个流程中整合了数据加载、预处理、实验设置和模型评估过程。此结构使研究人员能够公平比较各种视觉解释技术。此外,我们对视觉解释的超过10种评估方法进行综合评述,以帮助研究人员有效利用我们的数据集合。为了进一步评估现有的视觉解释方法的性能,我们使用各种以模型为中心和以真实标注为中心的评估指标在选定的数据集上进行实验。我们希望这个基准可以推动视觉解释模型的进步。这个XAI数据集合和用于评估的易于使用的代码公开可访问。
Oct, 2023