深度综合解释
研究了深度学习方法面临的可解释性困境,提出了一种叫做 “深度视觉解释” 的框架,通过可视化技术来识别和暴露深度学习模型性能行为的假设,以提高模型的可解释性和可调试性,并展示了初步的可解释性应用实验结果。
Nov, 2017
通过迭代整合属性(IIA)方法来解释视觉模型的预测,IIA 方法通过迭代整合输入图像、模型生成的内部表示以及它们的梯度,得到精确而聚焦的解释图。我们通过对各种任务、数据集和网络架构的综合评估验证了 IIA 的有效性,研究结果表明 IIA 产生了准确的解释图,优于其他最先进的解释技术。
Oct, 2023
本篇论文致力于提高解释多模态模型的技术现状。该文中提出的 DIME 方法通过模型解离为单模态贡献和多模态交互来帮助用户更好地理解模型行为,实现了对任意模态、模型架构和任务的普遍解释。经过全面的实验验证,DIME 产生了准确的解释,可以帮助用户更深入地理解模型行为,并为实际部署提供了一步调试和改进。
Mar, 2022
本文提出了一种基于内部特征及可视化的方法,能够自动识别预先训练模型中与给定类相关的特征,以进行深度模型的解释和阐释,并且提出了一种针对 deconvNet 可视化操作引入的伪像问题的方法,同时还提出了一个专门用于视觉解释方法客观定量评估的数据集 an8Flower。实验证明,该方法在 MNIST、ILSVRC12、Fashion144k 和 an8Flower 数据集上能够产生具有良好主题相关特征覆盖的详细解释。
Dec, 2017
深度学习算法的崛起在计算机视觉任务中取得了重大进展,但它们的 “黑匣子” 性质引发了对可解释性的关注。可解释人工智能(XAI)作为一个重要的研究领域出现,旨在打开这个 “黑匣子”,并揭示人工智能模型的决策过程。视觉解释作为可解释人工智能的一个子集,通过突出显示输入图像中的重要区域,为处理视觉数据的人工智能模型的决策过程提供直观的见解。我们提出了一个 XAI 基准,其中包括来自不同主题的数据集集合,为图像提供了类别标签和相应的解释注释。我们引入了一个全面的视觉解释流程,在这个流程中整合了数据加载、预处理、实验设置和模型评估过程。此结构使研究人员能够公平比较各种视觉解释技术。此外,我们对视觉解释的超过 10 种评估方法进行综合评述,以帮助研究人员有效利用我们的数据集合。为了进一步评估现有的视觉解释方法的性能,我们使用各种以模型为中心和以真实标注为中心的评估指标在选定的数据集上进行实验。我们希望这个基准可以推动视觉解释模型的进步。这个 XAI 数据集合和用于评估的易于使用的代码公开可访问。
Oct, 2023
本文是可解释人工智能领域的第一篇调查研究,探讨了深度视觉模型解释方法和度量标准,提供了现有技术的分类组织,阐述了不同属性的度量方法,并就当前趋势、挑战和未来方向进行了深入讨论。
Jan, 2023
本文介绍深度模型在视觉决策问题中表现良好的同时,其透明度也导致了可解释系统的兴起,并提出了两个带注释的大规模数据集,通过视觉和文本形式保证决策的分类,同时提出了一种多模式方法,定量证明使用文本解释的训练方法不仅可以获得更好的文本解释模型,还可以更好地定位支持其决策的证据。
Nov, 2017
该文提出了一种名为 “可解释的几何深度网络” 的端到端学习方法,用于在高维数据中实现精细的可解释性,例如神经成像和神经科学研究。该方法采用学习解释性因素来增强鉴别性表示提取,以实现可解释的预测和分类结果。
Jan, 2023
AI 模型的可解释性通常会因降低准确性而受到质疑。我们开发了一种训练策略,不仅提高了目标分类方案的解释性,同时并未降低准确性,实现方式是对决策网络作出决策的可视证据进行区域定位,其表示方法为表征哪些像素对网络决策的贡献最大的显著性图。我们的训练策略通过使模型集中于直接对应于地面目标的图像区域的反馈,在自动和人工指标的量化中量化可解释性,并提出了可解释性作为弥合不同域之间视觉 - 语义差距的手段。我们证明,这种方法不仅提高到新领域的泛化性能,而且不会影响在原始领域上的性能。
Mar, 2020