一个稳健的指导视觉解释的框架
本研究探讨了模型指导方法在 PASCAL VOC 2007 和 MS COCO 2014 数据集上的有效性以及提出了一种新的能量损失方法,证实了模型指导方法可以通过正则化模型的解释,集中于正确的特征,提高模型性能。
Mar, 2023
评估图像分类器关于人类感知定义的地面真实标记(例如分割掩模)的解释,主要评估的是考虑中的模型的质量而不是解释方法自身。在这种观察的驱动下,我们提出了一个框架,用于联合评估将深度神经网络与解释方法相结合的安全关键系统的鲁棒性。这些系统在医学图像分析或机器人技术等实际应用中越来越广泛使用。我们引入了一种微调过程,将模型 - 解释的流程与地面真相错位,用它来量化人类对齐的最坏和最好情况之间的潜在差异。在各种模型架构和事后局部解释方法的实验中,我们对视觉变换器的鲁棒性和此类 AI 系统对潜在对抗攻击的整体脆弱性提供了洞见。
Nov, 2023
该论文提出了一种新的人脸识别解释框架,使用基于视觉显著性的解释方法来揭示深度人脸识别模型的决策过程;并提出一种新的相关性算法(CorrRISE)来生成显著性图,可同时揭示任意给定一对人脸图像中的相似和不同区域,并设计了两个评估指标来评估人脸识别中通用视觉显著性解释方法的性能, 实验证明该方法在解释人脸识别方面优于其他方法。
May, 2023
研究了深度学习方法面临的可解释性困境,提出了一种叫做 “深度视觉解释” 的框架,通过可视化技术来识别和暴露深度学习模型性能行为的假设,以提高模型的可解释性和可调试性,并展示了初步的可解释性应用实验结果。
Nov, 2017
研究神经网络的预测可视化解释,并评价这些解释的好坏。其中,绝大多数评价方法使用 ImageNet-1k 和人工检测评估结果,结果表明评价方法之间缺乏一致性。同时,解释的稀疏性对评价方法的表现具有显著影响。
Feb, 2023
通过用户研究,本研究评估了可解释人工智能在实际场景中对人类决策的改进效果,结果发现虽然解释有助于用户更准确地描述模型,但对于模型选择和反事实模拟这两个任务,并没有找到使用任何显著改进的证据,这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。
Dec, 2023
本试验的目的是研究在模型与人类在图像年龄预测任务中表现相似情况下,给人类提供好的模型预测解释是否会提高人类预测的准确度,而不好的解释会降低人类对模型的信任。研究发现,给人类提供模型预测能提高人类准确度,但图像解释并不能改变人类对模型的准确度或信任的显著差异。这一发现表明有必要对后续的决策任务进行更全面的解释评估,为用户提供基于设计的解释工具,并思考更好的生成解释的方法。
Jul, 2020
本文旨在提高可信的 AI 系统的有效性和可解释性,定义一个新类型的多模态解释来解释决策,并提出一种新的解释生成方法,可以显式地模拟词语和感兴趣的区域之间的配对关系,同时开发了一个包含 1040830 个多模态解释的新数据集以及进行了广泛的分析,以研究不同设置下解释的有效性和推理性能。
Mar, 2022
本文研究了后续可解释性方法对自然发生的转换形式(即增强)的响应,发现不同的可解释性方法在稳定性上存在显著差异,并提供证据表明,不论数据增强是否用于训练中,在增强方面的解释通常不如分类性能稳健。
Apr, 2023