基于显著性模型解释的图形感知
通过研究用于文本数据的基于显著性的解释,本研究调查了多种因素(如输入,解释和可视化方式)对普通人理解解释的影响,并发现类似单词长度等表面和不相关的因素会影响解释的理解,但通过基于模型评估的方法,可以提高人们的理解能力。
Jan, 2022
本试验的目的是研究在模型与人类在图像年龄预测任务中表现相似情况下,给人类提供好的模型预测解释是否会提高人类预测的准确度,而不好的解释会降低人类对模型的信任。研究发现,给人类提供模型预测能提高人类准确度,但图像解释并不能改变人类对模型的准确度或信任的显著差异。这一发现表明有必要对后续的决策任务进行更全面的解释评估,为用户提供基于设计的解释工具,并思考更好的生成解释的方法。
Jul, 2020
本文对几种显著性方法进行实验和理论探索,提出用可行的方法来评估一种方法所能提供和不能提供的解释类型。实验证明,有些现有的显著性方法具有独立性,这些方法不受模型和数据生成过程的影响,因此,那些未通过所提出测试的方法,对于对数据或模型敏感的任务( 如在数据中找到异常值,解释模型所学到的输入和输出之间的关系以及调试模型)是不适当的。与边缘检测类比,本文发现一些显著性方法无需训练数据或模型就能有效实现其功能。
Oct, 2018
通过用户研究,本研究评估了可解释人工智能在实际场景中对人类决策的改进效果,结果发现虽然解释有助于用户更准确地描述模型,但对于模型选择和反事实模拟这两个任务,并没有找到使用任何显著改进的证据,这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。
Dec, 2023
研究神经网络的预测可视化解释,并评价这些解释的好坏。其中,绝大多数评价方法使用 ImageNet-1k 和人工检测评估结果,结果表明评价方法之间缺乏一致性。同时,解释的稀疏性对评价方法的表现具有显著影响。
Feb, 2023
本文研究使用的 CNN 在一些图像分类问题中表现非常好,但是解释 CNN 的操作是非常困难的。因此,本文提出了一种新型的解释算法,称为 LRP 算法,通过人机交互的方式发现这种算法被用于图像分类问题的特定图像特征敏感性,并针对该方法进行了用户评估。评估结果表明,该算法可以帮助参与者学习一些系统对特定图像特征的敏感性,但是对于新图像的分类任务提供的帮助似乎非常有限。因此,HCI 和人工智能社区需要超越实例级别的解释算法,继续研究解释 AI 的设计和进一步研究的问题。
Feb, 2020
通过众包方法,我们提出了一种新的基于人类的自然语言处理(NLP)显著性方法评估方法,对七种显著性方法在两个数据集上进行了实证评估,与现有的自动评估方法进行了对比,发现了 NLP 和计算机视觉(CV)领域在使用显著性方法时存在显著差异。
May, 2024
该论文提出了一种新的人脸识别解释框架,使用基于视觉显著性的解释方法来揭示深度人脸识别模型的决策过程;并提出一种新的相关性算法(CorrRISE)来生成显著性图,可同时揭示任意给定一对人脸图像中的相似和不同区域,并设计了两个评估指标来评估人脸识别中通用视觉显著性解释方法的性能, 实验证明该方法在解释人脸识别方面优于其他方法。
May, 2023