SIDU: 解释性人工智能的相似性差异与独特性方法
在这篇论文中,我们探讨了可解释人工智能方法在文本领域的适用性,提出了 SIDU-TXT 方法,通过生成热力图来解释模型预测所关键的上下文相关的文本元素,并使用综合评估框架对其进行了评估。研究发现,SIDU-TXT 方法在情感分析任务中比其他方法表现更好,但在法律领域的庇护决策中,两种方法都不能完全满足专家期望,需要进一步研究适用于此类领域的 XAI 方法。
Feb, 2024
AI 模型的可解释性通常会因降低准确性而受到质疑。我们开发了一种训练策略,不仅提高了目标分类方案的解释性,同时并未降低准确性,实现方式是对决策网络作出决策的可视证据进行区域定位,其表示方法为表征哪些像素对网络决策的贡献最大的显著性图。我们的训练策略通过使模型集中于直接对应于地面目标的图像区域的反馈,在自动和人工指标的量化中量化可解释性,并提出了可解释性作为弥合不同域之间视觉 - 语义差距的手段。我们证明,这种方法不仅提高到新领域的泛化性能,而且不会影响在原始领域上的性能。
Mar, 2020
计算机视觉模型的决策过程(尤其是深度神经网络)的不透明性意味着这些决策无法被人类理解。因此,在过去几年中,已经提出了许多提供人理解解释的方法。本文针对图像分类开发了新的评估指标,并对常见的显著性方法在 ImageNet 上进行了基准测试。此外,还提出了一种基于心理测评概念的可靠性评估方案。
Jun, 2024
本文基于对解释人工智能(XAI)的准确定义和公正衡量标准缺失的讨论,提出了一种广泛的实验研究,重点关注解释方法的忠实度、本地化、假阳性、敏感度检查和稳定性。实验结果表明,在当前所有方法中,梯度加权类激活映射(Grad-CAM)和随机输入抽样解释(RISE)在大多数指标上表现良好。另外,本文还提出了一种筛选指标的方法,以诊断模型分类基础,并探讨了当前指标所忽略的测量因素。
Dec, 2020
通过用户研究,本研究评估了可解释人工智能在实际场景中对人类决策的改进效果,结果发现虽然解释有助于用户更准确地描述模型,但对于模型选择和反事实模拟这两个任务,并没有找到使用任何显著改进的证据,这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。
Dec, 2023
人工智能的解释方法对理解深度学习中的决策过程具有重要意义,通过研究对比了三种解释方法的可解释性,结果显示这些方法虽然强调的区域各不相同,但都能提供人类几乎相等的深度理解,进一步增强了这些方法在提升人工智能透明度方面的价值。
Oct, 2023
该论文提出了一种新的人脸识别解释框架,使用基于视觉显著性的解释方法来揭示深度人脸识别模型的决策过程;并提出一种新的相关性算法(CorrRISE)来生成显著性图,可同时揭示任意给定一对人脸图像中的相似和不同区域,并设计了两个评估指标来评估人脸识别中通用视觉显著性解释方法的性能, 实验证明该方法在解释人脸识别方面优于其他方法。
May, 2023
本研究提出了一种针对深度卷积神经网络的可解释性 AI 显著性图方法,其比流行的高分辨率梯度方法更为高效,并且在精度上也与其相当或更好。通过使用 Layer Ordered Visualization of Information,展示了该方法比其他显著性图方法提供更有趣的网络规模内比例贡献比较。此外,该方法在资源有限的平台上如机器人、手机、低成本工业设备、天文和卫星图像等方面是可行的。
Nov, 2019