Apr, 2024

可解释人工智能对人类表现的影响：对显著性图行为后果的系统综述

PDF
TL;DR68 个用户研究的系统综述发现，显著性图可以增强人类表现，但也常见到零效应甚至负效应。这些效应受多个因素的调节，包括人类任务、AI 性能、XAI 方法、待分类的图像、人类参与者和比较条件等。图像任务中的效益不如 AI 任务中常见，但效果取决于具体的认知需求。此外，效益通常局限于 AI 任务中的错误预测，而在图像任务中局限于正确预测。与 XAI 相关的因素影响较小。对于图像和人类相关的因素，证据有限且效应高度依赖于比较条件。这些发现可能有助于未来用户研究的设计。
发现论文，激发创造
  • 基于显著性的可解释性方法评估

    本文结合三个人体实验研究基于显著性的可解释性方法对于卷积神经网络的解释效果，并评估其可行性。

    Jun, 2021

  • 解开人工智能错误之谜：探索大型语言模型的人工和机器解释的有效性

    本研究通过与最新方法（集成渐变、保守 LRP 和 ChatGPT）进行对比实证调查，收集和分析了 156 个人生成的文本和基于显著性的解释，并发现与机器显著性图相比，人工显著性图尤其在解释人工智能结果时更具说明性，但其性能与对人工智能模型和解释的信任负相关，揭示了人工智能解释中的困境：当有助于理解错误的人工智能预测时，会降低任务表现。

    Apr, 2024

  • 评估用于卷积神经网络的显著性图解释：用户研究

    本文研究使用的 CNN 在一些图像分类问题中表现非常好，但是解释 CNN 的操作是非常困难的。因此，本文提出了一种新型的解释算法，称为 LRP 算法，通过人机交互的方式发现这种算法被用于图像分类问题的特定图像特征敏感性，并针对该方法进行了用户评估。评估结果表明，该算法可以帮助参与者学习一些系统对特定图像特征的敏感性，但是对于新图像的分类任务提供的帮助似乎非常有限。因此，HCI 和人工智能社区需要超越实例级别的解释算法，继续研究解释 AI 的设计和进一步研究的问题。

    Feb, 2020

  • 基于人类注意力引导的可解释人工智能计算机视觉模型

    研究将人的注意力知识融入到基于显著性的 XAI（可解释人工智能）方法中，以增强计算机视觉模型的合理性和可靠性，并开发了新的基于梯度的 XAI 方法来生成物体特定的解释，并使用可训练的激活函数和平滑核来最大化 XAI 显著图与人类注意图的相似性，从而在物体检测模型中同时提高了可靠性和合理性。

    May, 2023

  • 基于显著性的 XAI 方法众包评估

    提出了一种使用众包的人类评估方法来比较各种基于显著性的特征归因方法作为解释性 AI 方法（XAI）的有效性，并发现结果与自动化评估方法不同。

    Jun, 2021

  • 评估模型解释在模型开发中的效用

    通过用户研究，本研究评估了可解释人工智能在实际场景中对人类决策的改进效果，结果发现虽然解释有助于用户更准确地描述模型，但对于模型选择和反事实模拟这两个任务，并没有找到使用任何显著改进的证据，这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。

    Dec, 2023

  • 解释性的心理学理论

    研究人员提出了一种心理学理论，解释了人们如何从显著性图中得出结论，为 XAI 中的精确预测和验证提供了理论依据，并进行了一项用户研究以验证该理论。

    May, 2022

  • 显著图的合理性检查

    本文对几种显著性方法进行实验和理论探索，提出用可行的方法来评估一种方法所能提供和不能提供的解释类型。实验证明，有些现有的显著性方法具有独立性，这些方法不受模型和数据生成过程的影响，因此，那些未通过所提出测试的方法，对于对数据或模型敏感的任务（ 如在数据中找到异常值，解释模型所学到的输入和输出之间的关系以及调试模型）是不适当的。与边缘检测类比，本文发现一些显著性方法无需训练数据或模型就能有效实现其功能。

    Oct, 2018

  • 连接显著性预测与图像质量评估之间的差距

    过去几年中，深度神经模型在图像质量评估 (IQA) 方面取得了显著进展，但由于深度神经网络的复杂性，其成功的原因仍不清楚。本文通过进行实证研究揭示了 IQA 和 Saliency Prediction 任务之间的关系，证明了前者包含了后者的知识，并引入了一个新颖的 SACID 数据集进行大规模的经典和基于神经网络的 IQA 方法比较。

    May, 2024

  • 基于显著性模型解释的图形感知

    通过实验设计研究可视化设计决策、对齐类型和显著性地图质量对人类感知显著性视觉解释的影响。

    Jun, 2024