May, 2023

基于人类注意力引导的可解释人工智能计算机视觉模型

PDF
TL;DR研究将人的注意力知识融入到基于显著性的 XAI（可解释人工智能）方法中，以增强计算机视觉模型的合理性和可靠性，并开发了新的基于梯度的 XAI 方法来生成物体特定的解释，并使用可训练的激活函数和平滑核来最大化 XAI 显著图与人类注意图的相似性，从而在物体检测模型中同时提高了可靠性和合理性。
发现论文，激发创造
  • 基于显著性的可解释性方法评估

    本文结合三个人体实验研究基于显著性的可解释性方法对于卷积神经网络的解释效果，并评估其可行性。

    Jun, 2021

  • 解开人工智能错误之谜：探索大型语言模型的人工和机器解释的有效性

    本研究通过与最新方法（集成渐变、保守 LRP 和 ChatGPT）进行对比实证调查，收集和分析了 156 个人生成的文本和基于显著性的解释，并发现与机器显著性图相比，人工显著性图尤其在解释人工智能结果时更具说明性，但其性能与对人工智能模型和解释的信任负相关，揭示了人工智能解释中的困境：当有助于理解错误的人工智能预测时，会降低任务表现。

    Apr, 2024

  • 解释性的心理学理论

    研究人员提出了一种心理学理论，解释了人们如何从显著性图中得出结论，为 XAI 中的精确预测和验证提供了理论依据，并进行了一项用户研究以验证该理论。

    May, 2022

  • 基于显著性的 XAI 方法众包评估

    提出了一种使用众包的人类评估方法来比较各种基于显著性的特征归因方法作为解释性 AI 方法（XAI）的有效性，并发现结果与自动化评估方法不同。

    Jun, 2021

  • 计算机视觉中基于归因的可解释 AI 方法综述

    本文对计算机视觉中基于归因的 Explainable AI (XAI) 方法进行了全面概述，并回顾了梯度、扰动和对比方法，提供了开发和评估强健 XAI 方法的关键挑战的见解。

    Nov, 2022

  • 可解释人工智能对人类表现的影响：对显著性图行为后果的系统综述

    68 个用户研究的系统综述发现，显著性图可以增强人类表现，但也常见到零效应甚至负效应。这些效应受多个因素的调节，包括人类任务、AI 性能、XAI 方法、待分类的图像、人类参与者和比较条件等。图像任务中的效益不如 AI 任务中常见，但效果取决于具体的认知需求。此外，效益通常局限于 AI 任务中的错误预测，而在图像任务中局限于正确预测。与 XAI 相关的因素影响较小。对于图像和人类相关的因素，证据有限且效应高度依赖于比较条件。这些发现可能有助于未来用户研究的设计。

    Apr, 2024

  • MEGAN: 多说明图注意力网络

    该研究提出了一种名为 MEGAN 的多解释图注意力网络，可以独立选择多种解释途径，并在真实数据集上验证了其对提高研究的可解释性和精确性的能力。

    Nov, 2022

  • 评估模型解释在模型开发中的效用

    通过用户研究，本研究评估了可解释人工智能在实际场景中对人类决策的改进效果，结果发现虽然解释有助于用户更准确地描述模型，但对于模型选择和反事实模拟这两个任务，并没有找到使用任何显著改进的证据，这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。

    Dec, 2023

  • 基于 XAI 增强的语义分割模型用于视觉质量检测

    通过使用基于 CAM 的解释来完善语义分割模型，本研究提出了提升视觉质量检测系统的框架。该框架包括模型训练、基于 XAI 的模型解释、XAI 评估和注释增强等步骤，通过解释和专家洞见进行指导。评估结果表明，基于 XAI 的模型在复杂目标分割方面优于原始的 DeepLabv3-ResNet101 模型。

    Jan, 2024

  • 教 AI 教学：将有限的人类关注数据转化为基于注意力无限制的训练

    利用 “teacher-student” 训练范式可以补充有限数量的人类提供的注释，使得在构建大型数据集时可以生成任意数量的模型生成的图像注释，并且在四种模型架构和两种显著性估计方法中均表现出优异的性能。

    Jun, 2023