Apr, 2024

解开人工智能错误之谜：探索大型语言模型的人工和机器解释的有效性

PDF
TL;DR本研究通过与最新方法（集成渐变、保守 LRP 和 ChatGPT）进行对比实证调查，收集和分析了 156 个人生成的文本和基于显著性的解释，并发现与机器显著性图相比，人工显著性图尤其在解释人工智能结果时更具说明性，但其性能与对人工智能模型和解释的信任负相关，揭示了人工智能解释中的困境：当有助于理解错误的人工智能预测时，会降低任务表现。
explainable artificial intelligencesaliency-mapshuman-participant studyexplanationsai errors
发现论文，激发创造
  • 评估模型解释在模型开发中的效用

    通过用户研究，本研究评估了可解释人工智能在实际场景中对人类决策的改进效果，结果发现虽然解释有助于用户更准确地描述模型，但对于模型选择和反事实模拟这两个任务，并没有找到使用任何显著改进的证据，这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。

    Dec, 2023

  • 解释性的心理学理论

    研究人员提出了一种心理学理论，解释了人们如何从显著性图中得出结论，为 XAI 中的精确预测和验证提供了理论依据，并进行了一项用户研究以验证该理论。

    May, 2022

  • 使用随机调查实验测试基于显著性的可解释性在自然语言处理中的有效性

    该研究通过一个基于随机抽样的实验，旨在检验基于显著性的事后可解释性方法在自然语言处理中的有效性，结果表明，人类往往会倾向于较少批判性地接受该类解释。

    Nov, 2022

  • 基于人类注意力引导的可解释人工智能计算机视觉模型

    研究将人的注意力知识融入到基于显著性的 XAI（可解释人工智能）方法中，以增强计算机视觉模型的合理性和可靠性，并开发了新的基于梯度的 XAI 方法来生成物体特定的解释，并使用可训练的激活函数和平滑核来最大化 XAI 显著图与人类注意图的相似性，从而在物体检测模型中同时提高了可靠性和合理性。

    May, 2023

  • 欺诈性 AI 解释：创建和检测

    研究了如何使用深度学习和现有工具来创建和检测欺骗性解释，发现欺骗性解释可以骗过人类，但可以使用机器学习方法检测，即使缺乏领域知识，也可以以无监督的方式推断解释的不一致性。

    Jan, 2020

  • 可解释人工智能对人类表现的影响：对显著性图行为后果的系统综述

    68 个用户研究的系统综述发现，显著性图可以增强人类表现，但也常见到零效应甚至负效应。这些效应受多个因素的调节，包括人类任务、AI 性能、XAI 方法、待分类的图像、人类参与者和比较条件等。图像任务中的效益不如 AI 任务中常见，但效果取决于具体的认知需求。此外，效益通常局限于 AI 任务中的错误预测，而在图像任务中局限于正确预测。与 XAI 相关的因素影响较小。对于图像和人类相关的因素，证据有限且效应高度依赖于比较条件。这些发现可能有助于未来用户研究的设计。

    Apr, 2024

  • 利用解释桥接人工智能和人类

    该研究论文提出了解释性机器学习方法来提高人类决策水平和人工智能协助决策效能之间的差距。

    Mar, 2020

  • 解释解释的 XAI 未来方向

    利用大型语言模型将机器学习解释转化为自然的人类可读叙述，以增强解释性和可用性。

    May, 2024

  • 基于显著性的可解释性方法评估

    本文结合三个人体实验研究基于显著性的可解释性方法对于卷积神经网络的解释效果，并评估其可行性。

    Jun, 2021

  • 选择性解释：利用人类输入对可解释人工智能进行对齐

    本文提出了一种基于人类交流行为启发的可选择性解释框架，通过选择性地展示大量模型原因的子集，根据受众的偏好来尝试解决解释型 AI 算法在如何生成和消耗解释方面存在重大差距的问题，并通过决策支持任务和实验研究证明了其减少依赖 AI 和提高决策结果和主观感知的潜力。

    Jan, 2023