Oct, 2022

黑盒子模型解释及人类可解释性期望 -- 在谋杀预测背景下的分析

PDF
TL;DR本研究采用六种 XAI 措施并邀请六名人类专家对谋杀预测相关黑盒模型生成的解释进行人类可解释性期望评估，结果显示～49% 的一致性并提出了进一步研究的需求，以满足实际问题的复杂性和人类因素的要求。
explainable artificial intelligencexai measuresblack box modelinterpretability expectationshomicide prediction
发现论文，激发创造
  • 可解释人工智能方法的可靠性和稳定性如何？

    黑盒模型、可解释人工智能方法（XAI 方法）、eXirt、扰动等是本研究的关键词，通过实验和生成解释以评估 XAI 方法的稳定性和可靠性。结果表明，eXirt 能够识别出最可靠的模型，同时发现当前 XAI 方法对扰动敏感，但存在一个特定方法例外。

    Jul, 2024

  • 挑战功能归因解释中的常见可解释性假设

    通过人类实验，我们发现属性解释法在某些情况下会导致决策者做出更糟糕的决策，这一结果挑战了应用这些方法的普遍好处的假定，在可解释的 AI 研究中人类评价的重要性下应该得到重视。

    Dec, 2020

  • 人类中心的可解释人工智能（XAI）的未来不在于事后解释

    该论文呼吁从事人类中心的可解释人工智能研究，探究人类对于深度学习系统的理解和信任的关键作用，并提出设计可解释的神经网络体系结构的方案，以实现实时、准确、可操作、易于解释和一致的需求。

    Jul, 2023

  • 解释性的心理学理论

    研究人员提出了一种心理学理论，解释了人们如何从显著性图中得出结论，为 XAI 中的精确预测和验证提供了理论依据，并进行了一项用户研究以验证该理论。

    May, 2022

  • 将黑盒子变为白盒子：将 XAI 应用于心电图读取环境中的实验研究结果

    本文旨在研究用户认知解释和可解释人工智能 (XAI) 系统之间的关系，为评估以人工智能为基础的支持系统的人机交互方面做出贡献，为进一步研究 XAI 及其对决策制定和用户体验的影响奠定基础。研究结果表明，黑匣子系统的可解释性与用户特征 (如专业知识)、对 AI 和 XAI 系统的信任、解释质量的认知以及决策过程自动化的倾向之间存在关联。

    Oct, 2022

  • 可解释人工智能（XAI）在物联网中的应用调查

    本文针对黑盒子人工智能模型存在的不可解释性问题，在物联网领域提供了一些可解释的人工智能模型的系统性研究和分类，同时探讨了一些挑战性问题和未解决问题，并给出了未来发展方向。

    Jun, 2022

  • 视觉解释的可解释人工智能基准

    深度学习算法的崛起在计算机视觉任务中取得了重大进展，但它们的 “黑匣子” 性质引发了对可解释性的关注。可解释人工智能（XAI）作为一个重要的研究领域出现，旨在打开这个 “黑匣子”，并揭示人工智能模型的决策过程。视觉解释作为可解释人工智能的一个子集，通过突出显示输入图像中的重要区域，为处理视觉数据的人工智能模型的决策过程提供直观的见解。我们提出了一个 XAI 基准，其中包括来自不同主题的数据集集合，为图像提供了类别标签和相应的解释注释。我们引入了一个全面的视觉解释流程，在这个流程中整合了数据加载、预处理、实验设置和模型评估过程。此结构使研究人员能够公平比较各种视觉解释技术。此外，我们对视觉解释的超过 10 种评估方法进行综合评述，以帮助研究人员有效利用我们的数据集合。为了进一步评估现有的视觉解释方法的性能，我们使用各种以模型为中心和以真实标注为中心的评估指标在选定的数据集上进行实验。我们希望这个基准可以推动视觉解释模型的进步。这个 XAI 数据集合和用于评估的易于使用的代码公开可访问。

    Oct, 2023

  • 可解释人工智能（XAI）综述：面向医疗 XAI

    这篇论文概述了解释机器学习算法决策的不同方法，并将它们应用到医学研究中，以提高医生对这些算法的信任度。

    Jul, 2019

  • 可解释人工智能方法：一项调查

    该研究演示了可解释人工智能的多种方法，并与信用违约预测等任务进行了比较，提出了定量解释性的有意义见解，为开发负责任或以人为中心的 AI 系统提供方向和未来研究方向，有助于在高风险应用中采用 AI。

    Jan, 2021

  • 关于调和可用性和实用性的可解释人工智能方法

    本论文以自动驾驶汽车为研究对象，研究了四种常见的可解释人工智能方法，即决策树、文本、程序和图示。研究表明，参与者倾向于使用语言解释，但通过决策树解释更能客观地理解汽车的决策过程，并且结果显示，计算机科学经验和观察汽车成功或失败的情况可以影响解释的感知和有用性，因此本研究提出，设计 XAI 系统必须考虑用户的特定需求和情境因素。

    Jan, 2023