挑战功能归因解释中的常见可解释性假设

Dec, 2020

挑战功能归因解释中的常见可解释性假设

Challenging common interpretability assumptions in feature attribution explanations

Jonathan Dinu, Jeffrey Bigham, J. Zico Kolter

TL;DR通过人类实验，我们发现属性解释法在某些情况下会导致决策者做出更糟糕的决策，这一结果挑战了应用这些方法的普遍好处的假定，在可解释的 AI 研究中人类评价的重要性下应该得到重视。

Abstract

As machine learning and algorithmic decision making systems are increasingly being leveraged in high-stakes human-in-the-loop settings, there is a pressing need to understand the rationale of their predictions. Researchers have responded to this need with explainable ai (XAI), but ofte

explainable ai interpretability assumptions human-subjects experiment feature attribution explanations cognitive and contextual confounders

发现论文，激发创造

对解释的人类可解释性评估

研究探讨了通过对模拟响应、验证建议响应、确定建议响应的正确性并观察其输入变化等三项特定任务，来解释可解释的 AI 的互动可能。结果表明，特定的正则化可以用于优化可解释性，而一些共同点和设计原则也可能存在于解释的系统之间。我们的结果表明，认知块比变量重复更影响表现，并且这些趋势在任务和领域中保持一致。

Jan, 2019

解释解释：机器学习的可解释性概述

有关解释人工智能的最佳实践和挑战的调查表明，现有的解释方法尤其是对于深度神经网络而言不足以提供算法的公正性、数据偏见和性能。

May, 2018

我不能预测的，我就不理解：一个以人为中心的可解释性方法评估框架

本研究通过心理物理实验评估了 AI 系统的说明方法的人类使用者的理解能力，并发现不同的场景对于提高人类理解 AI 系统的说明方法的效果存在较大的差异，因此需要开发提供定性信息的补充方法。

Dec, 2021

语义匹配：针对医疗 XAI 中的特征归因方法进行调试

本文探讨了 Explainable AI 在医疗领域应用的可靠性问题，提出了对于像电子病历这样结构化数据的场景，特征归因方法仍能够发挥有意义且有用的作用。同时，文章对于通过语义匹配来评估特征重要性的方法提供了一个简单的流程。

Jan, 2023

以解释为基础的决策：关于可解释人工智能在辅助决策中的角色的人类中心评估

最近的实证研究调查了可解释人工智能对人工智能决策的影响，识别了挑战并提出未来的研究方向。

Dec, 2023

关于调和可用性和实用性的可解释人工智能方法

本论文以自动驾驶汽车为研究对象，研究了四种常见的可解释人工智能方法，即决策树、文本、程序和图示。研究表明，参与者倾向于使用语言解释，但通过决策树解释更能客观地理解汽车的决策过程，并且结果显示，计算机科学经验和观察汽车成功或失败的情况可以影响解释的感知和有用性，因此本研究提出，设计 XAI 系统必须考虑用户的特定需求和情境因素。

Jan, 2023

人类中心的可解释人工智能（XAI）的未来不在于事后解释

该论文呼吁从事人类中心的可解释人工智能研究，探究人类对于深度学习系统的理解和信任的关键作用，并提出设计可解释的神经网络体系结构的方案，以实现实时、准确、可操作、易于解释和一致的需求。

Jul, 2023

可解释人工智能方法：一项调查

该研究演示了可解释人工智能的多种方法，并与信用违约预测等任务进行了比较，提出了定量解释性的有意义见解，为开发负责任或以人为中心的 AI 系统提供方向和未来研究方向，有助于在高风险应用中采用 AI。

Jan, 2021

人工智能系统中的解释原则

本文探讨了人类尺度的设计、测试和实现 Explainable Artificial Intelligence 的基本概念，并提出了一种 “自解释指南” 的方法，以帮助开发人员了解如何通过启用自解释来赋能用户。最后，提出了一套经过实证基础、以用户为中心的设计原则，可以指导开发人员创建成功的解释系统。

Feb, 2021

T-Explainer: 基於梯度的模型无关解释性框架

可解释人工智能（Explainable Artificial Intelligence）通过提供准确、一致且稳定的解释，解决机器学习中黑盒模型的透明度问题，其中基于泰勒展开的 T-Explainer 成为了一种有效的特征归因方法。

Apr, 2024